Observations

данные в бигтейблах; картинки - на разных серверах, в зависимости от размера картинки
бакенд (си) поддерживает такие штуки как friendfeed, списки друзей, scraps, image serving (разные сервера опять же)
middle tier - джава, clearsilver
на клиенте немножко аджакса и самопального джаваскрипта

Вот и вся архитектура; веб сервера все - стандартный гугловский код.

Теперь это... никаких сессий. authentication via gaia - как в джимейле, ну и кука дешифруется. Так что юзер каждый раз попадает на другой сервер... кешировать практически нечего, если не учитывать что в данный конкретный момент на вебе, наверное, проценты от всего юзершипа.