Карта: 20 понятий в семи группах

Карта метро: сначала видишь линии целиком, потом едешь по станциям.

Сначала три основы — что такое кэш, попадание и промах, и почему это вообще работает. Дальше шесть групп, по одной на главу: слои кэшей, hit ratio, свежесть, стратегии обновления и вытеснения, ловушки и как применять хорошо.

У каждого понятия дальше одно и то же: английское название (запомни его — это термин), образ из жизни, схема и карточка с полями: проблема, идея, пример, цена, когда брать и связи.

Cache — кэш помнит ответ

Блокнот на столе рядом с медленным шкафом документов — раз что-то нашёл, записываешь, чтобы в следующий раз прочитать заметку, а не идти через комнату снова.

Кэш (cache) — это маленькое, быстрое хранилище, что держит результат дорогой работы — запроса к базе, посчитанной страницы, скачанного файла, — чтобы следующий запрос за ним был дёшев. Дорогое случается раз; дешёвое чтение — много раз. Это весь принцип. Всё остальное — детали о том, где живёт блокнот и когда доверять тому, что на нём.

Cache hit и cache miss — два исхода

Тянешься к заметке. Либо она там, и ты читаешь мгновенно, — либо пуста, и приходится всё же идти к шкафу.

Когда ответ в кэше — это попадание (cache hit), быстро и дёшево. Когда нет — это промах (cache miss): делаешь медленную работу и обычно сохраняешь результат, чтобы в следующий раз было попадание. Эти два слова описывают любое взаимодействие с кэшем. Вся игра кэширования — превращать промахи в попадания.

Locality — это работает благодаря повторению

Кофейня, запоминающая заказы завсегдатаев, — оправдано лишь потому, что одни и те же люди просят одно и то же снова и снова.

Кэширование окупается, когда одни и те же ответы нужны многократно, — а почти всё в вычислениях повторяется. Это свойство называют локальностью (locality): доступ не случаен, а скучен на нескольких горячих (hot) элементах. Одна популярная страница, профиль того же пользователя, тот же поиск, спрошенный тысячи раз. Поэтому маленький кэш популярных может впитать огромную долю работы. Нет повторения — нет смысла кэшировать.

Cache Hierarchy — чем ближе кэш, тем быстрее попадание

Запасы, что ты держишь на столе, в комнате, в здании и на складе через город, — чем ближе, тем быстрее достанешь, но тем меньше влезает.

Между пользователем и истиной есть лестница кэшей — иерархия кэшей (cache hierarchy): браузер держит файлы на твоём устройстве, CDN держит копии рядом с твоим городом, приложение держит горячие данные в памяти, а у процессора (CPU) есть крошечные кэши в наносекундах. Ближние кэши быстрее, но меньше. Запрос пробует ближайший первым и отступает наружу при промахе.

In-memory Cache (Redis) — рабочая лошадка

Клерк, что держит самые спрашиваемые файлы на столе под рукой, вместо того чтобы доставать каждый из подвального архива каждый раз.

Большинство приложений ставят выделенный кэш в памяти (in-memory cache) — инструмент вроде Redis или Memcached — между приложением и базой. Память драматически быстрее диска, так что держать горячие результаты там превращает медленный запрос к базе в почти мгновенное чтение. Когда говорят «добавь кэш», чтобы ускорить бэкенд, обычно имеют в виду именно это.

CDN — кэш веба рядом с пользователем

Популярные книги, что лежат в местных библиотеках повсюду, чтобы никому не пришлось слать запрос в единственный центральный архив.

CDN (content delivery network) — это кэширование, применённое к географии: оно держит копии твоих страниц, картинок и файлов на серверах по всему миру (edge-серверах), обслуживая каждого пользователя с ближнего. Поэтому глобальный сайт грузится быстро везде, а не только рядом с исходным сервером (origin). Это та же идея попадание/промах — копия просто разбросана по карте, чтобы побить расстояние.

Hit Ratio — тот балл, что важен

Вратаря судят по доле ударов, что он берёт. Тот, кто берёт 95%, преображает игру; тот, кто берёт 10%, едва её меняет.

Hit ratio (доля попаданий) — это доля запросов, обслуженных из кэша, а не из медленного источника. Hit ratio 95% значит, что лишь один запрос из двадцати доходит до базы — огромное снижение нагрузки и задержки. Hit ratio 10% значит, что кэш в основном накладные расходы. Это единственное число — то, как ты судишь, работает ли кэш.

Cold и Warm Cache — холодный кэш должен прогреться

Новый магазин с пустыми полками сперва никого не обслуживает быстро — он затоваривается по мере спроса, пока популярное не окажется всегда под рукой.

Сразу после старта кэш холодный (cold) — пуст, так что каждый запрос промахивается и идёт к медленному источнику. По мере реального трафика он наполняется популярными ответами и становится тёплым (warm), а hit ratio растёт. Поэтому производительность может выглядеть плохо сразу после рестарта или деплоя, а потом устаканиться. Некоторые системы прогревают (pre-warm) кэш намеренно, загружая известно-горячие данные до прихода пользователей.

Memory–Speed Trade-off — кэш меняет память на скорость

Аренда стола побольше, чтобы под рукой влезло больше файлов, — это стоит места, но к шкафу ходишь куда реже.

Кэширование не бесплатно: ты тратишь память (memory), что ограничена и стоит денег, чтобы сэкономить время. Кэш побольше держит больше и попадает чаще, но всё закэшировать нельзя — так что искусство в кэшировании правильных вещей: горячих, дорогих, многократно спрашиваемых ответов, что дают больше всего скорости на байт. Кэш — это намеренный размен (trade-off).

Stale Data — устаревшие данные, цена кэширования

Тот номер телефона, что ты черкнул на стикере, — золото, ровно до тех пор, пока друг не переедет и заметка тихо не станет неверной.

Оборотная сторона запоминания ответа в том, что настоящий ответ может измениться, а твоя копия — нет. Устаревшее (stale) значение — это закэшированное значение, что больше не совпадает с истиной: старая цена, удалённый пост, остаток на складе час назад. Любой кэш рискует отдать устаревшее, и решить, сколько устаревания ты терпишь, — первый настоящий вопрос проектирования любого кэша.

TTL — пусть истекает по таймеру

Молоко с датой «годно до» — после неё ты не доверяешь ему без проверки, даже если выглядит нормально.

Простейший инструмент свежести — TTL (time to live): каждая запись кэша получает срок, и после него запись считается исчезнувшей, вынуждая свежий запрос. Короткий TTL — свежее данные, но больше промахов; длинный TTL — больше попаданий, но больше устаревания. Выбор TTL — это выбор твоей точки на размене «свежесть против скорости» — под каждый вид данных, по тому, как быстро он реально меняется.

Cache Invalidation — почему это знаменито сложно

Знать миг, когда факт изменился где-то ещё в мире, чтобы порвать заметку ровно в нужный момент, — легко сказать, бесит делать.

Есть ходячая шутка, что в информатике лишь две сложные задачи, и инвалидация кэша (cache invalidation) — знать, когда закэшированное значение надо выбросить, — одна из них. Сложна она потому, что кэш часто не знает, что лежащие данные изменились; изменение случилось где-то ещё. Следующая глава — набор стратегий против ровно этой задачи.

Cache-aside — приложение наполняет кэш

Сначала смотришь в блокнот; если пусто, идёшь к шкафу, читаешь файл и записываешь ответ, прежде чем продолжить.

Самый частый паттерн — cache-aside (ещё его зовут lazy loading, ленивая загрузка): на чтении приложение смотрит в кэш; при промахе достаёт из источника, сохраняет результат и возвращает. Кэш наполняется по требованию ровно тем, что реально спрашивают. Это просто и популярно — а слабое место в устаревании, ведь значение лежит в кэше, пока что-то не истечёт или не инвалидирует его.

Write-through и Write-around — держать записи согласованными

Когда факт меняется, можно обновить заметку на столе в тот же миг, что и мастер-файл, — или пропустить заметку и дать перечитать её свежей в следующий раз.

Когда данные пишутся, ты выбираешь, как кэш поспевает. Write-through обновляет кэш и источник вместе, так что кэш никогда не устаревает (ценой медленных записей). Write-around пишет только в источник и даёт кэшу промахнуться и перезагрузить позже, избегая кэширования данных, что никто не перечитывает. Что выбрать, зависит от твоего баланса чтений и записей.

Eviction (LRU, LFU) — что выбросить, когда полно

Маленький стол, что полон, — чтобы добавить новый файл, надо убрать один, так что убираешь тот, что не трогал вечность, а не тот, что используешь ежечасно.

У кэша ограниченное место, так что, наполнившись, он должен вытеснить (evict) что-то. Самая частая политика — LRU (least recently used): выбрось то, что дольше всех не трогали, на ставке, что скоро оно не понадобится. Есть и другие — LFU (least frequently used) выбрасывает реже всего используемое. Вытеснение — это как маленький кэш автоматически держит горячее и сбрасывает холодное, не разрастаясь вечно.

Cache Stampede — когда горячий ключ истекает

Популярный товар распродаётся, и в тот же миг сотня покупателей разом ломится к стойке спросить его — захлёстывая единственного клерка, что пополняет запас.

Когда популярная запись кэша истекает, каждый запрос, что её хотел, промахивается в один и тот же миг и все бьют в медленный источник вместе — это cache stampede (или thundering herd, «гром стада»). База, защищённая часами, вдруг принимает всю толпу разом и может прогнуться. Лекарства известны — дать одному запросу обновить, пока другие ждут, или разнести сроки истечения, — но это надо предвидеть: stampede появляется ровно тогда, когда трафик выше всего.

Stale Reads — быстро, уверенно и неверно

Прочитать цену со старого стикера и уверенно её назвать — число выдано мгновенно, и это неверное число.

Кэш с радостью отдаст устаревшее значение быстро и с полной уверенностью — это устаревшее чтение (stale read). Обычно это нормально — слегка старый счётчик просмотров никому не вредит. Но для данных, где правильность критична — баланс банка, остатки, права доступа, — устаревшее чтение может быть настоящим багом. Навык — знать, какие данные терпят устаревание, а какие должны быть всегда свежими, и никогда не кэшировать второй вид небрежно.

What Not to Cache — некоторое вообще не стоит кэшировать

Ты не держишь ксерокопию документа, что переписывают каждую минуту, или чьего-то приватного письма на общем столе, — копия неверна или ей там не место.

Не всё уместно в кэше. Данные, что меняются постоянно, дают плохой hit ratio и частое устаревание. Чувствительные или попользовательские (per-user) данные рискуют утечь, если общий кэш вручит копию одного пользователя другому. А редко спрашиваемые данные просто тратят место. Знать, что не кэшировать, так же важно, как знать, что кэшировать.

Cache Target — кэшируй горячее, дорогое и медленно меняющееся

Ты запоминаешь привычные заказы завсегдатаев и дорогу, что объясняешь десять раз в день, — а не разовые просьбы или то, что меняется поминутно.

Идеальная цель кэша (cache target) — часто читаемое, дорогое в производстве и редко меняемое: эта комбинация даёт больше всего скорости при наименьшем риске устаревания. Популярная страница, построенная из медленного запроса, пересчитываемая одинаково весь день, — идеальна. Постоянно меняющееся, редко читаемое, чувствительное значение — наоборот.

Staleness Budget — реши бюджет устаревания заранее

Договориться заранее, насколько устаревшее приемлемо, — виджет погоды может быть на минуты старым; баланс банка не может быть на секунды старым.

Прежде чем что-то кэшировать, реши, сколько устаревания оно терпит, — это и есть бюджет устаревания (staleness budget). Этот выбор гонит всё остальное — TTL, нужна ли активная инвалидация, безопасно ли кэшировать вообще. Сделай это явно под каждый вид данных. «Насколько неверным ему позволено быть и как долго?» — вопрос, что превращает кэширование из источника загадочных багов в управляемый, намеренный размен.

Как понятия связаны

Две чаши весов: на одной скорость, на другой свежесть. Каждое понятие курса двигает одну из них.

Всё кэширование — это перетягивание между скоростью и свежестью. Слева то, что поднимает hit ratio: локальность, прогретый кэш, разумное вытеснение. Справа то, что держит stale data под контролем: бюджет устаревания задаёт TTL, а invalidation выбрасывает неверное. Короткий TTL — свежее, но меньше попаданий; на горячем ключе он же рождает stampede.