Карта: 20 понятий в шести группах

Карта метро: сначала видишь линии целиком, потом едешь по станциям.

Сначала три основы: облачный ИИ, ИИ на устройстве и сетевой раунд-трип, который их различает. Дальше шесть групп, по одной на главу: зачем запускать локально, как сделать модель маленькой, честный размен способности, специализация, гибрид и как применять хорошо.

У каждого понятия дальше одно и то же: английское название (запомни его — это термин), образ из жизни, схема и карточка с полями: проблема, идея, пример, цена, когда брать и связи.

Cloud AI — модель в дата-центре, по сети

Звонить в далёкий офис за каждым ответом: вопрос едет туда, эксперт отвечает, ответ едет обратно. И так каждый раз.

По умолчанию модель работает в облаке (cloud AI) — на мощных серверах в дата-центре, — а твоё устройство ходит к ней через интернет. Ты шлёшь запрос, его обрабатывают удалённо, ответ возвращается. Так работает большинство ИИ, и именно поэтому возможны самые большие и умные модели: им нужно железо, далеко превосходящее телефон. Но это же значит, что каждый вызов — поход по сети к чужому компьютеру.

On-device AI / Edge AI — модель прямо там, где ты

Эксперт, который живёт у тебя дома, а не на другом конце города: просто спрашиваешь — и ответ сразу, без звонка и без поездки.

ИИ на устройстве (on-device AI), или edge AI («ИИ на краю»), запускает модель локально — на телефоне, ноутбуке, сенсоре, в машине — без похода к серверу. Вычисление идёт там же, где данные, на железе в твоей руке. Edge — это край сети: подальше от центрального дата-центра, там, где пользователи и устройства. Вместо того чтобы отправлять запрос на ответ, ответ считают на месте.

Round-trip — вся разница в одном походе по сети

Готовить дома или заказать доставку: еда может быть та же, но в одном случае курьер каждый раз пересекает город, а в другом — нет.

Главная разница между облаком и устройством — не сам ИИ, а раунд-трип (round-trip): покидают ли данные устройство и ждёшь ли ты сеть. Это одно различие рождает каждую выгоду и каждый размен в курсе. Держишь работу локально — получаешь приватность, офлайн и скорость, но ограничен тем, что тянет устройство. Шлёшь в облако — получаешь самые большие модели, но платишь раунд-трипами, деньгами и тем, что данные уходят. Где работает модель, решает почти всё.

Privacy — данные не покидают устройство

Хранить дневник в запертом ящике дома — или отправлять каждую страницу в компанию на прочтение. В первом случае секрет остаётся с тобой.

Главная причина запускать локально — приватность (privacy). Если модель на устройстве, данные, которые она обрабатывает, вообще не должны никуда уходить: ни личные фото, ни переписка, ни чувствительные записи не отправляются на сервер. Для всего, что пользователи хотят держать у себя, или что регуляция запрещает отдавать третьей стороне, ответ — устройство. Обработка там, где данные живут, — гарантия приватности, которую облачный сервис полностью дать не может.

Offline — работает без соединения

Бумажная карта продолжает работать в тоннеле, где онлайн-карта гаснет: локальному не нужен сигнал.

Модель на устройстве работает офлайн (offline) — в самолёте, в тоннеле, в глуши, везде, где нет надёжной связи, — потому что ей не нужен сервер. Облачный ИИ просто встаёт, когда встаёт сеть. Для фич, которые должны работать везде, или там, где связь не гарантирована, локальный запуск — не оптимизация, а единственный вариант. Независимость от сети облако дать в принципе не может.

Latency — нет раунд-трипа, нет ожидания

Ответить по памяти или каждый раз звонить кому-то — по памяти мгновенно.

Задержка (latency) — время от запроса до ответа. Без сетевого раунд-трипа модель на устройстве может ответить почти мгновенно: нет никакой задержки на путь до далёкого сервера и обратно. Для фич, где важен каждый миг, — автодополнение, реакция на ввод, — это решающая выгода.

Per-call cost — нет счёта за каждый вызов

Ответить по памяти — бесплатно. Звонить платному консультанту — счёт за каждый звонок.

Модель работает на железе, которое у пользователя уже есть, поэтому нет цены за вызов (per-call cost) — ты не платишь провайдеру за каждый запрос. Для высоконагруженной фичи «мгновенно и бесплатно за вызов» — сильная комбинация, которую облако со своим раунд-трипом и счётчиком дать не может.

SLM — маленькие модели влезают туда, где большие нет

Карманный справочник вместо стены энциклопедий: знает куда меньше, но влезает в карман и всегда под рукой.

У устройства мало памяти и вычислительной мощи, поэтому ИИ на устройстве использует маленькие языковые модели (small language models, SLM) — модели с куда меньшим числом параметров (parameters), чем у гигантов, специально построенные компактными. Они не знают и не умеют всего, что умеют крупнейшие модели, но достаточно малы для телефона или ноутбука. На них стоит весь edge AI: именно тренд к способным маленьким моделям сделал реальный ИИ на устройстве практичным.

Quantization — меньше точности, куда меньше размер

Записать измерение как «около 3,1» вместо «3,14159265»: теряешь немного точности, но число занимает куда меньше места, и почти для всего этого хватает.

Главная техника сжатия — квантизация (quantization): хранить внутренние числа модели (веса, weights) с меньшей точностью — грубо говоря, меньше цифр. Тогда вся модель занимает в разы меньше памяти и работает быстрее. Ты жертвуешь малой долей точности ради большого выигрыша в размере — обычно отличный размен, чтобы влезть на устройство. Так модель, которая на телефон не влезла бы, ужимается до той, что влезает, — часто почти без заметной потери качества.

Distillation — маленькая модель учится у большой

Подмастерье учится ремеслу мастера для одной конкретной работы: не всё, что знает мастер, но достаточно, чтобы делать эту работу почти так же хорошо.

Ещё одна техника — дистилляция (distillation): обучить маленькую модель подражать большой, чтобы она ухватила большую часть её способностей в куда более компактной форме. Поведение большой модели-учителя (teacher) переносится в маленького ученика (student), которого уже дёшево запускать локально. Компактные с рождения SLM, квантизация, чтобы ужать ещё, и дистилляция, чтобы перенести умение, — вместе делают полезную модель достаточно маленькой для устройства.

Capability Trade-off — бесплатного обеда нет

Карманный калькулятор против исследовательской лаборатории: калькулятор мгновенный и всегда с тобой, но мост ты его спроектировать не попросишь.

Это размен способности (capability trade-off): маленькая модель правда слабее большой. У неё меньше общих знаний, она хуже справляется со сложным рассуждением и слабее на трудных открытых задачах. Компактность, которая пускает её на телефон, оплачена сырой способностью. Поэтому ИИ на устройстве — не облачный ИИ, перенесённый локально, а сознательно более слабая модель в обмен на приватность, офлайн и скорость. Делать вид, что маленькая модель так же умна, — верный способ разочаровать пользователей edge-фичи.

Task Fit — рутина на устройстве, трудное в облаке

Хороший мастер на все руки делает почти всю работу по дому, а специалиста зовут только для редкой по-настоящему трудной задачи.

Маленькая модель на устройстве хорошо подходит для рутинных, чётко очерченных задач (routine, well-scoped tasks): классификация текста, простое извлечение, расшифровка речи, автодополнение, прямолинейная помощь — то, чему передовая модель и не нужна. Она буксует на по-настоящему трудных, новых, многошаговых задачах, где крупнейшие модели отрабатывают свою цену. Это хорошо ложится на сложность: большинство будничных задач маленькой модели по силам, и лишь трудное меньшинство правда требует облачного гиганта.

Отсюда дисциплина — подбирать задачу под модель (task fit), которую тянет устройство. Если работа фичи достаточно рутинна, устройство выигрывает по приватности, офлайну, задержке и цене. Если нужно рассуждение передового уровня — устройство его не даст, нужно облако. Знать, где проходит эта черта, — ключевое суждение edge AI. Перегрузишь маленькую модель — пострадает качество; оставишь облачную по сути работу локально — фича недотянет.

Specialization — сфокусированная маленькая модель против большой общей

Местный хирург, который сделал одну операцию тысячи раз, лучше блестящего универсала, который делает её редко: узкое мастерство бьёт широкие знания на конкретной задаче.

Маленькая модель слаба как универсал, но на одной конкретной, чётко определённой задаче она может сравняться с куда более крупной общей моделью или даже обойти её. Это специализация (specialization). Гигант размазывает свою ёмкость по всему подряд; маленькая модель, обученная под одну работу, собирает свою ограниченную ёмкость ровно там. Для узкой задачи — твоей классификации, твоего извлечения — маленькая специализированная модель может быть и достаточно хорошей, и достаточно маленькой для устройства. Специализация возвращает многое из того, что отдали при сжатии.

Fine-tuning — затачиваем маленькую модель под её работу

Учить подмастерья интенсивно одной задаче, которую он будет делать каждый день: он становится в ней отличным, даже без широкого опыта мастера.

Способ заставить маленькую модель прыгнуть выше головы — дообучение (fine-tuning) под твою задачу (про него есть отдельный курс): обучить её на примерах ровно той работы, которую она будет делать, и вшить этот один навык глубоко. Маленькая модель, настроенная под твоё узкое применение, может обойти куда более крупную общую модель на этом применении — и при этом остаётся достаточно маленькой для устройства. Не слабый универсал, а острый специалист, который просто оказался крошечным.

Narrow + Local — узкое и локальное вместе

Инструмент, сделанный ровно под одну работу и лежащий под рукой: не самая универсальная вещь у тебя, но самая быстрая и надёжная для этой задачи.

Выигрышный паттерн для ИИ на устройстве — узкое плюс локальное (narrow + local): маленькая модель, которая делает одно очень хорошо, прямо на устройстве. Ты отдаёшь общность, которая одноцелевой фиче и не была нужна, и получаешь приватность, офлайн, мгновенный отклик и нулевую цену. Для сфокусированной фичи такая комбинация может обойти облачного гиганта вчистую — быстрее, дешевле, приватнее и так же хороша в своём одном деле. Специализация превращает «маленькое и слабое» в «маленькое и отличное — там, где важно».

Hybrid Routing — локально частое, в облако трудное

Клиника, где медсестра принимает рутинные визиты на месте и направляет в далёкую больницу только сложные случаи: большинство нужд закрыто рядом, редкие тяжёлые — эскалированы.

Сильнейший паттерн — гибрид (hybrid): маленькая модель на устройстве берёт частую, рутинную или приватную работу, а к мощной облачной модели запрос эскалируют (escalate) только в по-настоящему трудных случаях. Раз большинство запросов лёгкие, большинство обрабатывается локально — быстро, бесплатно и приватно, — и лишь трудное меньшинство едет к облачному гиганту. Это идея маршрутизации (routing) из экономики моделей, перенесённая на границу устройство–облако: по умолчанию самый дешёвый и локальный вариант, тяжеловес — только когда он заслужен.

Privacy Boundary — приватное и офлайн остаются на устройстве

Ты разбираешь свои личные бумаги дома и отправляешь наружу только те части, которым правда нужен внешний эксперт.

Гибрид позволяет положить на устройство то, что чувствительно к приватности и должно работать офлайн, и всё равно пользоваться облаком для тяжёлого рассуждения. Личные данные обрабатываются локально и никуда не уходят; наружу идёт только нечувствительная и по-настоящему тяжёлая работа. Так не надо менять приватность на способность или наоборот — ты строишь систему так, чтобы каждый кусок работал там, где ему лучше. Сама граница — privacy boundary — становится инструментом дизайна.

Device–Cloud Split — граница как решение архитектуры

Решить, какая работа остаётся в местном филиале, а какая едет в головной офис, — намеренное разделение труда, а не выбор «всё или ничего».

Зрелый подход — относиться к «где это работает» как к решению по каждой фиче отдельно — как к слоям облачной архитектуры или ступеням LLM-лестницы. Это разделение устройство–облако (device–cloud split). Часть работы принадлежит устройству ради приватности, офлайна, задержки или цены; часть — облаку ради способности; и хорошая система кладёт каждую туда, где ей место. Это не один глобальный выбор, а архитектура, которую ты проектируешь кусок за куском.

Decisive Benefit — иди на устройство, когда локальное правда выигрывает

Ты оставляешь задачу у себя, когда приватность, скорость, офлайн или цена делают её там явно лучше, — и отдаёшь наружу, только когда правда нужен внешний эксперт.

Уходи на устройство, когда одна из его выгод решающая (decisive benefit): данные должны остаться приватными, фича должна работать офлайн, отклик должен быть мгновенным или цена за вызов должна быть нулевой — и при этом задача достаточно рутинна (или достаточно специализирована), чтобы её вытянула маленькая модель. Не толкай трудную общую задачу на слабую локальную модель только ради того, чтобы избежать облака, и не шли приватные данные в облако, когда они могли остаться дома. Подбирай место под то, что реально важно фиче.

Honest Scoping — будь честен о размене

Ты принимаешь, что карманный инструмент — не мастерская, и берёшь его только для работ, которые он правда может, а не притворяешься, что он чем-то большим.

Дисциплина — честное очерчивание (honest scoping): локальная модель даёт приватность, офлайн, скорость и цену в обмен на реальную способность. Не делай вид, что маленькая модель так же умна, как гигант. Вместо этого очерти фичу на устройстве под то, что маленькая модель правда делает хорошо, — сузь её, специализируй или держи рутинной, — а трудные части отправляй в облако. Там, где сильные стороны совпадают с нуждой, edge AI меняет всё; за пределами того, что может маленькая модель, он просто разочаровывает. Выбирай с открытыми глазами.

Как понятия связаны

Весы: на одной чаше способность облака, на другой выгоды устройства. Каждое понятие курса двигает чашу или помогает получить обе.

Cloud AI платит round-trip, on-device AI его избегает и поэтому даёт четыре выгоды. Но устройству нужны маленькие модели — SLM, quantization, distillation, — а они стоят способности. Способность частично возвращает specialization (fine-tuning, narrow + local), а остаток закрывает облако через hybrid.