# ИИ, что работает на устройстве, а не в облаке

Экспресс-курс об ИИ на устройстве (on-device / edge AI) — модели прямо на телефоне, ноутбуке или сенсоре вместо дата-центра. 20 понятий — round-trip, privacy, offline, latency, SLM, quantization, distillation, fine-tuning, hybrid routing и другие — у каждого английское название, схема, пример и карточка. Суть: маленькая модель локально даёт приватность, офлайн, мгновенный отклик и нулевую цену за вызов — ценой сырой способности. В конце — шпаргалка по всем понятиям.

- **Author:** Фёдор Чищин
- **Level:** intermediate
- **Reading time:** ~30 минут чтения
- **Published:** 2026-06-13
- **Source:** https://fedorthinks.com/ru/learn/edge-ai-express

---

## 1. Облако против устройства

Вся тема сводится к одному вопросу: где на самом деле работает модель? Пойми эту развилку и цену каждой стороны — и всё остальное встанет на место.

### Карта: 20 понятий в шести группах

> Карта метро: сначала видишь линии целиком, потом едешь по станциям.

Сначала три **основы**: облачный ИИ, ИИ на устройстве и сетевой раунд-трип, который их различает. Дальше шесть групп, по одной на главу: **зачем** запускать локально, как сделать модель **маленькой**, честный **размен** способности, **специализация**, **гибрид** и как **применять хорошо**.

У каждого понятия дальше одно и то же: **английское название** (запомни его — это термин), образ из жизни, **схема** и **карточка** с полями: _проблема_, _идея_, _пример_, _цена_, _когда брать_ и _связи_.

_Diagram: Основы сверху, ниже — шесть групп, по ним идут главы 2–7._

### Cloud AI — модель в дата-центре, по сети

> Звонить в далёкий офис за каждым ответом: вопрос едет туда, эксперт отвечает, ответ едет обратно. И так каждый раз.

По умолчанию модель работает в **облаке (cloud AI)** — на мощных серверах в дата-центре, — а твоё устройство ходит к ней через интернет. Ты шлёшь запрос, его обрабатывают удалённо, ответ возвращается. Так работает большинство ИИ, и именно поэтому возможны самые большие и умные модели: им нужно железо, далеко превосходящее телефон. Но это же значит, что каждый вызов — поход по сети к чужому компьютеру.

_Diagram: Облако: запрос уходит в дата-центр, ответ приходит назад — на каждый вызов._

#### Cloud AI (облачный ИИ)

- **Что это:** Модель работает на серверах в дата-центре, устройство зовёт её по сети.
- **Почему так:** Самым большим моделям нужно железо далеко за пределами телефона.
- **Пример:** Чат-ассистент в браузере: каждый вопрос уходит на сервер провайдера.
- **Цена:** Каждый вызов — раунд-трип, счёт за запрос, данные покидают устройство.
- **Связи:** Противоположность **On-device AI**; их различает **round-trip**.

### On-device AI / Edge AI — модель прямо там, где ты

> Эксперт, который живёт у тебя дома, а не на другом конце города: просто спрашиваешь — и ответ сразу, без звонка и без поездки.

**ИИ на устройстве (on-device AI)**, или **edge AI** («ИИ на краю»), запускает модель локально — на телефоне, ноутбуке, сенсоре, в машине — без похода к серверу. Вычисление идёт там же, где данные, на железе в твоей руке. **Edge** — это край сети: подальше от центрального дата-центра, там, где пользователи и устройства. Вместо того чтобы отправлять запрос на ответ, ответ считают на месте.

_Diagram: На устройстве: данные и маленькая модель рядом, дата-центр не нужен._

#### On-device AI (edge AI, ИИ на устройстве / на краю)

- **Что это:** Модель работает локально — на телефоне, ноутбуке, сенсоре, в машине.
- **Идея:** Считать ответ там, где лежат данные, без поездки к серверу.
- **Пример:** Автодополнение клавиатуры на телефоне, которое работает без сети.
- **Цена:** Ты ограничен тем, что устройство способно запустить.
- **Связи:** Нужны **маленькие модели**; даёт **privacy, offline, latency, $0 за вызов**.

### Round-trip — вся разница в одном походе по сети

> Готовить дома или заказать доставку: еда может быть та же, но в одном случае курьер каждый раз пересекает город, а в другом — нет.

Главная разница между облаком и устройством — не сам ИИ, а **раунд-трип (round-trip)**: покидают ли данные устройство и ждёшь ли ты сеть. Это одно различие рождает каждую выгоду и каждый размен в курсе. Держишь работу локально — получаешь приватность, офлайн и скорость, но ограничен тем, что тянет устройство. Шлёшь в облако — получаешь самые большие модели, но платишь раунд-трипами, деньгами и тем, что данные уходят. Где работает модель, решает почти всё.

_Diagram: Слева облако: туда и обратно на каждый вызов. Справа устройство: ответ на месте._

#### Round-trip (раунд-трип, поход по сети)

- **Что это:** Путь запроса до сервера и ответа обратно.
- **Почему важно:** Из него растут все размены: задержка, цена, утечка данных.
- **Пример:** Облачный вызов: телефон → интернет → сервер → интернет → телефон. Локальный: ничего этого.
- **Связи:** **Cloud AI** платит его всегда, **On-device AI** избегает.

> **Вопрос рамки:** «Нужен ли тут поход в облако — или модель могла бы работать прямо на устройстве, и изменило бы это что-то важное?»

> Облачный ИИ работает на далёких серверах, до которых идут по сети; ИИ на устройстве (edge) работает локально, без раунд-трипа. Уходят ли данные и ждёшь ли ты сеть — вот что решает каждый размен.

## 2. Зачем запускать локально

Модель на устройстве — не техническое любопытство. Она даёт четыре конкретные выгоды, с которыми облако не сравнится, и любая из них может стать решающей причиной уйти локально.

### Privacy — данные не покидают устройство

> Хранить дневник в запертом ящике дома — или отправлять каждую страницу в компанию на прочтение. В первом случае секрет остаётся с тобой.

Главная причина запускать локально — **приватность (privacy)**. Если модель на устройстве, данные, которые она обрабатывает, вообще не должны никуда уходить: ни личные фото, ни переписка, ни чувствительные записи не отправляются на сервер. Для всего, что пользователи хотят держать у себя, или что регуляция запрещает отдавать третьей стороне, ответ — устройство. Обработка там, где данные живут, — гарантия приватности, которую облачный сервис полностью дать не может.

_Diagram: Фото, сообщения и заметки обрабатываются внутри устройства — на чужой сервер ничего не уходит._

#### Privacy (приватность, данные остаются на устройстве)

- **Проблема:** Личные или регулируемые данные нельзя (или не хочется) слать на сервер.
- **Идея:** Обрабатывать данные там, где они лежат, — на устройстве.
- **Пример:** Поиск по личным фото или разбор переписки без отправки в облако.
- **Когда брать:** Чувствительные данные, требования регуляции, доверие пользователей.
- **Связи:** В **гибриде** эту часть держат за **privacy boundary**.

### Offline — работает без соединения

> Бумажная карта продолжает работать в тоннеле, где онлайн-карта гаснет: локальному не нужен сигнал.

Модель на устройстве работает **офлайн (offline)** — в самолёте, в тоннеле, в глуши, везде, где нет надёжной связи, — потому что ей не нужен сервер. Облачный ИИ просто встаёт, когда встаёт сеть. Для фич, которые должны работать везде, или там, где связь не гарантирована, локальный запуск — не оптимизация, а единственный вариант. Независимость от сети облако дать в принципе не может.

_Diagram: Без сигнала облачная фича останавливается, а модель на устройстве продолжает отвечать._

#### Offline (работа без сети)

- **Проблема:** Нет связи — облачный ИИ не работает вообще.
- **Идея:** Модель на устройстве не зависит от сети.
- **Пример:** Самолёт, тоннель, полевое приложение в глуши.
- **Когда брать:** Фича обязана работать везде, а связь нельзя предполагать.
- **Связи:** Вместе с **privacy** — то, что облако не может дать в принципе.

### Latency — нет раунд-трипа, нет ожидания

> Ответить по памяти или каждый раз звонить кому-то — по памяти мгновенно.

**Задержка (latency)** — время от запроса до ответа. Без сетевого раунд-трипа модель на устройстве может ответить почти мгновенно: нет никакой задержки на путь до далёкого сервера и обратно. Для фич, где важен каждый миг, — автодополнение, реакция на ввод, — это решающая выгода.

_Diagram: В облаке к вычислению добавляется сеть туда и обратно. На устройстве — только вычисление._

#### Latency (задержка)

- **Что это:** Время от запроса до ответа.
- **Как работает:** Локально нет сетевого пути — остаётся только само вычисление.
- **Пример:** Подсказки клавиатуры появляются, пока ты печатаешь.
- **Когда брать:** Фича чувствительна к задержке и вызывается часто.
- **Связи:** Вырастает из отсутствия **round-trip**.

### Per-call cost — нет счёта за каждый вызов

> Ответить по памяти — бесплатно. Звонить платному консультанту — счёт за каждый звонок.

Модель работает на железе, которое у пользователя уже есть, поэтому нет **цены за вызов (per-call cost)** — ты не платишь провайдеру за каждый запрос. Для высоконагруженной фичи «мгновенно и бесплатно за вызов» — сильная комбинация, которую облако со своим раунд-трипом и счётчиком дать не может.

_Diagram: В облаке счёт растёт с каждым запросом. На устройстве вызов стоит ноль — железо уже куплено._

#### Per-call cost (цена за вызов, нулевая на устройстве)

- **Проблема:** В облаке каждый запрос — строка в счёте провайдера.
- **Идея:** Считать на железе пользователя: вызов стоит ноль.
- **Пример:** Фича, которую зовут миллионы раз в день, не раздувает счёт.
- **Когда брать:** Большой объём вызовов, рутинная задача.
- **Связи:** В паре с **latency**: «мгновенно и бесплатно за вызов».

> **Вопрос выгоды:** «Что здесь решает — приватность, офлайн, мгновенный отклик или нулевая цена за вызов? Любой из них может быть причиной запустить на устройстве.»

> Локальный запуск даёт четыре вещи, с которыми облако не сравнится: приватность (данные не уходят), офлайн (сеть не нужна), мгновенный отклик (нет раунд-трипа) и нулевую цену за вызов (железо пользователя).

## 3. Делать модели маленькими

Телефон не потянет гигантскую передовую модель. Поэтому ИИ на устройстве держится на том, чтобы делать модели достаточно маленькими, — и для этого есть несколько стандартных способов.

### SLM — маленькие модели влезают туда, где большие нет

> Карманный справочник вместо стены энциклопедий: знает куда меньше, но влезает в карман и всегда под рукой.

У устройства мало памяти и вычислительной мощи, поэтому ИИ на устройстве использует **маленькие языковые модели (small language models, SLM)** — модели с куда меньшим числом **параметров (parameters)**, чем у гигантов, специально построенные компактными. Они не знают и не умеют всего, что умеют крупнейшие модели, но достаточно малы для телефона или ноутбука. На них стоит весь edge AI: именно тренд к способным маленьким моделям сделал реальный ИИ на устройстве практичным.

_Diagram: Передовая модель живёт в дата-центре. SLM на порядки меньше по параметрам и влезает в память телефона._

#### SLM (small language model, маленькая языковая модель)

- **Проблема:** Гигантская модель не влезает в память и мощность устройства.
- **Идея:** Модель с куда меньшим числом параметров, компактная по замыслу.
- **Пример:** Небольшая модель, встроенная в приложение на телефоне или ноутбуке.
- **Цена:** Меньше знаний и слабее на сложных задачах.
- **Связи:** Ужимается дальше **quantization**, учится у большой через **distillation**.

### Quantization — меньше точности, куда меньше размер

> Записать измерение как «около 3,1» вместо «3,14159265»: теряешь немного точности, но число занимает куда меньше места, и почти для всего этого хватает.

Главная техника сжатия — **квантизация (quantization)**: хранить внутренние числа модели (**веса, weights**) с меньшей точностью — грубо говоря, меньше цифр. Тогда вся модель занимает в разы меньше памяти и работает быстрее. Ты жертвуешь малой долей точности ради большого выигрыша в размере — обычно отличный размен, чтобы влезть на устройство. Так модель, которая на телефон не влезла бы, ужимается до той, что влезает, — часто почти без заметной потери качества.

_Diagram: Те же веса с меньшей точностью: 4 бита вместо 16 — в 4 раза меньше памяти._

#### Quantization (квантизация)

- **Проблема:** Модель слишком тяжёлая для памяти устройства.
- **Идея:** Хранить веса с меньшей точностью — меньше бит на число.
- **Пример:** Веса в 4 бита вместо 16 — модель в 4 раза легче и быстрее.
- **Цена:** Немного точности; часто потеря едва заметна.
- **Связи:** Применяется к **SLM** и к **distilled**-моделям, чтобы ужать их ещё.

### Distillation — маленькая модель учится у большой

> Подмастерье учится ремеслу мастера для одной конкретной работы: не всё, что знает мастер, но достаточно, чтобы делать эту работу почти так же хорошо.

Ещё одна техника — **дистилляция (distillation)**: обучить маленькую модель подражать большой, чтобы она ухватила большую часть её способностей в куда более компактной форме. Поведение большой модели-**учителя (teacher)** переносится в маленького **ученика (student)**, которого уже дёшево запускать локально. Компактные с рождения SLM, квантизация, чтобы ужать ещё, и дистилляция, чтобы перенести умение, — вместе делают полезную модель достаточно маленькой для устройства.

_Diagram: Большая модель-учитель даёт ответы, маленький ученик учится им подражать._

#### Distillation (дистилляция, teacher → student)

- **Проблема:** Маленькая модель с нуля слабовата, а большая не влезает.
- **Идея:** Обучить маленькую модель на ответах большой — подражать ей.
- **Пример:** Большая модель размечает примеры, маленькая учится выдавать то же.
- **Цена:** Ученик ловит много, но не всё, что умеет учитель.
- **Связи:** Вместе с **SLM** и **quantization** — три способа сделать модель маленькой.

> **Вопрос уменьшения:** «Влезет ли на моё устройство достаточно маленькая модель — компактная по замыслу, квантизованная или дистиллированная — и будет ли она при этом делать работу достаточно хорошо?»

> ИИ на устройстве держится на маленьких моделях: SLM, построенные компактными, квантизация, чтобы хранить их с меньшей точностью, и дистилляция, чтобы перенести умение большой модели в маленькую.

## 4. Маленькое значит менее способное

Сжатие не бесплатно: маленькая модель правда умеет не всё, что гигант. Честный взгляд на этот разрыв и решает, что место на устройстве.

### Capability Trade-off — бесплатного обеда нет

> Карманный калькулятор против исследовательской лаборатории: калькулятор мгновенный и всегда с тобой, но мост ты его спроектировать не попросишь.

Это **размен способности (capability trade-off)**: маленькая модель правда слабее большой. У неё меньше общих знаний, она хуже справляется со сложным рассуждением и слабее на трудных открытых задачах. Компактность, которая пускает её на телефон, оплачена сырой способностью. Поэтому ИИ на устройстве — не облачный ИИ, перенесённый локально, а сознательно более слабая модель в обмен на приватность, офлайн и скорость. Делать вид, что маленькая модель так же умна, — верный способ разочаровать пользователей edge-фичи.

_Diagram: Чем больше модель, тем она способнее — и тем дальше от устройства. Каждый конец шкалы что-то даёт и чем-то платит._

#### Capability Trade-off (размен способности)

- **Что это:** Меньше модель — меньше знаний и слабее рассуждение.
- **Что получаешь:** Приватность, офлайн, скорость и нулевую цену за вызов.
- **Пример:** Локальная модель отлично дополняет фразу, но сложный анализ не вытянет.
- **Подвох:** Притворяться, что маленькая модель равна гиганту, — путь к разочарованию.
- **Связи:** Частично отыгрывается **specialization**, закрывается **hybrid**.

### Task Fit — рутина на устройстве, трудное в облаке

> Хороший мастер на все руки делает почти всю работу по дому, а специалиста зовут только для редкой по-настоящему трудной задачи.

Маленькая модель на устройстве хорошо подходит для **рутинных, чётко очерченных задач (routine, well-scoped tasks)**: классификация текста, простое извлечение, расшифровка речи, автодополнение, прямолинейная помощь — то, чему передовая модель и не нужна. Она буксует на по-настоящему трудных, новых, многошаговых задачах, где крупнейшие модели отрабатывают свою цену. Это хорошо ложится на сложность: большинство будничных задач маленькой модели по силам, и лишь трудное меньшинство правда требует облачного гиганта.

Отсюда дисциплина — **подбирать задачу под модель (task fit)**, которую тянет устройство. Если работа фичи достаточно рутинна, устройство выигрывает по приватности, офлайну, задержке и цене. Если нужно рассуждение передового уровня — устройство его не даст, нужно облако. Знать, где проходит эта черта, — ключевое суждение edge AI. Перегрузишь маленькую модель — пострадает качество; оставишь облачную по сути работу локально — фича недотянет.

_Diagram: Слева большинство: рутинные задачи для маленькой модели. Справа трудное меньшинство для облака._

#### Task Fit (подбор задачи под модель)

- **Проблема:** Слишком трудная задача на маленькой модели — плохое качество.
- **Идея:** Рутинное и чётко очерченное — на устройство, передовое и трудное — в облако.
- **Пример:** Классификация, извлечение, расшифровка, автодополнение — локально; новый многошаговый анализ — в облаке.
- **Когда брать:** При каждом решении «что положить на устройство».
- **Связи:** Граница между задачами — основа **hybrid routing**.

> **Вопрос способности:** «Эта задача достаточно рутинна, чтобы маленькая модель сделала её хорошо, — или ей правда нужно рассуждение передового уровня, которого устройство не даст?»

> Маленькая модель правда слабее: меньше знаний, хуже на трудном рассуждении. Она отлична для рутинной, чётко очерченной работы и плоха на передовых задачах — подбирай задачу под то, что устройство реально тянет.

## 5. Специализация бьёт размер

Вот мысль, которая делает edge AI куда сильнее, чем обещает «маленькое значит слабое»: маленькая модель, заточенная под одну работу, может тягаться с гигантом-универсалом на этой работе.

### Specialization — сфокусированная маленькая модель против большой общей

> Местный хирург, который сделал одну операцию тысячи раз, лучше блестящего универсала, который делает её редко: узкое мастерство бьёт широкие знания на конкретной задаче.

Маленькая модель слаба как _универсал_, но на одной конкретной, чётко определённой задаче она может сравняться с куда более крупной общей моделью или даже обойти её. Это **специализация (specialization)**. Гигант размазывает свою ёмкость по всему подряд; маленькая модель, обученная под одну работу, собирает свою ограниченную ёмкость ровно там. Для узкой задачи — твоей классификации, твоего извлечения — маленькая специализированная модель может быть и достаточно хорошей, и достаточно маленькой для устройства. Специализация возвращает многое из того, что отдали при сжатии.

_Diagram: Гигант делит ёмкость на всё подряд. Маленький специалист отдаёт всю ёмкость одной задаче._

#### Specialization (специализация, узкая модель)

- **Проблема:** Маленькая модель слаба как универсал.
- **Идея:** Направить всю её ёмкость на одну узкую задачу.
- **Пример:** Модель, которая только классифицирует обращения в поддержку по твоим темам.
- **Цена:** Вне своей задачи модель по-прежнему слаба.
- **Связи:** Достигается через **fine-tuning**; отыгрывает **capability trade-off**.

### Fine-tuning — затачиваем маленькую модель под её работу

> Учить подмастерья интенсивно одной задаче, которую он будет делать каждый день: он становится в ней отличным, даже без широкого опыта мастера.

Способ заставить маленькую модель прыгнуть выше головы — **дообучение (fine-tuning)** под твою задачу (про него есть отдельный курс): обучить её на примерах ровно той работы, которую она будет делать, и вшить этот один навык глубоко. Маленькая модель, настроенная под твоё узкое применение, может обойти куда более крупную общую модель на этом применении — и при этом остаётся достаточно маленькой для устройства. Не слабый универсал, а острый специалист, который просто оказался крошечным.

_Diagram: Базовая SLM плюс примеры твоей задачи → дообучение → острый специалист, который всё ещё влезает на устройство._

#### Fine-tuning (дообучение, файнтюнинг)

- **Проблема:** Базовая маленькая модель недостаточно хороша на твоей задаче.
- **Идея:** Дообучить её на примерах ровно этой работы.
- **Пример:** SLM, дообученная на твоих размеченных письмах, сортирует их как гигант.
- **Цена:** Нужны хорошие примеры и само обучение; модель остаётся узкой.
- **Связи:** Путь к **specialization**; итог — **narrow + local**.

### Narrow + Local — узкое и локальное вместе

> Инструмент, сделанный ровно под одну работу и лежащий под рукой: не самая универсальная вещь у тебя, но самая быстрая и надёжная для этой задачи.

Выигрышный паттерн для ИИ на устройстве — **узкое плюс локальное (narrow + local)**: маленькая модель, которая делает одно очень хорошо, прямо на устройстве. Ты отдаёшь общность, которая одноцелевой фиче и не была нужна, и получаешь приватность, офлайн, мгновенный отклик и нулевую цену. Для сфокусированной фичи такая комбинация может обойти облачного гиганта вчистую — быстрее, дешевле, приватнее и так же хороша в своём одном деле. Специализация превращает «маленькое и слабое» в «маленькое и отличное — там, где важно».

_Diagram: Пересечение узкой задачи и локального запуска — та самая выигрышная зона._

#### Narrow + Local (узкое плюс локальное)

- **Проблема:** Маленькая модель как универсал проигрывает облаку.
- **Идея:** Одна задача, сделанная отлично, прямо на устройстве.
- **Пример:** Локальная модель, которая только расшифровывает голосовые заметки.
- **Цена:** Общность — но одноцелевой фиче она и не нужна.
- **Связи:** Соединяет **specialization** и выгоды **on-device**.

> **Вопрос специализации:** «Это узкая, конкретная задача, где маленькая дообученная модель могла бы сравняться с гигантом, — и тогда устройство не просто годится, а лучше?»

> Маленькая модель, дообученная под одну задачу, может тягаться с гигантом-универсалом на этой задаче. Узкое плюс локальное — острый специалист прямо на устройстве — превращает «маленькое и слабое» в «маленькое и отличное».

## 6. Гибридный паттерн

Не обязательно выбирать облако или устройство для всего сразу. Самые сильные системы используют оба: делают локально всё, что могут, и идут в облако, только когда должны.

### Hybrid Routing — локально частое, в облако трудное

> Клиника, где медсестра принимает рутинные визиты на месте и направляет в далёкую больницу только сложные случаи: большинство нужд закрыто рядом, редкие тяжёлые — эскалированы.

Сильнейший паттерн — **гибрид (hybrid)**: маленькая модель на устройстве берёт частую, рутинную или приватную работу, а к мощной облачной модели запрос **эскалируют (escalate)** только в по-настоящему трудных случаях. Раз большинство запросов лёгкие, большинство обрабатывается локально — быстро, бесплатно и приватно, — и лишь трудное меньшинство едет к облачному гиганту. Это идея **маршрутизации (routing)** из экономики моделей, перенесённая на границу устройство–облако: по умолчанию самый дешёвый и локальный вариант, тяжеловес — только когда он заслужен.

_Diagram: Роутер на устройстве отправляет большинство запросов в локальную модель, а трудные — в облако._

#### Hybrid Routing (гибрид, локальное + эскалация в облако)

- **Проблема:** Только устройство — мало способности; только облако — нет приватности и офлайна.
- **Идея:** Частое и простое — локально, редкое и трудное — эскалировать в облако.
- **Пример:** Ассистент отвечает на простые вопросы на телефоне, а сложный анализ отправляет облачной модели.
- **Цена:** Нужен роутер и две модели; надо решить, что считать «трудным».
- **Связи:** Идея **routing** из экономики моделей; опирается на **task fit**.

### Privacy Boundary — приватное и офлайн остаются на устройстве

> Ты разбираешь свои личные бумаги дома и отправляешь наружу только те части, которым правда нужен внешний эксперт.

Гибрид позволяет положить на устройство то, что чувствительно к приватности и должно работать офлайн, и всё равно пользоваться облаком для тяжёлого рассуждения. Личные данные обрабатываются локально и никуда не уходят; наружу идёт только нечувствительная и по-настоящему тяжёлая работа. Так не надо менять приватность на способность или наоборот — ты строишь систему так, чтобы каждый кусок работал там, где ему лучше. Сама граница — **privacy boundary** — становится инструментом дизайна.

_Diagram: Личные данные обрабатываются слева от границы. Через неё переходит только нечувствительная тяжёлая часть._

#### Privacy Boundary (граница приватности)

- **Проблема:** Нужна и приватность, и сила облака.
- **Идея:** Чувствительное — на устройстве; наружу только нечувствительная тяжёлая работа.
- **Пример:** Личные данные разбираются локально, а в облако уходит только обезличенная трудная подзадача.
- **Цена:** Надо аккуратно решить, что считать чувствительным.
- **Связи:** Сочетает **privacy** и **hybrid routing**.

### Device–Cloud Split — граница как решение архитектуры

> Решить, какая работа остаётся в местном филиале, а какая едет в головной офис, — намеренное разделение труда, а не выбор «всё или ничего».

Зрелый подход — относиться к «где это работает» как к решению **по каждой фиче отдельно** — как к слоям облачной архитектуры или ступеням LLM-лестницы. Это **разделение устройство–облако (device–cloud split)**. Часть работы принадлежит устройству ради приватности, офлайна, задержки или цены; часть — облаку ради способности; и хорошая система кладёт каждую туда, где ей место. Это не один глобальный выбор, а архитектура, которую ты проектируешь кусок за куском.

_Diagram: Каждая фича получает своё место и свою причину: задержка, приватность, офлайн — устройство; способность — облако._

#### Device–Cloud Split (разделение устройство–облако)

- **Проблема:** Один выбор «всё в облако» или «всё на устройство» плохо подходит всем фичам.
- **Идея:** Решать место запуска для каждой фичи по её главной потребности.
- **Пример:** Автодополнение — на устройстве (задержка); трудная многошаговая задача — в облаке (способность).
- **Когда брать:** Любой продукт, где есть и рутинные, и трудные ИИ-фичи.
- **Связи:** Обобщает **hybrid routing** до уровня архитектуры.

> **Вопрос гибрида:** «Мог бы я делать рутинную и приватную работу на устройстве и эскалировать в облако только по-настоящему трудные случаи — получить и приватность, и способность, а не выбирать одно?»

> Сильнейший паттерн — гибрид: маленькая локальная модель для частой, приватной и офлайн-работы, эскалация к облачному гиганту только для трудных случаев. Разделение устройство–облако — архитектура, которую ты проектируешь кусок за куском.

## 7. Применять хорошо

Применять edge AI хорошо — значит узнавать, когда локальное правда выигрывает, и честно смотреть на способность, которую ты за это отдаёшь.

### Decisive Benefit — иди на устройство, когда локальное правда выигрывает

> Ты оставляешь задачу у себя, когда приватность, скорость, офлайн или цена делают её там явно лучше, — и отдаёшь наружу, только когда правда нужен внешний эксперт.

Уходи на устройство, когда одна из его выгод **решающая (decisive benefit)**: данные должны остаться приватными, фича должна работать офлайн, отклик должен быть мгновенным или цена за вызов должна быть нулевой — и при этом задача достаточно рутинна (или достаточно специализирована), чтобы её вытянула маленькая модель. Не толкай трудную общую задачу на слабую локальную модель только ради того, чтобы избежать облака, и не шли приватные данные в облако, когда они могли остаться дома. Подбирай место под то, что реально важно фиче.

_Diagram: Есть решающая выгода? Тянет ли маленькая модель? Ответы ведут в облако, на устройство или в гибрид._

#### Decisive Benefit (решающая выгода)

- **Вопрос 1:** Решает ли тут приватность, офлайн, задержка или нулевая цена?
- **Вопрос 2:** Достаточно ли задача рутинна или специализирована для маленькой модели?
- **Пример:** Офлайн-расшифровка заметок: оба «да» — устройство.
- **Подвох:** Уходить локально «просто чтобы без облака» — и терять качество.
- **Связи:** Сводит вместе **четыре выгоды**, **task fit** и **hybrid**.

### Honest Scoping — будь честен о размене

> Ты принимаешь, что карманный инструмент — не мастерская, и берёшь его только для работ, которые он правда может, а не притворяешься, что он чем-то большим.

Дисциплина — **честное очерчивание (honest scoping)**: локальная модель даёт приватность, офлайн, скорость и цену в обмен на реальную способность. Не делай вид, что маленькая модель так же умна, как гигант. Вместо этого очерти фичу на устройстве под то, что маленькая модель правда делает хорошо, — сузь её, специализируй или держи рутинной, — а трудные части отправляй в облако. Там, где сильные стороны совпадают с нуждой, edge AI меняет всё; за пределами того, что может маленькая модель, он просто разочаровывает. Выбирай с открытыми глазами.

_Diagram: Идея фичи делится: узкое, рутинное и специализированное — на устройство, трудное — в облако._

#### Honest Scoping (честное очерчивание фичи)

- **Проблема:** Фичу обещают «как в облаке», а маленькая модель не тянет.
- **Идея:** Очертить фичу под то, что маленькая модель правда делает хорошо.
- **Как:** Сузить, специализировать, держать рутинной; трудное — в облако.
- **Подвох:** «Маленькая = гигант» — верный путь к разочарованию.
- **Связи:** Прямое следствие **capability trade-off**.

### Как понятия связаны

> Весы: на одной чаше способность облака, на другой выгоды устройства. Каждое понятие курса двигает чашу или помогает получить обе.

**Cloud AI** платит **round-trip**, **on-device AI** его избегает и поэтому даёт четыре выгоды. Но устройству нужны **маленькие модели** — SLM, quantization, distillation, — а они стоят **способности**. Способность частично возвращает **specialization** (fine-tuning, narrow + local), а остаток закрывает облако через **hybrid**.

_Diagram: Устройство избегает раунд-трипа и даёт выгоды, но требует маленьких моделей и платит способностью. Специализация её возвращает, гибрид закрывает остаток облаком._

#### Прежде чем строить на устройстве

- **Есть ли решающая выгода** — приватность, офлайн, задержка или нулевая цена, — с которой облако не сравнится?
- **Достаточно ли задача рутинна или специализирована**, чтобы маленькая модель сделала её хорошо?
- **Влезет ли модель** — маленькая по замыслу, квантизованная или дистиллированная — на целевое устройство?
- **Сделает ли дообучение** маленького специалиста равным гиганту на этой узкой задаче?
- **Не нужен ли гибрид** — локально частое, в облако трудное?
- **Честен ли я** о способности, которую меняю на локальные выгоды?

#### Признаки, что ты используешь edge AI хорошо

- Ты уходишь локально, когда **выгода решающая** — приватность, офлайн, задержка или цена.
- Ты берёшь **достаточно маленькую модель** — по замыслу, квантизованную или дистиллированную, — которая влезает на устройство.
- Ты **специализируешь или дообучаешь** маленькую модель, чтобы тягаться с гигантом на узкой задаче.
- Ты проектируешь **гибридное** разделение: приватное и офлайн — локально, трудное — эскалируешь.
- Ты **честен о размене способности** и очерчиваешь фичу под то, что маленькая модель может.

## Шпаргалка: все 20 понятий

### Основы

- **Cloud AI** (облачный ИИ): Модель в дата-центре, устройство ходит к ней по сети.
- **On-device AI** (edge AI): Модель работает локально — на телефоне, ноутбуке, сенсоре.
- **Round-trip** (раунд-трип): Поход по сети к серверу и обратно. Из него растут все размены.

### Зачем локально

- **Privacy** (приватность): Данные не покидают устройство.
- **Offline** (без сети): Работает в самолёте, тоннеле, глуши.
- **Latency** (задержка): Нет раунд-трипа — ответ почти мгновенный.
- **Per-call cost** (цена за вызов): На железе пользователя вызов стоит ноль.

### Делать маленьким

- **SLM** (small language model): Компактная модель с куда меньшим числом параметров.
- **Quantization** (квантизация): Веса с меньшей точностью — в разы меньше и быстрее.
- **Distillation** (дистилляция): Маленький ученик учится подражать большому учителю.

### Размен

- **Capability Trade-off** (размен способности): Меньше модель — меньше знаний и слабее рассуждение.
- **Task Fit** (подбор задачи): Рутинное — на устройство, передовое и трудное — в облако.

### Специализация

- **Specialization** (специализация): Узкая маленькая модель тягается с гигантом на своей задаче.
- **Fine-tuning** (дообучение): Обучить на примерах ровно этой работы.
- **Narrow + Local** (узкое плюс локальное): Одно дело, сделанное отлично, прямо на устройстве.

### Гибрид

- **Hybrid Routing** (гибрид): Частое — локально, трудное — эскалировать в облако.
- **Privacy Boundary** (граница приватности): Чувствительное остаётся на устройстве, наружу — только нечувствительное.
- **Device–Cloud Split** (разделение устройство–облако): Место запуска решается для каждой фичи отдельно.

### Применять хорошо

- **Decisive Benefit** (решающая выгода): На устройство — когда выгода решает и маленькая модель тянет.
- **Honest Scoping** (честное очерчивание): Фича под то, что маленькая модель правда может.

> Edge AI запускает маленькую модель прямо на устройстве и меняет сырую способность на приватность, офлайн, мгновенный отклик и нулевую цену. Специализируй её, чтобы тягаться с гигантом на узкой задаче, уходи в гибрид, чтобы получить и то и другое, и будь честен о размене.

Конец экспресс-курса · 7 глав · 20 понятий

Дальше — практика: возьми рутинную задачу — классификацию, немного извлечения — и запусти её маленькой моделью на своей машине, без облачного вызова. Заметь: мгновенно, бесплатно и приватно. Потом дай ей по-настоящему трудную задачу и почувствуй, где у маленькой модели предел. Наконец, набросай гибрид: что остаётся локально, что уходит в облако. Размен становится осязаемым в тот миг, когда крошечная локальная модель идеально решает твой рутинный случай, ни разу не тронув сеть. Но держи одну мысль выше прочих: маленькая модель на устройстве покупает приватность, офлайн, скорость и нулевую цену ценой сырой способности — так что специализируй её, где можешь, уходи в гибрид, где должен, и будь честен о том, что отдаёшь.