# 87% на бенчмарке — и всё ещё не вывозит эволюцию твоего кода Заголовок гласит, что ИИ «решает 87% SWE-bench», и все читают это как «теперь ИИ умеет в инженерию ПО». Две проблемы. Маленькая: треть этих успехов слила ответ или прошла на слабых тестах. Фатальная: бенчмарк мерит один изолированный багфикс, а не настоящую работу — эволюцию живого кода неделями. Померь это — и те же модели падают с ~73% до ~25%. Бенчмарк — это демо. Твой код — это прод. - **Author:** Фёдор Чищин - **Published:** 2026-06-04 - **Tags:** eval, agents, methodology - **Source:** https://fedorthinks.com/ru/blog/benchmark-is-not-the-job --- Ты видел заголовок: ИИ-агенты теперь «решают» 80–90% SWE-bench — стандартного бенчмарка по починке настоящих GitHub-issue. В 2023-м цифра была около 4%. Прогресс правда ошеломительный, и естественное прочтение — «теперь ИИ умеет в инженерию ПО». Это прочтение неверно — сначала по-мелкому, а потом фатально, и разрыв между этими двумя вещами — одно из самого важного, что стоит понять про то, где кодинг-агенты на самом деле находятся. ## Маленькая проблема: бенчмарк протекает Начнём с неброской оговорки. SWE-bench не так чист, как намекает цифра. Дотошный аудит нашёл, что [**около трети** «успешных» патчей связаны с утечкой решения в обучающие данные модели, а ещё примерно треть прошла потому, что тест-кейсы были слишком слабы, чтобы поймать неверную починку](https://www.codeant.ai/blogs/swe-bench-scores). Многие GitHub-issue были заведены и починены _до_ дат отсечки обучения моделей, так что модель могла попросту видеть ответ во время обучения. Когда исследователи построили версию, устойчивую к контаминации, — SWE-Bench Pro — оценки [обрушились ниже 25%](https://arxiv.org/html/2509.16941v1) (GPT-5 возглавил её с 23.3%). Так что часть тех впечатляющих 87% — это память, а не умение. Это стоит знать, но это не главная история. Даже идеально чистый бенчмарк ввёл бы тебя в заблуждение — из-за того, что он мерит. ## Фатальная проблема: бенчмарк — это не работа SWE-bench даёт агенту один изолированный GitHub-issue, с известной починкой и тестом, подтверждающим, когда задача решена. Подумай, как мало это похоже на твою реальную работу. Настоящая инженерия ПО — это не поток самодостаточных головоломок с ключом ответов под рукой. Это эволюция живого кода неделями: истолковать расплывчатое требование, скоординировать изменение по десяткам файлов, сохранить всё, что уже работало, и по дороге спорить с ревьюером о компромиссах. Авторы самого бенчмарка об этом прямо говорят. SWE-bench мерит корректность на уровне патча в изолированной, одно-issue-обстановке; он [не мерит способность агента вести связную многонедельную линию разработки, координироваться с ревьюерами-людьми, управлять конкурирующими продуктовыми приоритетами или рассуждать о бизнес-последствиях технического решения](https://www.programming-helper.com/tech/swe-bench-coding-agent-benchmarks-2026-software-engineering-ai-evaluation). Перечитай этот список — это и есть бо́льшая часть настоящей работы. ## Что происходит, когда мерят настоящее В конце 2025-го исследователи построили бенчмарк ровно для недостающей части — **SWE-EVO**, который тестирует long-horizon _эволюцию ПО_: многошаговые изменения, охватывающие в среднем [21 файл и проверяемые против ~874 тестов на задачу](https://arxiv.org/html/2512.18470v5). Результат жесток и прояснителен. Конфигурация модели, набирающая около **73% на SWE-bench Verified, набирает лишь ~25% на SWE-EVO.** Те же модели, тот же интеллект — оценка не проседает, она срывается с обрыва, потому что координировать длительное изменение по многим файлам — принципиально иной и куда более трудный навык, чем починить один файл в изоляции. Это та же стена, о которой я писал в [«один агент, который умеет всё»](/blog/one-agent-that-does-everything): удержи в контексте достаточно большой кусок реальной системы — и модель начинает тонуть. ## Этот паттерн ты уже знаешь Бенчмарк — это вылизанная задача с достижимым ответом. Твой код — движущаяся мишень без ключа ответов. Читать высокий балл бенчмарка как «может делать работу» — ровно та же ошибка, что верить вылизанному демо, и я уже [приводил этот довод](/blog/agents-never-reach-production): демо доказывает, что агент _может_ преуспеть однажды, в условиях, которые кто-то для него выбрал. Прод — а реальный код это и есть прод — спрашивает, может ли он _продолжать_ преуспевать на работе, которую никто не вылизывал. SWE-bench — это демо. SWE-EVO — проблеск работы. ## Честное прочтение Это не «ИИ-кодинг — фейк». Пройти путь от 4% до правда сильных результатов на решении изолированных issue — реально, и агент, надёжно чинящий самодостаточный баг, — настоящий рычаг, которым я пользуюсь каждый день. Ошибка — читать лидерборд как меру «может заменить инженера ПО». Потому что _делает_ кого-то инженером ПО ровно та long-horizon-часть, которую бенчмарк опускает: нести намерение сквозь недели, координировать изменение через всю систему и не сломать те двадцать файлов, о которых тебя не просили. Это и есть работа. Бенчмарк мерит разминку. Так что когда прилетит следующий заголовок «ИИ взял 90% на SWE-bench», задай единственный важный вопрос: девяносто процентов _чего_? Один вылизанный issue с ответом под боком — это не твой вторник. Пока бенчмарк не научится мерить эволюцию реального кода неделями без поломок, балл мерит демо — а ты уже знаешь, что демо никогда не было работой.