Как Kodik переиграл (и уничтожил) Codex, DeepSeek Harness и OpenCode на DeepSWE 1.1

Kodik_AI1 час назад

Как Kodik переиграл (и уничтожил) Codex, DeepSeek Harness и OpenCode на DeepSWE 1.1

Время на прочтение9 минОхват и читатели2KБлог компании KodikОбзорПри выборе ИИ-инструмента для разработки обычно сравнивают модели. Какая лучше пишет код, справляется с большим репозиторием и оправдывает расходы?

Но между запросом разработчика и готовым изменением находится ещё один важный компонент — агентная оболочка или harness. Она отвечает за инструкции модели, контекст, инструменты и организацию работы с кодом. Именно от неё зависит, насколько эффективно используется модель.

Мы решили проверить это на практике. Взяли четыре модели и сравнили работу Kodik IDE с Codex, OpenCode и DeepSeek Harness на одних и тех же задачах от DeepSWE 1.1, бенчмарка ИИ-агентов. Вендор модели и вендор харнесса был один и тот же — по логике собственные модели должны отрабатывать лучше прочих (в случае опен-сорсного OpenCode использовали GLM). Во всех четырёх сравнениях Kodik решил больше задач. При этом с тремя моделями из четырёх расчётная стоимость одного успешного решения оказалась ниже, чем у конкурирующих агентов.

Что такое агентная оболочка (agent harness) и почему она влияет на результат

Нейросеть не знает заранее, где в проекте находится нужная функция и какие соглашения приняты в кодовой базе. Ей нужно исследовать репозиторий, выбрать файлы, внести изменения, запустить тесты, увидеть ошибки и при необходимости скорректировать решение.

Модель предлагает действия, агентная оболочка обеспечивает их выполнение. Она определяет, какие инструкции поступают модели, как та получает вывод терминала и результаты инструментов, что сохраняется в контексте после десятков шагов. Поэтому два продукта с одной моделью могут работать по-разному: один агент теряет найденную информацию или делает лишние запросы, другой лучше удерживает условия задачи. Это примеры, а не разбор ошибок конкурентов.

Мы развиваем Kodik в трёх направлениях: инструкции под семейства моделей, работа с контекстом и инструменты агента. Семейства OpenAI, DeepSeek и GLM по-разному реагируют на инструкции, поэтому мы создаём для них отдельные prompts, сокращая избыточные указания.

Осталось проверить, превращается ли это в дополнительные решённые задачи.

Как мы тестировали ИИ-агентов

Мы использовали DeepSWE v1.1 — набор из 113 задач по разработке ПО в 91 открытом репозитории на TypeScript, Go, Python, JavaScript и Rust. Задания создавались специально для бенчмарка, а не копировались из известных исправлений, чтобы уменьшить риск воспроизведения заученных решений.

Каждая задача начинается с определённого состояния репозитория и требования к изменению. Агент работает с кодом, после чего официальный verifier проверяет результат в отдельной чистой среде. Он оценивает поведение программы, а не буквальное совпадение с эталонным патчем. Одну задачу можно правильно решить разными способами.

Запуски проводились через Harbor с реальным Kodik IDE и соответствующим конкурирующим harness. Внутри каждой пары использовали одну модель и один набор заданий; у оболочек были собственные инструкции и инструменты. Официальные задания и verifiers мы не меняли. Сравнения проводили бок о бок, снижая влияние изменений на стороне провайдера.

Основная метрика — решённые задачи: зачёт получают изменения, которые проходят все обязательные проверки. Дополнительно мы смотрели на F2P (долю пройденных тестов), время работы, расход токенов, количество шагов и вызовов инструментов. Стоимость рассчитана по зафиксированному usage и справочным ценам на inference, а не по реальным счетам пользователей.

Дополнительно мы рассчитали стоимость одного успешно решённого задания с учётом неудачных попыток. Для этого среднюю стоимость попытки умножали на 113 — общее количество задач — и делили на число успешных решений. Аналогично рассчитывали затраченное время. Таким образом, метрика учитывает ресурсы, которые агент потратил на задачи, не прошедшие проверку. Для DeepSeek и GLM показатели использования ресурсов оценивались по сопоставимым выборкам из 92 и 108 задач соответственно.

Результаты сравнения ИИ-агентов на DeepSWE 1.1

МодельKodikКонкурирующая оболочкаОтрывGPT-6 Luna · xhigh66/113 — 58,4%Codex: 44/113 — 38,9%+19,5 п. п.GPT-6.1 Sol · xhigh83/113 — 73,5%Codex: 81/113 — 71,7%+1,8 п. п.DeepSeek V4.1 Flash 101786/113 — 76,1%DeepSeek Harness: 78/113 — 69,0%+7,1 п. п.GLM 5.3 Flash73/113 — 64,6%OpenCode: 67/113 — 59,3%+5,3 п. п.Данные из завершённых сравнительных запусков Kodik в Harbor Hub.

По доле решённых задачОтрыв колеблется от двух до 22 задач. Для полной картины посмотрим на стоимость:

Стоимость задачиСтоимость решённой задачиВ 3 из 4 случаев вышло дешевле; в случае DeepSeek удельная стоимость незначительно выше

Время:

Среднее время на задачуСреднее время на решённую задачуНезначительно выше при меньшей стоимости; в случае DeepSeek Harness заметно быстрее

И, наконец, технические данные:

Вход рубль......выход два (с)Среднее число шагов на задачуСреднее число tool callNuff said, мы лучше.

GPT-6 Luna: плюс 22 решённые задачи

(сами не нарадуемся)С моделью GPT-6 Luna на уровне рассуждения xhigh Kodik решил 66 задач против 44 у Codex. Это прирост на 50% относительно числа решений Codex, или 19,5 процентного пункта. Доля пройденных обязательных тестов тоже выше: 90,7% против 80,3%.

Но это не бесплатный результат. Kodik в среднем работал над задачей 15,16 минуты против 9,75 у Codex, делал больше вызовов инструментов и расходовал больше токенов. Оценочная стоимость попытки составила $0,101 против $0,089.

Хотя отдельная попытка в Kodik обходилась дороже, стоимость одного успешно решённого задания оказалась ниже: $0,172 против $0,228 у Codex. Экономия составляет около 25% с учётом расходов на неудачные попытки. А время на одно успешное решение практически сравнялось: 25,95 минуты против 25,05. Таким образом, дополнительные действия агента компенсировались значительно большим количеством успешно выполненных задач.

Запуск Kodik / запуск Codex.

GPT-6.1 Sol: небольшой отрыв по задачам при меньших расходах

Дешевле Codex!С GPT-6.1 Sol результаты ближе: 83 задачи у Kodik, 81 у Codex, или 73,5% против 71,7%. Преимущество в две задачи по одному набору нельзя выдавать за гарантию победы в любом следующем запуске. Для устойчивого вывода нужны повторные измерения.

Средняя оценочная стоимость попытки — $0,730 против $0,881, то есть примерно на 17% ниже у Kodik. Если учитывать только полученные успешные решения, но включать расходы на все попытки, разница увеличивается: $0,993 против $1,229, или примерно на 19% дешевле. Расчётное время на одно успешное решение составило 23,65 минуты против 22,58 у Codex. Входных токенов он использовал в среднем 1,882 млн против 2,662 млн; выходных — 35 тыс. против 38,6 тыс. Kodik делал больше вызовов инструментов, но меньше агентных turns.

Среднее время работы при этом было чуть выше: 17,37 против 16,19 минуты. Итог: чуть больше решений и дешевле попытка, но не быстрее.

Запуск Kodik / запуск Codex.

DeepSeek V4.1 Flash: восемь дополнительных решений

Тоже уверенно обошлиС DeepSeek V4.1 Flash 1017 Kodik решил 86 из 113 задач, а DeepSeek Harness — 78. В общей системе подсчёта это 76,1% против 69,0%. Разница — восемь задач, или 7,1 процентного пункта.

Kodik также быстрее завершал попытки: в среднем за 17,60 минуты против 20,95. Однако использовал больше входных токенов (17,972 млн против 8,940 млн), а также больше выходных токенов, turns и вызовов инструментов. Средняя оценочная стоимость на сопоставленной выборке составила $0,299 против $0,258.

Kodik решил больше задач и работал быстрее, но использовал больше ресурсов. Расчётная стоимость одного успешного решения составила $0,393 против $0,373 у DeepSeek Harness. При этом время на успешное решение сократилось с 30,35 до 23,13 минуты — почти на 24%. Таким образом, небольшое увеличение стоимости сопровождалось заметным выигрышем во времени.

Во всех актуальных сравнительных графиках доля решённых задач рассчитывается от полного набора из 113 заданий, включая ошибки запуска. Для Kodik это 86/113 (76,11%), для DeepSeek Harness — 78/113 (69,03%). Показатели времени, токенов и стоимости рассчитаны по сопоставимой выборке из 92 задач.

Запуск Kodik / запуск DeepSeek Harness.

GLM 5.3 Flash: шесть задач и экономия

С GLM 5.3 Flash мы сравнивали Kodik и OpenCode. 73 успешные задачи против 67, или 64,6% против 59,3%. Разница составила 5,3 процентного пункта.

Средняя оценочная стоимость попытки у Kodik — $0,385, у OpenCode — $0,452: приблизительно на 15% ниже. В среднем Kodik расходовал меньше входных токенов (10,532 млн против 12,924 млн), делал меньше turns и вызовов инструментов. При этом он генерировал больше выходных токенов и работал дольше: 44,75 минуты против 38,14.

Kodik не только решил больше задач, но и оказался экономичнее с учётом неудачных попыток. Расчётная стоимость одного успешного решения составила $0,595 против $0,763 у OpenCode — примерно на 22% ниже. Однако время на успешное решение было больше: 69,27 против 64,33 минуты. Таким образом, преимущество Kodik проявилось в результативности и стоимости, но не в скорости.

Запуск Kodik / запуск OpenCode.

Что именно мы улучшаем в Kodik

Не существует одной настройки, которая гарантированно прибавит любой модели десятки процентов. Агент состоит из множества компонентов, которые нужно проверять на практике.

Первое — отдельные инструкции для семейств моделей. Мы настраиваем prompts с учётом различий между OpenAI, DeepSeek, GLM и другими семействами. Общие инструкции остаются резервным вариантом. В production prompts нет решений под отдельные benchmark-задания или подсказок к скрытым тестам.

Второе — контекст. Агент, который исследует большой репозиторий, постепенно собирает требования, содержимое файлов и выводы команд. Важно удержать требования и нужные сведения, не перегружая модель второстепенным текстом.

Третье — работа инструментов и проверка результата. Мы изучаем, где агент останавливается, какие инструменты дают сбой, замечает ли он ошибки и сколько действий повторяет. Затем меняем инструкции или инструменты и тестируем снова — ради проверяемого результата, а не красивого ответа.

Это направления работы, а не доказанная причина каждой разницы в таблице: для последнего нужен детальный анализ траекторий.

Чем слабее модель, тем важнее харнесс

Особенно, на наш взгляд, интересная закономерность обнаружилась при сравнении двух моделей OpenAI. С более мощной GPT-6.1 Sol Kodik решил на две задачи больше, чем Codex: 83 против 81. Но с менее мощной GPT-6 Luna разрыв увеличился до 22 задач — 66 против 44. В относительных величинах это 58,4% против 38,9%, или на 50% больше успешных решений.

Это позволяет предположить, что возможности агентной оболочки особенно важны для менее производительных моделей. Если сильная модель способна самостоятельно компенсировать некоторые недостатки инструкций или управления контекстом, то более слабая оказывается чувствительнее к организации работы. Ей особенно важно вовремя получать нужную информацию, не терять требования задачи, правильно пользоваться инструментами и проверять собственные изменения.

Конечно, двух сравнений недостаточно, чтобы объявить такую зависимость универсальной. Но наблюдение уже представляет практический интерес.

В первую очередь — для компаний, которые планируют развёртывать ИИ-модели локально. В такой инфраструктуре выбор часто ограничен доступными вычислительными ресурсами. Вместо наиболее мощных облачных моделей приходится использовать компактные альтернативы, а значит, качество агентной оболочки приобретает ещё большее значение.

Для подобных сценариев Kodik может оказаться особенно полезным: грамотно организованная работа агента помогает получать больше результатов даже от моделей с ограниченными возможностями. Насколько велико это преимущество на конкретных локальных моделях, покажут отдельные тесты.

Чего эти результаты не доказывают

Бенчмарк не охватывает все языки и процессы — например, командное ревью и поддержку production. Одна кампания не гарантирует преимущества на любом коде; разница в две задачи может измениться при повторном запуске.

Важна и надёжность самого grader. В аудите DeepSWE v1.1 от 7 сентября 2026 года исследователи Samaritan Research сообщили о проблемах проверки как минимум в 23 из 113 задач: в частности, тестовая инфраструктура может отклонить корректное решение из-за конфликтов с изменёнными тестами. Поэтому незачёт не всегда означает ошибку в коде.

Наши результаты не являются независимой сертификацией Kodik или заявлением о безусловном превосходстве над всеми агентами. Мы сравнивали конкретные версии, настройки и модели, а не весь рынок. И фиксировали не только успешные решения, но и цену результата: в опытах с Luna и DeepSeek Kodik использовал больше ресурсов на задачу.

Ссылки на Harbor позволяют изучить конфигурации и траектории, а не только финальные проценты. Указанные цены — оценка inference, не стоимость подписки или труда разработчика.

И что же из этого следует?

У каждого сравнения свой профиль. С Luna Kodik решил на 50% больше задач, а стоимость одного успешного решения оказалась на 25% ниже. С Sol преимущество по числу решений небольшое, зато успешный результат обходился примерно на 19% дешевле. С DeepSeek Kodik работал быстрее и решил больше задач, хотя стоимость успешного решения была немного выше. С GLM удалось получить больше успешных решений при экономии около 22%, но с увеличением времени работы.

Важно и то, с кем именно мы сравнивали Kodik. В тестах с GPT-6 Luna и GPT-6.1 Sol его соперником был Codex — агент OpenAI, работающий с моделями собственной экосистемы. Аналогичная ситуация с DeepSeek V4.1 Flash: Kodik соревновался с DeepSeek Harness, разработанным для моделей DeepSeek.

Получается, Kodik обошёл конкурентов на их же поле: одни и те же модели, одинаковые инженерные задачи, но разные агентные оболочки. Даже нативные решения не смогли добиться такого же количества успешно выполненных заданий.

Именно это делает результаты особенно показательными. Преимущество обеспечивается не доступом к какой-то уникальной модели, а тем, как агент организует её работу.

Мы продолжим развивать системные промпты, контекст и инструменты Kodik IDE и проверять результаты на новых моделях. Наша цель — как можно больше изменений, которые доходят до рабочего состояния с меньшим объёмом ручного управления агентом.

Для нас бенчмарки — не только возможность сравнить Kodik с конкурентами, но и инструмент развития продукта. Далее планируем публиковать сравнение Kodik IDE с другими харнессами. Что было бы интереснее оценить в сравнении? Поделитесь.Теги:• harness
• benchmark
• opencode
• codex
• deep swe 1.1
• kodik
• ai-ideХабы:• Блог компании Kodik