Малые языковые модели: где пригодятся SLM и что учесть в работе с ними

VTB3 часа назад

Малые языковые модели: где пригодятся SLM и что учесть в работе с ними

Уровень сложностиПростойВремя на прочтение10 минОхват и читатели4.4KБлог компании ВТБИскусственный интеллектМашинное обучение*Управление разработкой*Анализ и проектирование систем*АналитикаСегодня малые языковые модели (SLM) все чаще оказываются в центре внимания: на первый взгляд, они почти не уступают LLM, при том, что ресурсов тратят намного меньше.

Но тут, как всегда, есть нюанс (и не один): обсуждаем, так ли хороши SLM, где они действительно могут быть полезны, а где пока буксуют. А еще разбираемся, почему — на наш взгляд — серьезных конкурентов для LLM из них пока не выйдет.

Малые модели — это какие?

Малая языковая модель (SLM) может насчитывать от нескольких миллионов до 10 миллиардов параметров. К таким моделям можно отнести Qwen3.5-0.8B от Alibaba и некоторые модели из семейства Gemma от Google DeepMind, в частности, те, что имеют от 2 до 9 млрд параметров. Gemini также предлагает более легковесные варианты вроде Nano-1 и Nano-2 с 1,8 млрд и 3,25 млрд параметров соответственно, которые заточены под работу на смартфонах и планшетах, — их тоже можно назвать SLM.

К слову, в индустрии встречается определение SLM, не привязанное к конкретному числу параметров. Так, в NVIDIA предлагают относить к малым языковым моделям все, что можно запустить на потребительских электронных устройствах: персональных компьютерах или ноутбуках. Такой подход предполагает, что по мере роста вычислительных возможностей личных устройств границы между малыми и более крупными моделями будут размываться — и это уже происходит. Например, модели с 14 млрд параметров сегодня чаще относят к «средним», однако Microsoft все же называет свою Phi-4 14B малой языковой моделью как раз по причине того, что ее квантованная версия может запускаться на одной потребительской видеокарте.Ожидаемо, возможность развернуть модель на среднестатистическом железе напрямую сказывается на популярности таких решений. По данным летнего отчета Hugging Face, на модели с более чем 100 млрд параметров приходится лишь 1% всех загрузок, а на модели с менее чем одним миллиардом — около 83%. Как правило, к ним обращаются энтузиасты и исследователи, а также образовательные организации. Показательный пример — связка из трех моделей на 3–7 млрд параметров (Llama3.2-3B, Qwen2.5-7B и Neural-Chat 7B), которую развернули в Колледже Джона Эббота в Монреале. Система работает на сервере с macOS без топовых GPU. Она помогает преподавателям физики проверять студенческие лабораторные работы — пока специалисты колледжа ограничились промпт-инжинирингом, а дообучение моделей оставили на будущее.

Впрочем, и такая настройка может быть относительно недорогой, особенно если использовать метод LoRA. Он позволяет с помощью дополнительного набора параметров адаптировать нейросеть к определенному стилю, формату ответов или предметной области. Такой подход требует значительно меньше вычислительных ресурсов, чем полноценное дообучение всей модели, обеспечивает быстроту создания разных версий базовой нейросети и обходится довольно дешево — в некоторых случаях дообучение обходится всего в восемь долларов. Для независимых исследователей и участников университетских проектов это особенно актуально: им нередко приходится оперировать в условиях сжатых бюджетов.

Где пригодятся SLM

Малые модели могут быть действительно эффективными на узкоспециализированных сценариях, где особенно важна скорость: например, при классификации звонков или фильтрации спама. Однако многое тут зависит от конкретного сценария работы с SLM: он может потребовать дополнительных усилий с точки зрения развертки и инфраструктуры. Например, при использовании конвейерного подхода, когда несколько моделей работают последовательно, или подхода с оркестратором:

Наиболее вероятный сценарий для малых языковых моделей — это их использование в агентских системах, где есть некий мозг-оркестратор, которому выдается задача. И он, зная описание узкоспециализированных моделей, уже определяет, какую задачу какой из них выдать (одну для классификации, другую для исправления кода и так далее).

При этом необязательно, чтобы это были разные модели от разных вендоров. Мне кажется, что вполне рабочий вариант взять одну и ту же базовую архитектуру, одну и ту же базовую модель и дообучить ее, получив семейство узких моделей. Можно обучить ее адаптер на LoRA, например, или обучить модель целиком под какую-то конкретную задачу. Очевидно, что полное обучение дороже и тяжелее, чем какие-то LoRA-адаптеры, но дает более качественный результат. Хотя на практике, скорее всего, стоит использовать комбинированный подход.

— Максим Шкут, Data Scientist, ВТБ Есть и другие особенности, которые стоит учитывать при работе с SLM. Их можно, к примеру, не дообучать, а оставить в исходном виде, при этом всю необходимую специфику вынести в «обвязку» — передавать нужные материалы в контекст или подключать локальную базу знаний. Вот несколько сценариев, в которых SLM (с дообучением и без) может показать неплохой результат:

1. Код-ревью и унификация кода

Данные, чтобы «подкрутить» малую модель под задачу рефакторинга и стандартизации кодовой базы, можно взять в корпоративном репозитории, который, фактически, уже содержит размеченные примеры — коммиты показывают состояние кода «до» и «после». Если же готовых данных не хватает, можно сгенерировать синтетические. Например, в NVIDIA дообучили Llama 3 8B Instruct с помощью LoRA для внутреннего код-ревью, а обучающие примеры создавала модель-учитель GPT-4 по схеме дистилляции знаний. Точность оценки критичности замечаний дообученной модели выросла более чем на 18%; результат оказался лучше, чем у Llama 3 70B и Nemotron 4 340B Instruct, при меньшей стоимости и задержке.

Впрочем, ряд исследований показывает, что SLM с открытыми весами могут неплохо справляться с унификацией и стандартизацией кода даже в «сыром» виде — без тонкой настройки. Ученые из венгерского Университета имени Лоранда Этвеша протестировали двенадцать моделей размером от 0,5 до 8 млрд параметров на трех тысячах Python-программ из бенчмарка APPS. Моделям давали единственную короткую инструкцию — провести рефакторинг программы, не подключая новых библиотек и модулей. Результат работы оценивали по юнит-тестам и метрикам качества кода. После правок число нарушений правил PEP-8 сокращалось на 65–86%.

Похожий эксперимент провели исследователи из Университета Конкордия и Политехнической школы Монреаля в 2024 году. При этом они отметили, что компактным моделям проще дорабатывать существующий код, а не писать новый с нуля — на этих задачах их производительность может быть сопоставима с LLM. Исследователи сравнили две открытые модели с 7 млрд параметров — CodeLlama и Llama 2 — с результатами ChatGPT 3.5 на двух тысячах задач по доработке программ. Лучше всего SLM справлялись с локальными изменениями: например, переименованием сущностей и оформлением кода по соглашениям, принятым в проекте.

2. Работа с базами данных

Здесь, опять же, малые модели могут неплохо проявить себя — но с ограничениями. Схема реального хранилища, как правило, слишком велика, чтобы целиком поместить ее в промпт, поэтому необходим способ отсечь лишние таблицы и столбцы. Такой прием называется schema linking, и для малых моделей, имеющих меньшее контекстное окно, он критичнее, чем для больших.

При этом появляются кейсы, когда можно отказаться от традиционного подхода Text-to-SQL и встраивать вызовы языковой модели прямо внутрь SQL-запроса. Пару месяцев назад специалисты американской финтех-компании Capital One провели эксперимент. Они заменили проприетарный API на локальную Gemma 4 E4B с FP8-квантизацией весов, запущенную на одной RTX 5080 с 16 ГБ видеопамяти. Используя BlendSQL — язык запросов, объединяющий обычный SQL с вызовами языковых моделей — им удалось снизить расходы на выполнение операций в 390 раз, а задержку — в 3,8 раза при сопоставимом качестве ответов [для интересующихся особенностями реализации, код экспериментов опубликован на GitHub под Apache 2.0].

3. Спекулятивное декодирование

Это — способ ускорить работу LLM, при котором небольшая и быстрая модель заранее предсказывает несколько следующих токенов, а основная и более крупная — их проверяет. SLM особенно хорошо подходят на роль «предсказателя», поскольку от них не требуется безошибочно угадывать каждый токен. Их задача — быстро и дешево генерировать множество вероятных вариантов, среди которых большая модель сможет выбрать подходящий.

Как правило, спекулятивное декодирование используется на задачах, где важна скорость вывода: например, в системах интерактивного программирования, которые должны практически мгновенно дополнять код, или при машинном переводе. Сегодня спекулятивное декодирование используется в AI Overviews от Google.

Правда, стоит учитывать, что здесь важен баланс между качеством предсказаний и затратами на их получение. В экспериментах Google, где и предложили этот подход, T5-large с 770 млн параметров предсказывала токены (очевидно) точнее, чем T5-small с 60 млн: основная модель принимала 82% предложенных ей токенов против 75% от T5-small. Но при этом T5-large сама работала примерно вдвое медленнее. То есть слишком маленький «предсказатель» может экономить ресурсы на генерации, но чаще ошибаться — и свести выигрыш от спекулятивного декодирования на нет. Слишком крупный, в свою очередь, будет точнее угадывать токены, но потребует больше времени и ресурсов на сами предсказания.

В целом можно сказать, что работа с малыми языковыми моделями — это история про постоянный поиск баланса между скоростью, качеством и расходами. При этом по мере распространения ИИ критическое значение приобретает именно стоимость генерации. Когда запросов миллионы, затраты на инференс выходят на ведущие позиции — и тренд на удешевление становится определяющим. В этой логике запуск специфических задач на устройствах с помощью малых моделей — один из естественных и наиболее вероятных путей развития индустрии. Локальная SLM обрабатывает «узкую» задачу быстрее, дешевле и без утечки данных, а после развёртывания предельная стоимость генерации стремится к нулю. Крупные LLM при этом могут использоваться для сложных и творческих задач: речь идет не о замене подхода, а о разделении труда. Еще в 2023 году генеральный директор Nvidia Дженсен Хуангговорил, что будущее языковых моделей будет гибридным, и за разные задачи будут отвечать модели разного размера. Сейчас это уже не прогноз, а реальность, но и такой подход не лишен ограничений, связанных, в первую очередь, с тонкостями работы с SLM.

И еще немного нюансов

При всех очевидных преимуществах малых моделей у них есть ряд особенностей. 

Их размер неизбежно сказывается на качестве ответов

В 2025 году исследователи из университетов Нидерландов, Великобритании и Чехии протестировали, насколько точно 15 различных моделей способны извлекать специализированную медицинскую информацию. Модели разделили на четыре группы по количеству параметров: большие — более 150 млрд, средние — от 40 до 150 млрд, малые — от 4 до 40 млрд и миниатюрные — менее 4 млрд.

Стоит отметить, что авторы трактуют понятие «малой модели» заметно шире, чем обычно принято; если посмотреть на состав этой группы, то лишь одна модель из трех (DeepSeek R1 Qwen3 8B) укладывается в границу до 10 млрд параметров. Их категория миниатюрных моделей больше соответствует популярному определению SLM.

Что касается самого эксперимента, то качество работы моделей оценивали по шкале от 0 до 1, где единица означала полное совпадение с консенсусной разметкой профессиональных врачей. Большие, средние и малые модели показали практически одинаковые результаты — 0,78, 0,77 и 0,77 соответственно. А вот миниатюрные модели заметно отстали, набрав лишь 0,57. Иными словами, уменьшение размера модели начинает сказываться на качестве работы, что в особенности может проявляться при решении специализированных задач.

Увеличить точность SLM не всегда удается даже с помощью дистилляции

Исследователи из Вашингтонского университета, Университета Карнеги — Меллона и Университета Западного Вашингтона описали эффект, который назвали «разрывом в обучаемости малых моделей» (small model learnability gap). По их данным, модели с 3 млрд параметров и меньше (то есть те самые, что специалисты из предыдущего исследования окрестили «миниатюрными») не получают существенного преимущества ни от обучения на длинных цепочках рассуждений, ни от дистилляции с крупных моделей-учителей. Чтобы добиться хорошего результата, приходится тщательно подбирать и комбинировать разные типы обучающих данных.

Найти качественные датасеты для обучения SLM может быть сложно

Самостоятельная же их подготовка — нетривиальная задача. В феврале 2025 года команда Hugging Face выпустила SmolLM2 с 1,7 млрд параметров — универсальную модель, которую дополнительно обучили для работы с кодом и математическими формулами. Для этого разработчикам пришлось собрать три датасета: FineMath, Stack-Edu и SmolTalk, поскольку существующие наборы данных, по их оценке, оказались либо слишком маленькими, либо недостаточно качественными.

Учитывая сложность и продолжительность этого эксперимента, многим компаниям будет проще взять подходящую и достаточно «умную» LLM, нежели тратить время и ресурсы на подготовку данных, дообучение и адаптацию компактной модели. И это далеко не последний минус «корпоративной SLM»:

Роутинг между моделями порой нецелесообразен

«Я в своей работе не использую малые модели в продакшене; в основном закрываю все задачи через крупные модели, в том числе Qwen. В целом использование маленьких моделей на узких задачах вроде классификатора текста — это интересная тема. Но тут «всплывает» следующий момент. 

С одной стороны, можно использовать для всех запросов одну большую модель. С точки зрения инфраструктуры все понятно: один сервис, одно место, которое нужно поддерживать. Но прогонять через нее какие-то простые задачи может казаться избыточным. С другой стороны, можно завести отдельную малую модель — но тогда ее тоже придется разворачивать, поддерживать, мониторить, обновлять. Нагрузка на команду фактически удваивается.

И вот вопрос: начиная с какого объема таких запросов роутинг между моделями начнет окупаться и приносить пользу? Я не занимаюсь разработкой высоконагруженных систем с LLM, поэтому вопрос, в какой момент окупится (и окупится ли вообще) использование роутинга между разными моделями, для меня не праздный».

— Максим Шкут, Data Scientist, ВТБ Наш скепсис в отношении роутинга разделяют и ученые. Исследователи из Академии наук КНР в мае 2025 года провели систематический обзор работ, посвященных совместному использованию больших и малых языковых моделей. Они изучили около двухсот исследований и систематизировали основные варианты взаимодействия между ними. Одна из главных причин использовать SLM — сократить задержку при обработке запросов. Однако медленный роутер способен свести это преимущество на нет. Кроме того, такая архитектура сложнее в эксплуатации: приходится отдельно следить за несколькими моделями и компонентами, а если качество ответов падает, виновник такого поведения не всегда очевиден.

SLM (особенно с открытыми весами) уязвимы с точки зрения ИБ

Зачастую с них проще снять встроенные разработчиками ограничения, а значит, их легче заставить выполнять нежелательные операции. При этом методы «взлома» компактных моделей во многом те же, что и для крупных LLM. В мае 2026 года журналисты Financial Times совместно с исследователями группы по безопасности ИИ Alice показали, что с помощью опенсорсного инструмента Heretic, реализующего технику «аблитерации» (метод деструктивной модификации весов), можно снять ограничения менее, чем за десять минут. После модификации одна из моделей семейства Gemma 3 начала отвечать на вопросы о распылении хлора в закрытом помещении и генерировала код для кражи данных банковских карт.

Малые модели уступают по уровню публичного ажиотажа крупным LLM

Это не техническая проблема, но ее последствия отражаются на инвестициях. Крупный бизнес и ИТ-компании в первую очередь вкладываются в инфраструктуру для больших моделей, в результате SLM пока получают меньше ресурсов и возможностей для развития. Поэтому пока сложно утверждать, что «будущее за SLM». Скорее всего, в ближайшие годы большие и малые модели будут не столько конкурировать, сколько использоваться на разных типах задач.

«Мне кажется, что наиболее реалистичная сфера применения маленьких моделей — это узконаправленные задачи классификации, когда нужно выиграть время, и где precision гораздо важнее, чем recall. Но, в большинстве своем, и задач таких мало, и по метрикам выгоднее использовать крупные модели. LLM можно так же дообучить с помощью адаптера под конкретную задачу, что не потребует столь же больших ресурсов, что и дообучение целой модели. И справляться с узкой задачей она будет в разы лучше, чем маленькая, пусть даже дообученная».

— Андрей Ситников, Data Scientist, ВТББольше статей про data science, языковые модели и автоматизацию в нашем блоге:

• Graph Rag и «Гарри Поттер»
• Как мы автоматизировали обработку входящих клиентских обращений
• Определение профиля нагрузки в PostgreSQL и динамические состояния БДТеги:• ВТБ
• малые языковые модели
• SLM
• LLM
• дистилляция моделей
• большие языковые моделиХабы:• Блог компании ВТБ
• Искусственный интеллект
• Машинное обучение
• Управление разработкой
• Анализ и проектирование систем