У Алисы теперь полностью своя языковая модель

09:30
6 Анализ этих новостей
Компания «Яндекс» выпустила в открытый доступ (open-source) под лицензией Apache 2.0 новую суверенную языковую модель Alice AI Foundation LLM (версия AliceAI-Foundation-80B-A3B-Base). Модель была обучена с нуля без использования сторонних иностранных компонентов и весов. Она имеет 80 млрд параметров, из которых в процессе работы активируются 3 млрд. Данная разработка является технологическим фундаментом для создания будущей «Единой рассуждающей модели» (ЕРМ) и развития агентских возможностей «Алисы», позволяющих выполнять реальные задачи, а не только вести диалог.

Технические и сравнительные характеристики:
— Модель демонстрирует высокую эффективность: по многим бенчмаркам она обходит более крупные аналоги, такие как DeepSeek-V4-Flash-Base и Nemotron-3-Super. В задачах на написание кода она превосходит решение от NVIDIA, а в математических олимпиадных задачах делит лидерство с моделью от Alibaba. В задачах на фактические знания превосходит DeepSeek.
— Особое преимущество — глубокое понимание русского языка и локального контекста (включая медицину и право), что снижает риск «галлюцинаций», характерных для зарубежных аналогов.
— В процессе разработки команда столкнулась с техническими вызовами: несоответствием лосса и бенчмарков (решено пересборкой датасета для эвала) и необходимостью оптимизации работы оптимизатора Muon (решено созданием параллельного конвейера для ускорения вычислений вдвое).
— Вместе с моделью опубликованы два новых фактологических бенчмарка: [WikiWebFacts](https://huggingface.co/datasets/yandex/WikiWebFacts) и [HardMultiQAс](https://huggingface.co/datasets/yandex/HardMultiQA), ориентированных на русскоязычный контекст.

Подробный технический отчет доступен на [Habr](https://habr.com/ru/companies/yandex/articles/1083300/).
При загрузке возникла ошибка!