Mistral анонсирует Large 2: флагманский LLM с 123 миллиардами параметров

Large 2 — ведущая модель большого языка (LLM) со значительно более высокими возможностями генерации кода, математических вычислений и рассуждений. Mistral также добавила улучшенную многоязыковую поддержку и ряд расширенных функций с Large 2.

Если вы не знаете, большая языковая модель — это языковая модель с общими возможностями для генерации языка и других задач обработки естественного языка. LLM достигает этой способности, изучая статистические взаимосвязи из текстов во время высоковычислительно сложного самоконтролируемого и полуконтролируемого обучения.

Модель Mistral Large 2 имеет 123 миллиарда параметров, что позволяет ей работать на одном узле H100 с высокой пропускной способностью. Эта LLM имеет комплексную поддержку французского, немецкого, испанского, итальянского, португальского, арабского, хинди, русского, китайского, японского и корейского языков. С точки зрения кодирования, Large 2 поддерживает более 80 различных языков программирования, включая Python, Java, C, C++, JavaScript и Bash…

Large 2 в настоящее время доступен для открытого доступа, но Mistral предоставляет его бесплатно только для исследовательских и некоммерческих целей. Для коммерческого использования пользователям необходима специальная лицензия на использование.

Благодаря 123 миллиардам параметров (123B) производительность Mistral Large 2 сопоставима с GPT-4o, OpenAI Claude Opus 3 и недавно выпущенной Meta Llama 3.1 405B с точки зрения возможностей кодирования. В рейтингах Wild Bench, Arena Hard и MT Bench Large 2 превзошла Llama 3.1 405B и Claude 3 Opus. В популярном бенчмарке MMLU эта новая модель работает лучше, чем Llama 3.1 70B, и сопоставима с Llama 3.1 405B.

С точки зрения разработчиков, Mistral Large 2 теперь имеет улучшенные навыки вызова и извлечения функций. Теперь модель может выполнять как параллельные, так и последовательные вызовы функций, что позволяет разработчикам создавать сложные бизнес-приложения ИИ.

С выпуском Large 2 экосистема LLM Mistral теперь относительно разнообразна, включая Mistral Nemo, Mistral Large и две специализированные модели: Codestral и Embed. Mistral прекратит выпуск моделей Apache (Mistral 7B, Mistral 8x7B и 8x22B, Codestral Mamba, Mathstral) в будущем.

Microsoft и Mistral заключили партнерство по интеграции моделей Mistral в Azure. Сегодня Mistral расширяет партнерство с Google, чтобы перенести свои продукты в Google Cloud.

Последовательные выпуски Mistral Large 2 и Llama 3.1 знаменуют собой важную веху для открытой экосистемы ИИ, предоставляя две мощные модели уровня GPT-4 для исследований и разработок. Этот быстрый прогресс стимулирует растущий импульс к более открытой и совместной экосистеме ИИ.

Изабелла Хамфри

Обновление 25 июля 2024 г.