Запущен LG EXAONE: первая в Корее модель искусственного интеллекта с открытым исходным кодом

LG AI Research объявила о запуске совершенно новой модели ИИ с открытым исходным кодом под названием EXAONE 3.0. Это первая в Корее модель ИИ с открытым исходным кодом, а также достижение, знаменующее официальный выход страны на глобальную сферу ИИ, в которой в настоящее время доминируют гигантские технологические компании из Кореи. Америки, а также ряд новых имен в Китае. EXAONE 3.0 в настоящее время поддерживает только два языковых варианта — английский и корейский, — но будет постоянно расширяться в будущем.

EXAONE 3.0 — это модель с открытым исходным кодом, разработанная на основе архитектуры Transformer с использованием только декодера. Эта модель может похвастаться до 7,8 млрд параметров и более 8T обучающих данных (токенов). Говоря о запуске EXAONE 3.0, в пресс-релизе LG говорится:

Среди языковых моделей EXAONE 3.0, созданных для различных целей, модель настройки команд с 7,8 миллиардами параметров находится в стадии предварительной подготовки, чтобы ее можно было использовать в исследовательских целях. Мы надеемся, что выпуск этой модели поможет исследователям ИИ как внутри страны, так и за рубежом проводить более содержательные исследования и поможет экосистеме ИИ продвинуться на один шаг вперед на пути к разработке и распространению. обновление.

Внутренние тесты LG показывают, что возможности EXAONE 3.0 в области английского языка достигли «самого высокого уровня в отрасли». Средний балл реальных вариантов использования, как говорят, находится на самом высоком уровне, превосходя некоторые известные современные модели, такие как Llama 3.0.

Когда дело доходит до математических вычислений и кодирования, EXAONE 3.0 также превосходит средний балл и обладает сильными возможностями рассуждения. EXAONE 3.0 занял первое место по средним баллам как для реальных случаев использования, так и для отдельных бенчмарков в Корее.

Примечательно, что EXAONE 3.0 продемонстрировал превосходную производительность и экономическую эффективность по сравнению со своими предшественниками EXAONE 1.0 (декабрь 2021 г.) и EXAONE 2.0 (июль 2023 г.). Эта модель, как утверждается, сокращает время вывода на 56%, использование памяти на 35% и эксплуатационные расходы на 72% по сравнению с моделью предыдущего поколения.

На сегодняшний день EXAONE 3.0 обучен на 60 миллионах специализированных данных, связанных с патентами, кодами, математикой и химией. Компания планирует расширить данные обучения до 100 миллионов случаев в различных областях к концу этого года.

Чтобы снизить энергопотребление при работе модели, LG AI Research сосредоточится на исследовании технологий оптимизации и сделает вышеупомянутый EXAONE 3.0 более компактным и легким. Компании удалось уменьшить размер модели на 97% при одновременном повышении производительности по сравнению с EXAONE 1.0.

Джессика Таннер