Anthropic запускает Claude 3.5 Sonnet, обойдя ChatGPT 4o

Это не самая большая модель в лаборатории Anthropic, но она превосходит ChatGPT 4o и Gemini 1.5 Proo, по крайней мере, в некоторых тестах. Claude 3.5 Sonnet — модель среднего класса, которая в 2 раза быстрее самой крупной модели Claude 3 Opus.

Anthropic сохранил неизменной цену API для модели Sonnet 3.5 с контекстным окном в 200 тысяч токенов. Для обычных пользователей он доступен бесплатно на claude.ai и поддерживает загрузку как изображений, так и документов. Помните, что для бесплатных пользователей существуют ограничения по скорости!

Что касается тестов, Claude 3.5 Sonnet превосходит GPT-4o в большинстве тестов, кроме MMLU и MATH, но разница очень мала. В тесте шифрования HumanEval Claude 3.5 Sonnet набрал 92%, а GPT-4o — 90,2%. В GPQA Diamond, оценивающем способность к рассуждению выпускников, новая модель Sonnet набрала 59,4%, а GPT-4o — 53,6%.

В тесте MMLU Claude 3.5 Sonnet набрал 88,3%, а модель OpenAI GPT-4o — 88,7%. Из таблицы можно сделать вывод, что Anthropic разработала высокопроизводительную модель, превосходящую по производительности как GPT-4o, так и Gemini 1.5 Pro.

Далее, Claude 3.5 Sonnet также является сильной визуальной моделью и снова превосходит GPT-4o в различных тестах на визуальное мышление. Он очень хорошо понимает и копирует текст с трудночитаемых изображений. Он также превосходно интерпретирует диаграммы, графики и иллюстрации.

Кроме того, Anthropic анонсировала новый инструмент Artifacts для Claude, который работает как инструмент OpenAI Code Interpreter. Инструмент «Артефакты» генерирует код и контент с использованием искусственного интеллекта в отдельном интерфейсе. Он не ограничивается только Python, но может работать и с другими языками программирования.

Anthropic сообщает, что Claude 3.5 Haiku и Claude 3.5 Opus будут доступны позднее в этом году. В целом я был впечатлен скоростью и интеллектом Клода 3.5 Sonnet. Похоже, что пользователи наконец-то смогут заменить ChatGPT 4o на новую модель Anthropic для своей повседневной работы.

Изабелла Хамфри

Обновление от 22 июня 2024 г.