Что такое Le Chat от Mistral AI? В чем разница по сравнению с ChatGPT?

Le Chat от Mistral привлекает внимание сообщества чат-ботов с искусственным интеллектом, причем некоторые видят в нем потенциального конкурента ChatGPT.

Но действительно ли этот молодой чат-бот с искусственным интеллектом заслуживает этого титула? Le Chat от Mistral лучше, чем ChatGPT?

Что такое Le Chat от Mistral AI?

Le Chat — это диалоговый чат-бот с искусственным интеллектом, разработанный французским стартапом Mistral AI. Он поддерживается несколькими основными языковыми моделями, принадлежащими Mistral, включая Mistral Large, Mistral Small и Mistral Next, каждую из которых вы можете использовать при взаимодействии с чат-ботом с искусственным интеллектом. Хотя это относительно новый участник в сфере чат-ботов с искусственным интеллектом, он высоко ценится за производительность своих моделей искусственного интеллекта, несмотря на меньший масштаб по сравнению с тяжеловесами отрасли, такими как Gemini и GPT-4.

Чтобы понять, что это значит, представьте, что вы играете со строительными кубиками. Чем больше у вас блоков, тем более сложные и детализированные конструкции вы сможете построить, верно? Модели AI Language немного похожи на это. Они бывают разных размеров, обычно выражаемых количеством параметров. Возможно, вы слышали такие термины, как «параметр 7B» или «параметр 70B» в моделях искусственного интеллекта. Количество параметров аналогично количеству строительных блоков, которые модель должна понимать и генерировать ответы. Таким образом, если языковая модель имеет больше параметров, она может понимать и генерировать более качественные и сложные ответы.

В настоящее время, в то время как GPT-4, по оценкам, имеет около 1,76 триллиона параметров, Mistral AI, по оценкам, имеет от 7 до 56 миллиардов параметров. Вы видите разницу в количестве? Это одна из причин, вызывающих ажиотаж вокруг возможностей этого чат-бота с искусственным интеллектом.

Хотя Le Chat не пользуется таким же уровнем известности, как ChatGPT, и не пользуется такой же ценностью бренда, как Gemini, он все равно находит свое отражение в разговорах всякий раз, когда обсуждается потенциальная конкуренция ChatGPT. Но заслуживает ли он места на шкале?

Сравните Le Chat и ChatGPT

Креативность

Креативность — один из наиболее важных показателей для оценки эффективности диалоговых чат-ботов с искусственным интеллектом. Помните, что цель чат-ботов с искусственным интеллектом — копировать или имитировать человеческие разговорные и творческие способности в большом масштабе. Это делает креативность очень важной силой для любого чат-бота с искусственным интеллектом. Мир тестирует ChatGPT уже больше года, и его креативность неоспорима. А как насчет Ле Шата? Давайте проверим обоих чат-ботов на креативность!

Для начала спросите обоих чат-ботов: «Как бы вы описали себя художнику?» проверить вашу способность использовать творческие и образные слова для самоконцепции.

Вот как ChatGPT описывает себя:

Вот как описывает себя Le Chat:

Оба ответа по-своему актуальны. ChatGPT больше внимания уделяет использованию ярких образов и метафор для описания себя, демонстрируя творческий талант. С другой стороны, ответ Le Chat был информативным и сосредоточен на описании его природы как чат-бота с искусственным интеллектом. Кто-то может сказать, что ему не хватает творческого чутья и художественного подхода, которые представляет собой ответ ChatGPT. Однако многие люди предпочтут более наглядный ответ Le Chat абстрактному описанию ChatGPT.

Затем автор статьи попросил ChatGPT и Le Chat написать рэп-песню о том, как разбогатеть, выращивая огурцы — сложный запрос для проверки креативности других чат-ботов. Сколько рэп-песен про огурцы можно найти в сети?

Вот ответ ChatGPT:

А вот ответ Ле Шата:

Это может быть субъективным вопросом, но ответ ChatGPT здесь кажется лучшим вариантом. Тексты Le Chat кажутся довольно многословными и на самом деле не похожи на то, что мог бы создать рэпер. Чтобы проверить, как будут звучать оба текста, если их превратить в музыку, автор использовал музыкальный генератор Suno AI для создания музыки из текстов. Во всех трех попытках тексты ChatGPT звучали намного лучше. Ниже приведен пример обоих чат-ботов с искусственным интеллектом, вы можете оценить, какой чат-бот работает лучше.

Сэмплы, созданные на основе текстов ChatGPT.

Образец 1:

Образец 2:

Сэмплы, созданные на основе текстов Mistral Le Chat

Образец 1:

Образец 2:

Автор попробовал несколько других творческих задач, таких как написание стихов, написание статей и составление сложных рабочих электронных писем с помощью чат-бота с искусственным интеллектом. Несмотря на многообещающие результаты, Le Chat во всех случаях явно уступает ChatGPT. Важно отметить, что одна из областей, в которой Le Chat особенно силен, — это писательство, несмотря на некоторую наводящую на размышления сложность стиля. Однако с точки зрения всестороннего творчества победа принадлежит ChatGPT.

Навыки программирования

Навыки программирования стали важным требованием для крупных чат-ботов с искусственным интеллектом. Написание хорошего кода — это фундаментальный навык, но чтобы по-настоящему выделиться среди элиты, чат-бот с искусственным интеллектом должен продемонстрировать способность создавать код, который может эффективно решать множество сложных проблем. Ранее мы создали целое веб-приложение с нуля, используя ChatGPT, который продемонстрировал его превосходные возможности в качестве инструмента программирования. Но насколько хорошо Le Chat пишет код?

Автор поручил обоим чат-ботам написать простое приложение со списком дел с использованием CSS, HTML и JavaScript. ChatGPT без проблем дает хорошие результаты. Автор скопировал сгенерированный код и просмотрел его в браузере, и вот что создал ChatGPT:

Каждый раз, когда напоминание повторяется, ChatGPT создает многофункциональное приложение со списком дел в разных стилях. Не бывает случаев, когда сгенерированный код не работает.

Когда я попробовал то же самое приглашение в Le Chat, он выдал код, который казался понятным, но когда я попробовал запустить его в браузере, он не сработал. После повторения запроса 3 раза ни одна версия не создала код, который мог бы выполнить данную задачу. Le Chat не справился с одной из самых простых задач по программированию!

Конечно, нельзя судить о Ле Шате только по одному проваленному тесту. Затем автор попросил обоих чат-ботов сгенерировать код JavaScript и PHP для кодирования и декодирования текста. Во втором тесте и ChatGPT, и Le Chat сгенерировали код, способный выполнить данную задачу. Однако версия Le Chat похожа на версию, которую написал бы неопытный начинающий программист. С другой стороны, код ChatGPT более полный и, похоже, написан опытным программистом.

Автор повторил еще несколько экспериментов по программированию, связанных с поиском и исправлением ошибок. В результате ChatGPT всегда работает лучше, чем Le Chat. В некоторых случаях Ле Шат даже не знал, что делать. Вполне возможно, что Le Chat может соответствовать ChatGPT в некоторых областях, но навыки программирования, похоже, не входят в их число.

Здравый смысл и логическое рассуждение

Интересной особенностью чат-ботов с искусственным интеллектом является их способность с легкостью решать сложные задачи, но не справляться с простыми задачами, для выполнения которых требуется элементарный здравый смысл. Многие чат-боты, как существующие, такие как ChatGPT, так и новые, такие как Le Chat, испытывают трудности с решением задач, требующих здравого смысла и логического мышления в человеческом стиле. Так как же в этом отношении Le Chat и ChatGPT сравниваются?

Автор статьи спросил обоих чат-ботов: «Если у вас есть 3-литровая бутылка и 5-литровая бутылка, как вы сможете отмерить 4 литра воды, используя 3-литровую и 5-литровую бутылки?» (Если у вас есть 3-литровая бутылка и 5-литровая бутылка. Как отмерить 4 литра воды, используя 3-литровую и 5-литровую бутылки?)

ChatGPT элегантно решил проблему:

Le Chat попробовал ту же операцию и решил проблему, хотя и другим подходом.

Оба чат-бота показали в этом тесте сопоставимые результаты.

Далее автор задал обоим чат-ботам вопрос с подвохом: «Если космический корабль с Марса разобьется на две части, одна часть упадет в Атлантический океан недалеко от Бразилии, а другая — в Тихий океан недалеко от Японии, где вы похороните выживших?» (Если бы космический корабль с Марса разломился на две части, одна часть упала в Атлантический океан недалеко от Бразилии, а другая упала в Тихий океан недалеко от Японии, где бы вы похоронили выживших?)

ChatGPT разглядел этот трюк и отреагировал соответствующим образом:

Le Chat тоже разглядел эту уловку и отреагировал соответственно:

Автор попробовал больше вопросов с подвохом, похоже, что и ChatGPT, и Le Chat достаточно хорошо справляются с логическими и здравыми рассуждениями. Однако на более сложные логические вопросы только ChatGPT может дать соответствующие ответы.

Хотя Le Chat вызвал некоторый ажиотаж как потенциальный конкурент ChatGPT, испытания показывают, что ему еще предстоит проделать большую работу, прежде чем он сможет по-настоящему бросить вызов тяжеловесам ChatGPT. мир чат-ботов с искусственным интеллектом. Хотя Le Chat продемонстрировал впечатляющие способности в таких областях, как здравое рассуждение, его навыки программирования и творческие способности значительно отставали от ChatGPT.

Как и многим амбициозным соперникам до него, Ле Шату необходимы постоянные проверки и тренировки, прежде чем он будет готов к крупным турнирам. На данный момент чат-боты с искусственным интеллектом, такие как ChatGPT, явно по-прежнему являются бесспорными королями мира чат-ботов с искусственным интеллектом. Но игровое поле конкурентов становится все более переполненным, поэтому лидерам не удается почивать на лаврах.