9 лучших местных/оффлайн программ LLM, которые вы можете попробовать прямо сейчас

Теперь, когда квантовые LLM доступны в HuggingFace и экосистемах искусственного интеллекта, таких как H20, Text Gen и GPT4All, позволяющих загружать веса LLM на ваш компьютер, у вас теперь есть возможность бесплатного, гибкого и безопасного искусственного интеллекта.

Теперь, когда квантовые LLM доступны в HuggingFace и экосистемах искусственного интеллекта, таких как H20, Text Gen и GPT4All, позволяющих загружать веса LLM на ваш компьютер, у вас теперь есть возможность бесплатного, гибкого и безопасного искусственного интеллекта. Вот 9 лучших местных и офлайн-программ LLM, которые вы можете попробовать прямо сейчас!

1. Гермес 2 Про GPTQ

9 лучших местных и офлайн-программ LLM, которые вы можете попробовать прямо сейчас. Изображение 1

Hermes 2 Pro — это современная языковая модель, доработанная Nous Research. Он использует обновленную и компактную версию набора данных OpenHermes 2.5, а также недавно представленные наборы данных Function Calling и JSON, разработанные компанией. Модель основана на архитектуре Mistral 7B и обучена на 1 000 000 инструкций/разговоров качества GPT-4 или выше, в основном на синтетических данных.

2. Зефир 7Б Бета

Zephyr — это серия языковых моделей, обученных выступать в роли полезных помощников. Zephyr-7B-Beta — вторая модель в серии, доработанная на основе Mistral-7B-v0.1 с использованием оптимизации прямых предпочтений (DPO) на основе общедоступных синтетических наборов данных.

3. Сокол инструктирует GPTQ

9 лучших местных и офлайн-программ LLM, которые вы можете попробовать прямо сейчас. Изображение 2

Эта квантованная версия Falcon основана на архитектуре, состоящей только из декодера, доработанной на сырой модели Falcon-7b от TII. Базовая модель Falcon обучается с использованием 1,5 триллионов токенов, полученных из общедоступного Интернета. Будучи моделью декодера на основе команд, имеющей лицензию Apache 2, Falcon Instruct идеально подходит для малых предприятий, которым нужна модель для языкового перевода и приема данных.

4. GPT4ALL-J Отличный

GPT4All-J Groovy — это модель только для декодера, настроенная Nomic AI и лицензируемая под Apache 2.0. GPT4ALL-J Groovy основан на исходной модели GPT-J, которая, как известно, отлично генерирует текст из подсказок. GPT4ALL-J Groovy настроен на диалоговую модель, которая отлично подходит для быстрых и творческих приложений для создания текста. Это делает GPT4All-J Groovy идеальным для создателей контента, помогая им писать и сочинять стихи, музыку или рассказы.

5. Инструкция по DeepSeek Coder V2

9 лучших местных и офлайн-программ LLM, которые вы можете попробовать прямо сейчас. Изображение 3

DeepSeek Coder V2 — это усовершенствованная языковая модель, которая расширяет возможности программирования и математических рассуждений. DeepSeek Coder V2 поддерживает несколько языков программирования и обеспечивает расширенную длину контекста, что делает его универсальным инструментом для разработчиков.

6. Микстрал-8х7Б

9 лучших местных и офлайн-программ LLM, которые вы можете попробовать прямо сейчас. Изображение 4

Mixtral-8x7B представляет собой смесь экспертной (МОЭ) модели, разработанную компанией Mistral AI. На каждый MLP приходится 8 экспертов, что в сумме составляет 45 миллиардов параметров. Однако во время вывода активируются только два эксперта для каждого токена, что делает его вычислительно эффективным, а скорость и стоимость сопоставимы с моделью с 12 миллиардами параметров.

7. Волшебница Викунья без цензуры-GPTQ

Wizard-Vicuna GPTQ — квантовая версия Wizard-Vicuna, основанная на модели LlaMA. В отличие от большинства программ LLM, опубликованных для общественности, Wizard-Vicuna представляет собой модель без цензуры и с отключением связей. Это означает, что эта модель не соответствует тем же стандартам безопасности и этики, что и большинство других моделей.

8. Орка Мини-GPTQ

9 лучших местных и оффлайн программ LLM, которые вы можете попробовать прямо сейчас. Изображение 5

Хотите протестировать модель, обученную с использованием уникального подхода к обучению? Orca Mini — это неофициальная реализация исследовательских работ Microsoft Orca. Модель обучается с использованием подхода «учитель-ученик», при котором набор данных заполняется объяснениями, а не просто подсказками и отзывами. Теоретически это должно сделать студента умнее, поскольку модель может понять проблему, а не просто искать пары входных и выходных данных, как это делает типичный LLM.

9. Лама 2 13B Чат GPTQ

9 лучших локальных и офлайн-программ LLM, которые вы можете попробовать прямо сейчас. Изображение 6

Llama 2 является преемником оригинальной версии Llama LLM и предлагает улучшенную производительность и гибкость. Вариант 13B Chat GPTQ настроен для диалоговых приложений искусственного интеллекта, оптимизированных для диалога на английском языке.

Некоторые из перечисленных выше моделей выпускаются в нескольких версиях. Как правило, версии с более высокими характеристиками дают лучшие результаты, но требуют более мощного оборудования, тогда как версии с более низкими характеристиками дают результаты более низкого качества, но могут работать на более низком оборудовании. Если вы не уверены, сможет ли ваш компьютер работать с той или иной моделью, сначала попробуйте версию с более низкими характеристиками, а затем продолжайте, пока не почувствуете, что падение производительности больше не является приемлемым.

Лесли Монтойя

Обновление от 17 декабря 2024 г.