Как использовать чат-бот Nvidia AI Chat с RTX на своем компьютере

Все, что вам нужно, это графический процессор Nvidia RTX, и вы готовы начать использовать нового чат-бота Nvidia с искусственным интеллектом.

Что такое чат Nvidia с RXT?

Nvidia Chat с RTX — это программное обеспечение искусственного интеллекта, которое позволяет запускать большие языковые модели (LLM) локально на вашем компьютере. Таким образом, вместо того, чтобы выходить в Интернет и использовать чат-бота с искусственным интеллектом, такого как ChatGPT, вы можете использовать Chat с RTX в автономном режиме, когда захотите.

Чат с RXT использует TensorRT-LLM, ускорение RTX и квантованный Mistral 7-B LLM для обеспечения быстрой производительности и качества ответов на уровне других онлайн-чат-ботов с искусственным интеллектом. Он также предлагает возможности расширенной генерации данных (RAG), которые позволяют чат-ботам читать ваши файлы и инициировать индивидуальные ответы на основе предоставленных вами данных. Это позволяет вам настроить чат-бота для более личного использования.

Если вы хотите попробовать Nvidia Chat с RTX, вот как его загрузить, установить и настроить на своем компьютере.

Как скачать и установить Чат с RXT

Nvidia значительно упростила запуск LLM локально на вашем компьютере. Чтобы запустить Chat with RXT, вам просто нужно загрузить и установить приложение, как и любое другое программное обеспечение. Однако для правильной установки и использования Chat with RTX предъявляются некоторые минимальные технические требования.

Графические процессоры RTX 30-й или 40-й серии
16 ГБ ОЗУ
100 ГБ свободной памяти

Если ваш компьютер соответствует минимальным системным требованиям, вы можете установить приложение.

Шаг 1. Загрузите ZIP-файл чата с RXT.

Шаг 2. Извлеките ZIP-файл, щелкнув правой кнопкой мыши и выбрав инструмент архивирования файлов, например 7Zip, или дважды щелкнув файл и выбрав «Извлечь все».

Шаг 3. Откройте извлеченную папку и дважды щелкните файл setup.exe. Следуйте инструкциям на экране и установите все флажки во время выборочной установки. После нажатия кнопки «Далее» установщик загрузит и установит LLM, а также все зависимости.

Установка чата с RXT займет некоторое время, так как он загружает и устанавливает большой объем данных. После процесса установки нажмите «Закрыть», и все готово. Теперь пришло время попробовать приложение

Как использовать Nvidia Chat с RTX

Хотя вы можете использовать Chat с RXT как обычный онлайн-чат-бот с искусственным интеллектом, в статье настоятельно рекомендуется ознакомиться с его функциональностью RAG, которая позволяет настраивать его вывод на основе файлов, к которым вы предоставляете доступ.

Шаг 1. Создайте папку RAG.

Чтобы начать использовать RAG в чате с RXT, создайте новую папку для хранения файлов, которые ИИ должен проанализировать.

После создания поместите файлы данных в папку. Данные, которые вы храните, могут включать в себя множество тем и типов файлов, таких как документы, PDF-файлы, текст и видео. Однако вы можете ограничить количество файлов, помещаемых в эту папку, чтобы не влиять на производительность. Больше данных для поиска означает, что чат с RXT займет больше времени для ответа на конкретные вопросы (но это также зависит от оборудования).

Теперь, когда ваша база данных готова, вы можете настроить чат с RXT и начать использовать его, чтобы отвечать на ваши вопросы и проблемы.

Шаг 2. Настройте среду

Откройте чат с RXT. Это будет выглядеть как на изображении ниже.

В наборе данных убедитесь, что выбран параметр «Путь к папке». Теперь щелкните значок редактирования ниже (значок пера) и выберите папку, содержащую все файлы, которые вы хотите прочитать в Chat с RTX. Также можно изменить модель ИИ, если есть другие варианты (на момент написания статьи только Мистраль 7Б).

Теперь вы готовы использовать чат с RXT.

Шаг 3. Задавайте вопросы в чате с RXT!

Есть несколько способов отправить запрос в чат с помощью RXT. Первый — использовать его как обычного чат-бота с искусственным интеллектом. Автор спросил в чате RXT о преимуществах использования местного LLM и остался доволен их ответом. Это не слишком глубоко, но достаточно точно.

Но поскольку Chat with RTX имеет возможности RAG, вы также можете использовать его в качестве личного помощника с искусственным интеллектом.

Выше автор использовал чат с RTX, чтобы узнать о своем расписании. Данные были получены из файла PDF, содержащего расписания, календари, события, задачи и т. д. В этом случае Chat с RTX извлек из этих данных точные данные календаря; Вам придется обновить файлы данных и даты календаря, чтобы подобные функции работали правильно, пока не станет доступна интеграция с другими приложениями.

Есть много способов использовать чат с RAG RTX в своих интересах. Например, вы можете использовать его для чтения юридических документов и составления резюме, создания кода, связанного с программой, которую вы разрабатываете, получения маркированных основных моментов о просмотренном вами видео. занят, чтобы увидеть и многое другое!

Шаг 4: Дополнительные функции

Помимо локального каталога данных, вы можете использовать чат с RXT для анализа видео YouTube. Для этого в наборе данных измените путь к папке на URL-адрес YouTube.