Nvidia и Microsoft работают вместе, чтобы решить большую проблему с Copilot+

Когда несколько недель назад Microsoft анонсировала платформу Copilot+ для ПК, распространенным вопросом было: «Почему я не могу запускать эти приложения искусственного интеллекта на своем графическом процессоре?» На Computerx 2024 компания Nvidia наконец-то дала ответ на этот вопрос.

Nvidia и Microsoft сотрудничают в проекте по разработке интерфейса прикладного программирования (API), позволяющего разработчикам запускать свои приложения искусственного интеллекта на видеокартах RTX. Сюда входят различные модели малого языка (SLM), являющиеся частью среды выполнения Copilot, которые используются в качестве основы для новых функций, привлекающих много внимания, таких как Recall и Live Captions.

С помощью вышеуказанного набора инструментов разработчики могут разрешить приложениям запускаться локально на графическом процессоре, а не на NPU. Это открывает двери не только для более мощных приложений искусственного интеллекта, поскольку производительность обработки искусственного интеллекта на графическом процессоре обычно выше, чем у NPU, но и возможность запуска на ПК, которые в настоящее время не являются частью экосистемы Copilot+.

Не будет преувеличением сказать, что это революционный проект. Компьютерам Copilot+ в настоящее время требуется блок нейронных процессоров (NPU), способный выполнять не менее 40 тера операций в секунду (TOPS). В настоящее время этому критерию соответствует только Snapdragon X Elite. Однако графические процессоры в целом обладают гораздо более высокими возможностями обработки искусственного интеллекта: даже модели младшего класса могут достигать 100 TOPS, а продукты более высокого класса даже имеют тот же уровень мощности во много раз больше.

Помимо работы на графических процессорах, новый API также добавляет возможности генерации с расширенным доступом (RAG) в среду выполнения Copilot. RAG предоставляет модели ИИ доступ к локально специфичной информации, что позволяет ей предлагать более полезные решения. Мы видели RAG в полной мере в чате Nvidia с платформой чат-ботов RTX AI, запущенной ранее в этом году.

Помимо API, Nvidia анонсировала на выставке Computerx набор инструментов RTX AI Toolkit. Этот комплект разработчика будет официально выпущен в июне и объединит различные инструменты и SDK, которые позволят разработчикам адаптировать модели ИИ для конкретных приложений. Nvidia заявляет, что с помощью RTX AI Toolkit разработчики могут создавать модели в четыре раза быстрее и в три раза меньше, чем при использовании обычных решений с открытым исходным кодом.

В мире технологий наблюдается волна инструментов, которые позволяют разработчикам создавать конкретные приложения искусственного интеллекта для конечных пользователей. Некоторые из них уже появились на ПК Copilot+, и эта тенденция, похоже, продлится как минимум до конца следующего года. В конечном итоге у нас есть оборудование для запуска этих приложений; Чего сейчас не хватает, так это программного обеспечения.

Мика Сото