OpenAI рассматривает возможность добавления водяного знака в текст, сгенерированный ChatGPT

Но компания обсуждает внутри себя, публиковать его или нет. С одной стороны, это кажется ответственным делом; с другой стороны, это может навредить прибыли компании.

Технология создания водяных знаков OpenAI описывается как корректировка того, как модель предсказывает слова и фразы, которые с наибольшей вероятностью встретятся после предыдущих слов и фраз, создавая обнаруживаемый шаблон.

Предложение любого способа обнаружения документов, написанных ИИ, является потенциальным благом для учителей, пытающихся отговорить учеников от использования ИИ для выполнения домашних заданий. Журнал сообщает, что компания обнаружила, что водяной знак не повлиял на качество текстового вывода чат-бота. В опросе, заказанном компанией, «люди по всему миру поддержали идею инструмента обнаружения ИИ с перевесом 4:1», — пишет Journal.

После того, как Journal опубликовал свою историю, OpenAI подтвердила, что настаивала на добавлении текстового водяного знака в сегодняшнем обновлении блога, обнаруженном TechCrunch. В нем компания утверждает, что ее метод является высокоточным («эффективность 99,9%», согласно документам, с которыми ознакомился Journal) и устойчивым к «подделке, такой как парафразы». Компания также заявила, что обеспокоена стигмой относительно полезности инструментов ИИ для неносителей языка.

Но, похоже, OpenAI также обеспокоена тем, что использование водяного знака может оскорбить пользователей ChatGPT. Согласно опросу, почти 30% из них сообщили компании, что будут использовать программное обеспечение реже, если функция водяного знака будет реализована.

Несмотря на это, некоторые сотрудники все еще считали, что функция водяного знака будет эффективной. Однако в ответ на неприятные чувства пользователей, Journal заявил, что некоторые из предлагаемых методов тестирования «могут быть менее спорными среди пользователей, но не проверены». В сегодняшнем обновлении блога компания заявила, что она «находится на ранних стадиях» изучения внедрения метаданных, и еще «слишком рано» знать, насколько хорошо будет работать новая функция, но поскольку она криптографически подписана, не будет никаких неверных результатов обнаружения.

Карим Винтерс

Обновление 05 августа 2024 г.