OpenAI выпустила генератор текста GPT-2, который сама считает опасным

Алгоритмы Машинное обучение Искусственный интеллект IT-компании
OpenAI опубликовала финальную модель генератора текста GPT-2 — «жуткого» ИИ, которого исследователи считали слишком опасным для выпуска. Его анонсировали в феврале, но тогда OpenAI ограничилась выпуском менее мощной его версии: в компании опасались, что модель может превратиться в средство распространения дезинформации. Вместо этого компания решила выпустить его в четырёх частях в течение восьми месяцев.

«Из-за нашей озабоченности по поводу вредоносного применения технологии мы не выпускаем обученную модель. В качестве эксперимента мы вместо этого выпускаем гораздо меньшую модель», — писали в OpenAI в феврале.

GPT-2 использует машинное обучение для генерации нового текста на основе уже написанного. Вы можете напечатать несколько предложений о чём угодно, и ИИ на их основе напишет какой-нибудь связный текст, который будет близок по смыслу.

Возможности генератора зависят от параметров, на которых обучалась модель. Чем больше параметров, тем она «умнее». Первоначально OpenAI выпустила генератор с 124 млн параметров, затем последовали релизы с 355 и 774 млн. Каждый новый выпуск показал значительное улучшение возможностей по сравнению с предыдущими. Полная модель содержит 1,5 миллиарда параметров. В ходе обучения GPT-2 проанализовал классические романы Джорджа Оруэлла и создал свою научно-фантастическую книгу о Китае. Как пишут в OpenAI, сгенерированный моделью текст люди находят убедительным.

«Люди считают результаты GPT-2 убедительными. По результатам опроса наших коллег из Корнеллского университета, люди дали генератору «оценку достоверности 6,91 из 10».

Наряду с полноразмерной моделью GPT-2 OpenAI также выпустила алгоритм поиска искусственно написанного текста. Однако, по признанию самих исследователей, детектор не так хорош, как генератор. В сегодняшнем посте в блоге OpenAI заявляет:

«Мы разработали детектор, который показывает частоту обнаружения искусственного текста в ~95% случаев. Мы считаем, это недостаточно высокая точность. [Этот детектор] необходимо совмещать с подходами, основанными на метаданных, и человеческим мнением, чтобы он был более эффективным. Мы выпускаем эту модель, чтобы помочь исследованиям в области обнаружения синтетического текста».

Тем не менее, пока что, как заявляют в OpenAI, исследователи не видели убедительных доказательств злоупотребления генераторами текстов, хотя и признают, что не могут знать обо всех угрозах. Чтобы минимизировать риск, они постарались сделать GPT-2 максимально непредвзятым, исследовав генератор на наличие каких-либо гендерных, расовых и религиозных предубеждений.

Как сообщили в OpenAI, генератор доступен для скачивания на GitHub . Исследователи надеются, что те разработчики, которые будут использовать модель, помогут компании её усовершенствовать.

«Пожалуйста, дайте нам знать, если вы проводите исследования или работаете над приложениями GPT-2. Нам особенно интересно пообщаться и, возможно, поработать с теми, кто учится выявлять возможные случаи злонамеренного использования ИИ и разрабатывать защиту от них, а также определять степень предвзятости модели и разрабатывать меры по её смягчению», — отметили исследователи.)
Теги:
Хабы: