Яндекс представил YaLM 100B — самую большую GPT-подобную нейросеть в открытом доступе

Open source Машинное обучение Искусственный интеллект IT-компании
Яндекс выложил в свободный доступ нейросеть YaLM 100B, предназначенную для генерации и обработки текстов на русском и английском языках. В пресс-службе компании Хабру сообщили, что на данный момент это самая большая GPT-подобная модель, находящаяся в открытом доступе. Представители Яндекса рассказали, что YaLM 100В содержит 100 млрд параметров — больше, чем любая другая существующая  модель для обработки русского языка. Такие масштабы позволяют решать с помощью YaLM 100В большой круг задач. К примеру, нейросеть может придумать рекламный слоган, описать товар в онлайн-магазине, сочинить стих и сгенерировать текст на любую тему. Кроме всего прочего, система может классифицировать тексты по стилю речи. Пример работы YaLM 100В Специалисты Яндекса используют YaLM 100В более чем в 20 проектах, включая поисковик и голосового ассистента Алису. Также нейросеть генерирует рекламные объявления, готовит быстрые ответы на странице поиска и  помогает сотрудникам службы поддержки отвечать на запросы. Для обучения такой большой языковой модели требуются огромные ресурсы, опытные специалисты и годы работы. А нам важно, чтобы доступ к современным технологиям был не только у крупнейших IT-компаний, а у всего сообщества исследователей и разработчиков. Выкладывая YaLM 100B в открытый доступ, мы рассчитываем, что это даст толчок развитию генеративных нейросетей. Генеральный директор Яндекс Технологий Петр Попов Пример работы YaLM 100В на английском языке YaLM обучали на суперкомпьютерах Яндекса. В процессе обучения нейросеть обработала 2 ТБ текстовых данных, которые были взяты из Сети и открытых наборов данных. Систему обучали на русском и английском языках. Теперь доступ к YaLM 100B открыт и проект можно найти на GitHub. На этой же неделе разработчики Meta* выложили в открытый доступ схожую языковую модель, содержащую 66 млрд параметром, что заметно меньше, чем у YaLM от Яндекса — на 100 млрд параметров. Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**:   * признана экстремистской организацией, её деятельность в России запрещена ** запрещены в России)
Теги:
Хабы: