17 ноября в истории ЕАО: в Биробиджане появились новые улицы
Ушлый таксист похитил 20 тысяч рублей со счета пьяного клиента в Биробиджане
Мария Костюк и Борис Грызлов обсудили сотрудничество ЕАО с Республикой Беларусь
Установить в квартире счетчики на горячую и холодную воду обязал суд мэрию Биробиджана
Покупка эхолота на сайте объявлений обернулась потерей 60 тысяч рублей для биробиджанца
Россия в поисках новых путей: сибиризация продолжается
58 медалей и командное "золото" завоевала сборная ЕАО на Кубке России по тхэквондо ГТФ
Движение ЕР "За свободу наций!" определило ключевые направления международной работы
Более 15 тысяч заявок поступило на третий поток программы "Время героев" за первую неделю
С грудничком на руках отбивалась от пьяного сожителя и пырнула его ножом биробиджанка
Биробиджанская "Армата" завоевала "золото" на детском хоккейном турнире
Дорога на ул. Советской в Биробиджане не соответствует нормам – когда устранят дефекты
Ребенка едва не сбил на "зебре" водитель-нарушитель в Биробиджане 
Встреча главы ЕАО с президентом Белоруссии Лукашенко: "еврейский" вопрос и общие проекты
Видеорепортаж Пьяный 18-летний биробиджанец увидел заведенное авто, угнал его, а потом в нем же и уснул 
Валерий Лимаренко: Сахалин перевыполнил годовой план социальной газификации

Сбер открыл доступ к модели генерации текста для русского языка ruGPT-3.5

Также доступна расширенная версия нейросети mGPT, способной генерировать тексты на 61 языке
Общество
Сбербанк ИА ChitaMedia
Сбербанк
Фото: ИА ChitaMedia
Нашли опечатку?
Ctrl+Enter

Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B (6+). Её дообученная версия лежит в основе сервиса GigaChat (6+). Также банк выложил новую версию модели mGPT 13B (6+) — самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT*).

ruGPT-3.5

Внутри GigaChat находится целый ансамбль моделей — NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 млрд параметров (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B.

Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели — это базовый претрейн для дальнейших экспериментов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.

mGPT

Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.

Андрей Белевцев, старший вице-президент, CTO, руководитель блока "Технологии" Сбербанка:

"Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами".

*Лицензия MIT (англ. MIT License) — лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом.

16842
11
36
поделиться