«Яндекс» открыл доступ к библиотеке для обучения больших языковых моделей
«Яндекс» открыл доступ для всех желающих к собственно разработанной библиотеке YaFSDP для обучения больших языковых моделей, сообщает пресс-служба компании.В релизе отмечается, что библиотека дает ускорение до 25%, а результат зависит от архитектуры и параметров нейросети. YaFSDP рассчитана в первую очередь на большие языковые модели, хотя она подходит и для других нейросетей, например, таких, которые генерируют изображения. «С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения. Теперь YaFSDP могут использовать компании, разработчики и исследователи по всему миру», - уточняют в «Яндексе».Добавляется, что библиотека способна оптимизировать использование ресурсов GPU на всех этапах обучения: pre-training (предварительное), supervised fine-tuning (с учителем) и alignment (выравнивание модели). «Благодаря этому YaFSDP задействует ровно столько графической памяти, сколько нужно для обучения, при этом коммуникацию между GPU ничто не замедляет», - заключили в компании....
МГУ о применении мультимодальных больших языковых моделей в видеоаналитике Ученые МГУ провели исследование по проблеме перевода видео в текст, что позволит значитель ...
GPT на языке бизнеса: особенности применения больших языковых моделей Использование больших языковых моделей для генерации контента популярно не только среди ча ...
Опубликован BoN, метод обхода фильтров больших языковых моделей Выявлен новый метод атаки, позволяющий обойти механизмы противодействия генерации опасного ...
CHASPIK.SPB.RU