Яндекс опубликовал свой ускоритель обучения нейросетей

Яндекс опубликовал свой ускоритель обучения нейросетей – YaFSDP

Команда Яндекса открыла для всех доступ к библиотеке YaFSDP. Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом. Сгенерировано нейросетью Dall-E Как отмечают в Яндексе, с помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения. Теперь YaFSDP могут использовать компании, разработчики и исследователи по всему миру. Библиотека Яндекса рассчитана в первую очередь на большие языковые модели, хотя она подходит и для других нейросетей — например, таких, которые генерируют изображения. YaFSDP позволяет сократить расходы на оборудование для обучения моделей. Яндекс разработал YaFSDP в процессе обучения своей генеративной модели нового поколения YandexGPT 3. Компания уже протестировала библиотеку на сторонних нейросетях с открытым исходным кодом. Например, если бы YaFSDP использовалась применительно к модели LLaMA 2, этап предварительного обучения на 1024 графических процессорах сократился бы с 66 до 53 дней....

12:45, 11.06.2024

Рубрика: «Наука и Технологии» Поделиться:

Яндекс выложил в опенсорс свой ускоритель обучения нейросетей YaFSDP «Яндекс» выложил в опенсорс свой ускоритель обучения нейросетей — YaFSDP «Яндекс» открыл для всех библиотеку YaFSDP. Она значительно ускоряет обучение больших язык ...

Яндекс открывает библиотеку YaFSDP для обучения больших языковых моделей «Яндекс» открывает библиотеку YaFSDP для обучения больших языковых моделей Компания «Яндекс» выложила в опенсорс библиотеку YaFSDP, которая ускоряет обучение больших ...

Яндекс делает открытой свою библиотеку для обучения нейросетей «Яндекс» делает открытой свою библиотеку для обучения нейросетей «Яндекс» открыл доступ для всех желающих к собственно разработанной библиотеке YaFSDP для ...

Яндекс разработал и выложил в опенсорс библиотеку YaFSDP Она ускоряет обучение больших языковых моделей с открытым исходным кодом до 25% и помогает ...