В «Яндексе» упростили подключение нейросетей для бизнес задач

В «Яндексе» упростили подключение нейросетей для бизнес задач

Специалисты Yandex Research совместно с исследователями IST Austria и Kaust придумали, как сжимать большие языковые модели для более простого внедрения нейросетей в работу бизнеса Команда Yandex Research вместе с учёными из IST Austria и Kaust представила новые методы сжатия больших языковых моделей, которые могут значительно сократить затраты на вычислительные ресурсы. Эти методы позволят бизнесу уменьшить расходы до восьми раз, благодаря снижению требований к мощным графическим процессорам. Разработанное решение «Яндекса» упрощает работу с нейросетями, делая их более доступными. Уменьшение модели позволяет запустить её на меньшем количестве процессоров, что снижает стоимость внедрения и обслуживания. В отличие от других методов сжатия, которые часто ухудшают качество ответов, новый подход сохраняет высокое качество нейросети. В рамках проекта было создано два инструмента. Один из них позволяет значительно уменьшить размер модели, так, что она может работать на одном процессоре вместо четырёх. Второй инструмент исправляет ошибки, возникающие при сжатии. На тестах с популярными моделями, такими как Llama 2 и Mistral, новый метод показал, что он сохраняет до 95% качества ответов, что гораздо выше по сравнению с другими инструментами. Код и сжатые модели уже доступны на GitHub, а также представлены обучающие материалы для разработчиков....
04:17, 24.07.2024
Источник: www.ferra.ru  
Рубрика: «Наука и Технологии»   Поделиться: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

На mos.ru упростили формы заявок на подключение к инженерным сетямНа mos.ru упростили формы заявок на подключение к инженерным сетям На портале mos.ru были обновлены формы заявок на получение услуг ресурсоснабжающих организ ...

Rikor SPB 302.1: качественный российский ноутбук для бизнес-задачRikor SPB 302.1: качественный российский ноутбук для бизнес-задач С каждым годом выбор оптимально сбалансированного ноутбука как для бизнес-задач, так и для ...

Решение бизнес-задач. Откройте для себя коммерческую технику SollersРешение бизнес-задач. Откройте для себя коммерческую технику Sollers 27 июня 2024 г. в Омске в дилерском центре Sollers пройдёт день открытых дверей. Посетител ...

В решении повседневных бизнес-задач помогут онлайн-сервисы на портале МБМВ решении повседневных бизнес-задач помогут онлайн-сервисы на портале МБМ Рассказываем о самых востребованных онлайн-сервисах для упрощения работы предпринимателей ...

CHASPIK.SPB.RU Поиск в новостях