Модели ИИ учатся разделять задачи, сокращая время ожидания сложных подсказок

Модели ИИ учатся разделять задачи, сокращая время ожидания сложных подсказок

По мере того как большие языковые модели (LLM), такие как ChatGPT, продолжают совершенствоваться, ожидания пользователей от них продолжают расти, в том числе в отношении того, насколько быстро они могут реагировать на наши все более сложные запросы, запрашивающие ответы на все более сложные проблемы и задачи. Традиционные LLM основаны на концепции «авторегрессивного декодирования», где каждый элемент («токен») в последовательности предсказывается на основе ранее сгенерированных выходных данных. Такой подход неизбежно приводит к задержкам при обработке более сложных подсказок, хотя исследователи пытались смягчить это с помощью проектов, более эффективно использующих параллелизм многоядерных компьютерных чипов. Например, спекулятивное декодирование использует быструю черновую модель для предложения токенов, которые затем параллельно проверяются более медленной, высококачественной моделью. Новый класс методов вместо этого использует «семантическую независимость», выявляя синтаксические шаблоны, такие как пункты списка, и параллельно раскрывая каждый из них. Однако они опираются на вручную созданные синтаксические эвристики, которые нестабильны и часто дают сбои, когда ответы отклоняются от ожидаемых форматов. Эти недостатки вдохновили исследователей из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Google использовать подход, основанный на обучении, для параллельного декодирования. Вместо того, чтобы полагаться на ф...
08:17, 24.07.2025
Источник: android-robot.com  
Рубрика: «Наука и Технологии»   Поделиться: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Bitget повышает эффективность найма с помощью ИИ, сокращая время подбора персонала на 38%Bitget повышает эффективность найма с помощью ИИ, сокращая время подбора персонала на 38% Bitget, ведущая криптовалютная биржа и компания в сфере Web3, опубликовала... Сообщение Bi ...

Ученые Сбербанка разработали модели искусственного интеллекта для распознавания сложных эмоцийУченые Сбербанка разработали модели искусственного интеллекта для распознавания сложных эмоций Ученые Центра практического искусственного интеллекта Сбербанка повысили точность определе ...

Екатеринбург все время перенимает чей-то опыт. А чему другие города учатся у насЕкатеринбург все время перенимает чей-то опыт. А чему другие города учатся у нас? Чиновники из Екатеринбурга перенимают опыт своих коллег из других регионов. Успешные практ ...

Собянин: Время ожидания приема врача в поликлиниках сократилось с 30 до 7 минутСобянин: Время ожидания приема врача в поликлиниках сократилось с 30 до 7 минут Это достижение стало возможным благодаря комплексным мерам, направленным на оптимизацию ра ...

CHASPIK.SPB.RU Поиск в новостях