Inception Labs представила Mercury – первую диффузионную языковую модель
В четверг компания Inception Labs выпустила Mercury Coder – новую языковую модель ИИ, которая использует методы диффузии для генерации текста быстрее, чем обычные модели. В отличие от традиционных моделей, которые создают текст слово за словом (например ChatGPT), основанные на диффузии модели, такие как Mercury, одновременно производят целые ответы, преобразуя их из изначально замаскированного состояния в связный текст.Традиционные большие языковые модели строят текст слева направо, по одному токену за раз. Они используют технику, называемую «авторегрессия». Каждое слово должно ждать всех предыдущих слов, прежде чем появиться. Вдохновленные техниками из моделей генерации изображений, таких как Stable Diffusion, DALL-E и Midjourney, языковые модели диффузии текста, такие как LLaDA (разработанные исследователями из Университета Жэньминь и Ant Group) и Mercury, используют подход, основанный на маскировании. Эти модели начинают с полностью скрытого контента и постепенно раскрывают все части ответа одновременно.Согласно Inception Labs, их подход позволяет модели уточнять выходные данные и устранять ошибки, поскольку она не ограничивается рассмотрением только ранее сгенерированного текста. Эта параллельная обработка обеспечивает заявленную Mercury скорость генерации более 1000 токенов в секунду на графических процессорах NVIDIA H100. Эти модели диффузии поддерживают производительность быстрее или сопоставимую с обычными моделями аналогичного размера. Исследователи LLaDA сообщают, ч...
CHASPIK.SPB.RU