NVIDIA Rubin CPX: более широкие контекстные окна для будущих ИИ-приложений

С развитием ИИ от первых LLM и моделей с тонкой настройкой (fine-tuning) до архитектур Mixture-of-Experts (MoE), reasoning-моделей и, наконец, полноценных ИИ-агентов, запросы становятся всё более сложными. Они требуют всё больших контекстных окон, большего числа токенов и возросшей вычислительной мощности, что, в свою очередь, ведёт к росту энергопотребления. Современные модели ИИ уже сегодня нуждаются в контекстных окнах длиной до миллиона токенов. Примеры таких сценариев: корпоративные чат-боты и задачи суммаризации сессий на 256 000 токенов, работа с кодом объёмом 100 000+ строк или видеоредактирование в высоком разрешении и при большой продолжительности, где легко достигаются 1 000 000+ токенов. Инференс модели ИИ условно делится на две задачи: Context/Prefill — вычислительно сложная стадия, требующая высокой производительности ядер. Generation/Decode — в первую очередь ограничивается пропускной способностью памяти и нуждается в быстрых ......

16:17, 11.09.2025

Рубрика: «Наука и Технологии» Поделиться:

NVIDIA представляет Blackwell Ultra, Rubin и Rubin Ultra На пленарном докладе на выставке Computex в Тайбэе компания NVIDIA представила предварител ...

NVIDIA начала производство графических процессоров Rubin Чипы Rubin будут использоваться для дата-центров OpenAI, обеспечивая сверхвысокую производ ...

Nvidia демонстрирует возможности инференса с помощью Rubin CPX Preview Хотя король графических процессоров доминирует в области обучения искусственного интеллект ...

NVIDIA представила Vera Rubin – архитектуру графических процессоров нового поколения На выставке Computex 2024 компания NVIDIA анонсировала архитектуру графического процессора ...