NVIDIA представила новый ускоритель. Но есть нюанс

NVIDIA анонсировала новый ускоритель GB200 NVL2, который объединяет два процессора Grace и два графических процессора Blackwell. Этот ускоритель предназначен для повышения производительности в вычислительных центрах данных, особенно при работе с большими языковыми моделями (LLM). По данным NVIDIA, ускоритель GB200 NVL2 обеспечивает пятикратное увеличение скорости вывода информации для модели Llama 3 по сравнению с предшественником H100. При поиске в базе векторов скорость увеличивается в девять раз, а общая производительность обработки данных превосходит обычные процессоры в 18 раз. GB200 NVL2 поддерживает до 960 ГБ оперативной памяти LPDDR5X с пропускной способностью до 1024 ГБ/с и до 384 ГБ видеопамяти с пропускной способностью до 16 ТБ/с. Производительность ускорителя включает показатели: FP4 (тензорные ядра) достигает 40 PFLOPS, FP8/FP6 (тензорные ядра) – 20 PFLOPS, INT8 (тензорные ядра) – 20 POPS, FP16/BF16 (тензорные ядра) – 10 PFLOPS, TF32 (тензорные ядра) – 5 PFLOPS, FP32 – 180 TFLOPS, FP64/FP64 (тензорные ядра) – 90 TFLOPS. Одной из ключевых функций новинки является технология кэширования ключевого значения (KV), которая улучшает скорость вывода информации за счет сохранения контекста и истории запросов. Использование высокоскоростных межсоединений NVLink-C2C между базовым и графическим процессорами обеспечивает в семь раз более высокую скорость передачи данных по сравнению с PCIe....

14:10, 03.06.2024

Рубрика: «Наука и Технологии» Поделиться:

Perplexity представила браузер Comet с ИИ-помощником, но есть нюанс Компания Perplexity AI анонсировала собственный браузер под названием Comet — с интегриров ...

NVIDIA представила новый стандарт видеокарт для компактных ПК Собрать мощный компьютер в компактном корпусе — задача не из простых. Компания NVIDIA пред ...

Nvidia выпустит для Китая упрощённый ускоритель Blackwell стоимостью $6500-8000 Компания Nvidia разрабатывает урезанный по характеристикам и более дешёвый ИИ-ускоритель н ...

Новые решения для ИИ и HPC-серверов: ASUS представила новый AI POD с NVIDIA GB300 NVL72 На GTC 2025 ASUS представила несколько новых серверов для ИИ и высокопроизводительных вычи ...