NVIDIA Blackwell: новые форматы данных обеспечивают большую производительность ядер Tensor

В преддверии HotChips 2024 компания NVIDIA уже рассказывала об инфраструктуре Blackwell в виде интерконнекта NVLink и соответствующих коммутаторов . На самой конференции NVIDIA рассказала немного больше об архитектуре Blackwell и встроенных в нее ядрах Tensor. Хотя они по-прежнему могут вычислять большие матрицы за один прогон, благодаря новым форматам данных значительно увеличили пропускную способность. С помощью новой системы квантования NVIDIA намерена значительно увеличить производительность инференса при работе с большими моделями. Квантование – это тип сжатия модели. Для сопоставимой плотности информации (например, качества изображения, созданного ИИ) теперь требуется меньше данных, что естественным образом ускоряет процесс инференса. По этой причине в последние месяцы производители программного и аппаратного обеспечения стараются использовать такие форматы данных, как INT8, FP8 и даже более простые форматы, такие как FP4 и INT4. До сих пор преимущество в производительности было ограниченным, поскольку для вычислений в INT4 или FP4 ......

04:17, 04.09.2024

Рубрика: «Наука и Технологии» Поделиться:

До 288 ядер и TDP до 500 Вт это новые процессоры Intel. Xeon 6 наконец-то перегоняют AMD Epyc по количеству ядер До 288 ядер и TDP до 500 Вт — это новые процессоры Intel. Xeon 6 наконец-то перегоняют AMD Epyc по количеству ядер Кроме мобильных процессоров Lunar Lake компания Intel также представила и серверные Xeon н ...

Supermicro наращивает полное производство стоечных решений NVIDIA Blackwell на базе NVIDIA HGX B200 Supermicro, поставщик комплексных ИТ-решений для AI/ML, HPC, облака, хранилищ и... Сообщен ...

NVIDIA показала NVIDIA RTX PRO 6000 Blackwell Edition на 300 и 600 Вт (обновление 2) На GTC25 NVIDIA представила три версии RTX PRO 6000 Blackwell Edition. Все они опираются н ...

Supermicro расширила решения NVIDIA Blackwell, представив системы NVIDIA HGX B300 с жидкостным охлаждением, в форм-факторах 4U и 2-OU (OCP) Компания Super Micro Computer, Inc. (SMCI), поставщик комплексных ИТ-решений для ИИ,. ...