Компактная языковая модель Phi Silica стала мультимодальной

Компактная языковая модель (SLM) Phi Silica от Microsoft теперь способна понимать не только текст, но и изображения, что переводит её в статус мультимодальных. Это важное обновление, поскольку модель интегрирована в операционную систему Windows 11 на устройствах ПК Copilot+ и работает на локальном нейронном процессоре (NPU), встроенном в процессор. Сейчас модель работает только с процессором Snapdragon X, но в ближайшее время появится поддержка чипов от AMD и Intel. Вместо добавления отдельной громоздкой модели для анализа изображений, инженеры Microsoft объединили существующие компоненты. Базой осталась уже развернутая модель Phi Silica. Для машинного зрения применяется кодировщик изображений Florence, который также используется в предварительной версии Windows Recall и улучшенном поиске на базе ИИ. И, наконец, разработан небольшой дополнительный модуль «Projector» (всего 80 млн параметров), который преобразует визуальные данные от Florence в формат, понятный Phi Silica. [media=https://vkvideo.ru/video-3783130_456239407] Так Microsoft удалось избежать необходимости развёртывания ещё одной громоздкой модели на устройствах пользователей. Этого подход позволил сэкономить дисковое пространство и уменьшить вычислительную нагрузку. Кроме этого, повторное использование существующих компонентов сократило затраты и время на обучение моделей. Главным примером практического применения новой технологии стала функция генерации описаний изображений для незрячих или слабовидящих пользоват...

12:17, 26.04.2025

Рубрика: «Интернет и Игры» Поделиться:

Вакууматор BlackRed YQ666: простенькая компактная модель BlackRed YQ666 — компактный вакууматор с простым управлением (всего две кнопки), который о ...

Вытяжка Lex Mono 400 Black: компактная и производительная пристенная модель для небольших квартир Пристенная кухонная вытяжка Lex Mono 400 произвела на нас исключительно положительное впеч ...

Микроволновая печь Redmond (Редмонд) MW2900: эффективная компактная модель с механическим управлением Микроволновая печь Redmond («Редмонд») MW2900: эффективная компактная модель с механическим управлением Redmond MW2900 подкупает своей простотой. В ней нет ничего лишнего и навороченного, только ...

Бизнес-ноутбук Acer Swift Go 14 (SFG14-73-70EH): компактная модель с OLED-экраном Аппарат производит хорошее впечатление и по экстерьеру, и по производительности, разве что ...