ИИ может преобразовывать звуки в изображения с картой
Используя генеративный искусственный интеллект, группа исследователей Техасского университета в Остине преобразовала звуки из аудиозаписей в изображения с видом на улицу. Визуальная точность этих сгенерированных изображений демонстрирует, что машины могут воспроизводить человеческую связь между аудио- и визуальным восприятием окружающей среды. В статье, опубликованной в журнале Computers, Environment and Urban Systems , исследовательская группа описывает обучение модели искусственного интеллекта, преобразующей звуковой ландшафт в изображение, с использованием аудио- и визуальных данных, собранных с различных городских и сельских улиц, а затем использование этой модели для генерации изображений из аудиозаписей. «Наше исследование показало, что акустическая среда содержит достаточно визуальных подсказок для создания высокоузнаваемых изображений уличного пейзажа, которые точно отображают различные места», — сказал Юхао Кан, доцент кафедры географии и окружающей среды в Техасском университете и соавтор исследования. «Это означает, что мы можем преобразовать акустическую среду в яркие визуальные представления, эффективно переводя звуки в зрелища». Используя видео и аудио YouTube из городов Северной Америки, Азии и Европы, команда создала пары 10-секундных аудиоклипов и кадров изображений из разных мест и использовала их для обучения модели ИИ, которая могла создавать изображения высокого разрешения из аудиовхода. Затем они сравнили творения ИИ по преобразованию звука в изображение...
CHASPIK.SPB.RU