ChatGPT на основе зрения демонстрирует дефицит интерпретации радиологических изображений
Исследователи, оценивающие производительность ChatGPT-4 Vision, обнаружили, что модель хорошо справилась с текстовыми вопросами радиологического экзамена, но испытывала трудности с точными ответами на вопросы, связанные с изображениями. Результаты исследования были опубликованы в журнале Radiology. Chat GPT-4 Vision — первая версия большой языковой модели, которая может интерпретировать как текст, так и изображения. «ChatGPT-4 показал себя многообещающим инструментом для помощи рентгенологам в таких задачах, как упрощение отчетов по рентгенологии для пациентов и определение соответствующего протокола для визуализационных исследований», — сказал Чад Клочко, доктор медицины, рентгенолог опорно-двигательного аппарата и исследователь искусственного интеллекта (ИИ) в Henry Ford Health в Детройте, штат Мичиган. «Благодаря возможностям обработки изображений GPT-4 Vision открывает новые потенциальные возможности для применения в радиологии». Для исследования исследовательская группа доктора Клочко использовала устаревшие вопросы из Американского колледжа радиологии Diagnostic Radiology In-Training Examinations, серии тестов, используемых для оценки прогресса резидентов-радиологов. После исключения дубликатов исследователи использовали 377 вопросов в 13 доменах, включая 195 вопросов, которые были только текстовыми, и 182 вопроса, которые содержали изображение. GPT-4 Vision ответила правильно на 246 из 377 вопросов, получив общий балл 65,3%. Модель правильно ответила на 81,5% (159) из...