Команда исследователей из Университета Лугано и Женевского университета разработала способ использовать большие языковые модели — такие как GPT-4o — для оценки справедливости поисковых систем. Новая методика позволяет выявлять гендерные перекосы в ранжировании результатов поиска, даже если они не выражены напрямую в тексте и остаются незаметны традиционным метрикам. Это может быть особенно важно в тех случаях, когда алгоритмы влияют на социально значимые решения — например, при приёме на работу, выборе медицинской информации или образовательных рекомендаций. Авторы представили новую метрику CWEx (Class-wise Weighted Exposure), которая учитывает не только, сколько документов в выдаче относятся к разным гендерным категориям, но и насколько высоко они находятся в списке. Предыдущие подходы измеряли баланс, просто подсчитывая ключевые слова, связанные с мужчиной или женщиной. CWEx же использует семантическую оценку контекста с помощью языковых моделей, способных понимать общий смысл и тональность текста. Такой подход позволяет, например, различать скрытую предвзятость, не выраженную напрямую словами. Иллюстрация: Dalle Чтобы проверить, насколько эффективно LLM определяют гендерную окраску текстов, исследователи сравнили несколько моделей: LLaMA, Qwen, Mixtral, GPT-4o и другие. Наилучший результат показал GPT-4o в режиме пошагового объяснения (Chain-of-Thought), правильно классифицируя более 90% документов. При этом модель оказалась способной улавливать тонкие р...
CHASPIK.SPB.RU