Кросс-маркетинговое исследование 2 709 ответов от ИИ-ассистентов показало, что в 45% случаев присутствовали значительные проблемы, а в 81% — хотя бы одна ошибка. Больше всего проблем с источниками выявлено у Gemini.

Основные выводы исследования

Исследование, проведённое Европейским вещательным союзом (EBU) и BBC, показало, что ведущие ИИ-ассистенты искажают или неправильно обрабатывают новостной контент почти в половине случаев.

В рамках анализа оценивались бесплатные (пользовательские) версии ChatGPT, Copilot, Gemini и Perplexity. Ассистентам задавались новостные вопросы на 14 языках, подготовленные 22 организациями общественного вещания из 18 стран.

EBU заявило в отчёте:

«Систематическое искажение новостей искусственным интеллектом наблюдается во всех языках и странах».

Результаты исследования

Всего было оценено 2 709 основных ответов, а также рассмотрены дополнительные примеры из индивидуальных запросов.

• 45% ответов содержали хотя бы одну серьёзную проблему;
• 81% имели какие-либо ошибки;
• Проблемы с источниками отмечались в 31% ответов на значительном уровне.

Как справились разные ИИ-ассистенты

Результаты различались в зависимости от платформы. Наибольшее количество ошибок показал Google Gemini — в 76% его ответов были серьёзные проблемы, из них 72% касались неверных или отсутствующих источников.

У остальных ассистентов доля серьёзных ошибок не превышала 37%, а проблем с источниками — 25%.

Примеры ошибок

Типичные ошибки касались неточностей и устаревшей информации. Например, несколько ассистентов назвали Папу Франциска действующим понтификом в конце мая, хотя он умер в апреле. Gemini также неверно описал изменения в законодательстве о продаже одноразовых вейпов.

Методология исследования

• Ответы собирались с 24 мая по 10 июня.
• Использовалось 30 основных вопросов и дополнительные локальные.
• Оценивались только бесплатные версии ассистентов, чтобы отразить реальный пользовательский опыт.
• Для периода сбора ответов временно снимались технические блокировки доступа к контенту СМИ.

Почему это важно

Для специалистов, использующих ИИ при исследовании или планировании контента, эти результаты подчёркивают необходимость проверки всех данных по оригинальным источникам.

Для издателей высокий процент ошибок означает риск того, что контент может быть искажён или неправильно процитирован в ответах ИИ-ассистентов.

Перспективы

EBU и BBC представили «Инструментарий новостной целостности в ИИ-ассистентах», который предлагает рекомендации для технологических компаний, медиа и исследователей.

По данным Reuters, представители EBU считают, что рост зависимости от ИИ при получении новостей может подорвать доверие общества к информации. Как отметил директор EBU по медиа Жан Филип Де Тендер:

«Когда люди не знают, чему можно доверять, они перестают доверять чему-либо вообще — и это может ослабить участие в демократических процессах».