Любая автоматическая система ошибается. Вопрос в том, видят ли это её пользователи. Инструмент, сообщающий только об успехах, просит доверия, которого не заслужил. Инструмент, показывающий свои ошибки, даёт пользователям то, что нужно, чтобы решить, насколько на него полагаться.

Заявлениям о точности тоже нужны доказательства

«Точность 99%» — такое же утверждение, как любое другое. Точность на чём? Кто измерял? По сравнению с каким эталоном? Цифра точности без тестовых случаев — ровно то неподкреплённое утверждение, которое фактчекер должен отвергать. Поэтому Honest News применяет свой стандарт к самому себе: страница самоаудита перечисляет отдельные случаи, эталонный вердикт, вердикт движка и комментарий к каждому — включая расхождения.

Типы ошибок, а не только их доля

Одна цифра ошибок мало говорит о том, когда нужно быть осторожным. Полезнее закономерности. К типам ошибок, которых следует ждать от ИИ-фактчекера и о которых он должен сообщать пользователям, относятся:

  • Ирония и местные выражения. Сарказм и региональные обороты можно принять за буквальные утверждения, особенно при переходе между языками.
  • Вложенная статистика. Когда источник отделяет подкатегорию от общего итога, модель может перепутать одно с другим.
  • Отсутствующие документы. Если официальные записи не оцифрованы или не публичны, единственный честный ответ — «Недостаточно данных».
  • Недавние события. Всё, что произошло после окончания обучающих данных модели, ей неизвестно, если информацию не предоставить.

Почему «не знаю» — это успех

Движок, отказывающийся судить при слабых доказательствах, не ошибается — он работает так, как задуман. Поэтому самоаудит учитывает честные отказы как отдельную категорию, а не считает их ошибками и не скрывает.

Что могут сделать пользователи

  • Читать объяснение, а не только вердикт.
  • Проверять источники, особенно для важных утверждений.
  • Пользоваться кнопками экспертной оценки у каждого утверждения, чтобы отмечать оценки, которые кажутся слишком строгими или неполными.

Принцип

Прозрачность — не функция, которую добавляют, когда система уже хорошо работает. Это единственный способ для кого угодно, включая её создателей, выяснить, работает ли она вообще.