Перейти к содержимому
provod.ai
Гайды

Вики потеряла факт: как автор наладил поиск по документам

Индекс, чтение раздела и возврат к оригиналу: рабочая схема автора и проверка потерянных фактов.

Автор
provod.ai
Опубликовано
Обновлено
Категория
Гайды
Время чтения
Чтение: 3 мин
Вики потеряла факт
Вики потеряла факт

Автор 6in собрал на Mac локальную вики, чтобы помощник отвечал по документам. Простое сокращение текста не помогло: из вики пропал нужный факт, а модель придумала ответ. Рабочим оказался поиск по оглавлению с возможностью вернуться к оригиналу.

Разбор пригодится тем, кто собирает поиск по рабочим документам. В опыте использовался Mac M4 Max со 128 ГБ памяти; опубликованные замеры относятся к этой машине.

Что изменил автор

Большая Qwen3.8-Flash-Next готовила страницы вики, небольшая LFM3-1.7B искала ответы, а d1-2B помогала отбирать подозрительные места для проверки.

После сокращения пяти документов в вики сохранилось 11 из 12 проверяемых фактов. Пропала рекомендация про 1,5 тысячи знаков. Когда LFM3 спросили о ней, модель собрала ответ из других чисел документа.

Автор сменил порядок чтения:

  1. Модель получает только индекс — оглавление вики.
  2. Через wiki_search находит разделы; wiki_links показывает структуру страницы.
  3. Через wiki_read читает нужный раздел.
  4. Если сведений нет, source_search ищет в оригиналах.
РежимВход на вопросОтветы на фактические вопросы
Вся вики целикомОколо 22 тысяч токенов7 из 8 верных; пропущенное число модель выдумала
Индекс и выбранные фрагменты1600–3500 токенов8 из 8 верных; число найдено в оригинале

Девять вопросов в режиме поиска заняли 141 секунду. Влияние на скорость всей системы автор не измерял.

Как не дать поиску ходить по кругу

Просьба ограничиться несколькими попытками не сработала: модель переформулировала поиск 12 раз. Поэтому автор перенёс ограничения в скрипт:

  • не более двух поисков по вики;
  • затем один поиск в оригинале;
  • после получения результата инструменты отключаются, модель отвечает.

Такой порядок стоит задавать в программе. Если исходник не найден, в ответе должен остаться явный пробел.

Как проверить свою вики

Составьте вопросы по оригинальным документам, отдельно выпишите правильные ответы и источники. Включите даты, числа и условия, которые нельзя потерять при сокращении.

Задайте вопросы через поиск по вики. Для каждой ошибки посмотрите: факт исчез при подготовке, поиск не вернул нужный раздел или модель неправильно использовала найденное?

Автор также проверял уже записанные сведения через вопросы по страницам. В набор из 50 вопросов добавили три испорченных ответа; все три нашли. Вопросы по готовой вики не обнаружат факт, который потерялся при её подготовке.

Скрипт автора оставлял 38 подозрительных мест для разбора человеком или большой моделью: автоматическая проверка путала близкие числа. Перед увеличением архива лучше разобрать такие ошибки на небольшой выборке.

Если документы разрешено отправлять в облако, текстовый этап можно подключить через API Провода. Индекс, поиск и возврат к оригиналам остаются частью вашего приложения.

Четыре шага: индекс, не более двух поисков по вики, при нехватке сведений один поиск по оригиналу, затем ответ без новых инструментов. Внизу разделены проверка пропусков и проверка правильности.

Поиск по индексу с возвратом к исходному документу.

Источники