Ответы по вашему сайту: как подготовить материалы для чат-бота
Почему из инструкции исчезают важные условия и как проверить документы до подключения автоматического поиска.
- Автор
- provod.ai
- Опубликовано
- Обновлено
- Категория
- Гайды
- Время чтения
- Чтение: 6 мин

На сайте ясно написано: заявку можно отменить самостоятельно, пока она в черновиках. Но чат-бот отвечает: «Заявку можно отменить в любой момент». Возможно, модель получила только половину правила — без важного условия. На таком учебном примере разберёмся, как готовить страницы сайта для ответов и где проверять потерянный смысл.
При подготовке страницы не отделяйте правило от исключения.
Материал опирается на руководство разработчика URL to Markdown от 30 октября. Markdown — обычный текст с обозначенными заголовками, списками и ссылками. В такой вид удобно приводить страницы, убрав меню и рекламу. Главное — вместе с оформлением не выбросить сами условия.
Что происходит между страницей и ответом
Чат-боту не обязательно каждый раз перечитывать весь сайт. Система может сначала найти подходящий раздел, а затем передать его модели вместе с вопросом. Такой подход называют RAG. Например, на вопрос об отмене заявки нужно найти именно правила отмены, а не общую страницу о заказах.
Значит, у ошибки есть несколько возможных причин. Текст мог неправильно извлечься со страницы. Поиск мог выбрать соседний раздел. Модель могла получить верный фрагмент и всё равно исказить условие. Одна настройка запроса не исправит все три случая.
Полезно сохранять промежуточный результат: какой текст извлекли, как его разделили и что именно вернули на конкретный вопрос. Тогда можно увидеть, на каком участке потерялся смысл.
Markdown удобен для этой работы, потому что явно показывает структуру. Но это формат представления, а не автоматический знак качества документа.
Сначала проверьте, что удалось прочитать
В исходном руководстве у API есть существенная граница: он не выполняет JavaScript. Если инструкция появляется только после работы скриптов, обычная загрузка HTML может не получить её текст. Пустой результат не означает, что на сайте нет ответа.
Не следует проверять извлечение только по названию страницы. Сравните с браузером начало нужного раздела, его окончание, список условий и таблицу, если она есть. Посмотрите, не появился ли вместо статьи текст о входе или согласии на cookies.
Для закрытых рабочих страниц отдельно решают вопрос доступа и обработки данных. Публичный API, которому передают URL, не получает автоматически вашу браузерную сессию. А передача ему содержимого внутреннего документа — уже другой сценарий, который нужно согласовать внутри команды.
Руководство описывает ограничения конкретного сервиса, а не универсальную возможность прочитать любой сайт. В этой статье его API не запускался; тарифы и доступность платных функций не используются как основание выбора.
Попробуйте на одной знакомой странице
Для проверки достаточно одной страницы с хорошо известным содержанием. Например, сохраните HTML публичной инструкции, с которой разрешено работать. Затем преобразуйте файл и сравните результат с оригиналом.
Один из доступных инструментов — открытый Microsoft MarkItDown. Он переводит поддерживаемые документы, включая HTML, в Markdown. Установку и формат команды нужно сверить с текущей документацией проекта; обычный путь для локального файла выглядит так:
python -m pip install markitdown
markitdown page.html -o page.md
Откройте page.md как обычный текст. Если вместе с инструкцией приехало всё меню сайта, нужно выделить основной материал. Если пропала таблица с условиями, помощник их не получит — даже при успешном преобразовании файла.
Это способ проверить подготовку одного источника. Он не заменяет браузерную загрузку страниц со сложными скриптами и не создаёт готовый поиск по всему сайту.
Делите текст по смыслу, сохраняя условия
Фрагмент должен быть достаточно самостоятельным, чтобы по нему можно было ответить. Заголовок, правило и исключение часто стоит держать вместе. Универсальная длина в символах не знает, где заканчивается важное условие.
Возьмём учебный фрагмент инструкции, не правила реального сервиса:
## Отмена заявки
Заявку можно отменить самостоятельно, пока она в статусе «Черновик».
После передачи в работу отмену нужно согласовать с поддержкой.
Если сохранить только первое предложение без статуса, помощник получит неверное общее правило. Если вторую строку отправить в отдельный фрагмент без заголовка, поиск может не связать её с отменой заявки.
| Что попало в фрагмент | Чем это мешает ответу | Что сохранить вместе |
|---|---|---|
| Правило без исключения | Условие превращается в обещание для всех случаев | Правило, исключение и название раздела |
| Только строка таблицы | Теряется смысл столбцов и единицы | Заголовки, нужную строку и пояснение |
| Ссылка без описания | Непонятно, что находится по адресу | Текст ссылки и контекст её использования |
| Общая шапка сайта | Поиск находит одинаковый текст на разных страницах | Основное содержание конкретной страницы |
Таблица: типичные потери смысла при подготовке источников.
У каждого фрагмента полезно хранить адрес страницы и название раздела. Если сведения меняются, добавьте дату получения и версию источника. Это позволит перейти от ответа к основанию, а позже заменить устаревший материал.

В учебном примере самостоятельная отмена разрешена только в статусе «Черновик». Если отделить условие при разбиении документа, ответ может потерять это ограничение.
Проверьте ответ и найденный источник отдельно
Составьте вопросы, ответы на которые вам известны: о простом правиле, исключении, условии из таблицы и сведении, которого на сайте нет. Для последнего правильный результат — признать недостаток информации, а не подобрать правдоподобное объяснение.
Сначала посмотрите, какой фрагмент нашёл поиск. Только затем оценивайте формулировку модели. Если основание неверное, смена модели может замаскировать проблему хорошим языком, но не исправит подбор документов.
Автоматический поиск ещё не подключён? Сначала проверьте один подготовленный раздел вручную. В provod.ai передайте текстовой модели подготовленный раздел и вопрос, попросите отвечать только по этому разделу и указывать использованное условие. Такой опыт проверяет качество контекста и ответа; автоматический обход сайта и поиск по базе подключаются отдельно.
Отдельно проследите, что сведения из документа используются как данные. Текст страницы может содержать обращения к читателю, примеры команд или чужие инструкции. Они не должны менять полномочия помощника.
Что понадобится, когда страниц станет много
Помимо конвертера появятся список разрешённых источников, правила обновления и контроль дублей. Один материал может открываться по нескольким адресам; одинаковый подвал способен размножиться в сотнях документов. Объём базы растёт, а полезной информации не прибавляется.
При обновлении страницы заменяйте связанные с ней фрагменты, а не просто добавляйте новую копию. Иначе поиск может одновременно вернуть прежнее и действующее правило без понятного различия между ними.
Здесь и находится практический критерий готовности: по вопросу находится нужное условие, ответ сохраняет его смысл, а ссылка ведёт к актуальному источнику. Чистый Markdown помогает построить этот путь, но проверять нужно весь путь целиком.