🎯 Для чего это?
- Держите данные актуальными: Если вы меняете цену на сайте, краулер обнаружит это при следующем запуске.
- Огромная база знаний: Идеально, если у вас сотни справочных статей или страниц продуктов.
- Верификация: Позволяет агенту ссылаться на реальные источники («Согласно нашему сайту…»).
🛠️ Настройка краулера (Пошагово)
Когда вы нажимаете + Добавить веб-краулер, вы увидите экран настройки. Думайте о нём как о карте миссии для вашего краулера.
1. Название краулера
Дайте ему имя, чётко определяющее источник.- Плохо: «Тест 1».
- Хорошо:
Официальная_ПоддержкаилиОбновления_Блога_2024.
2. Частота обновления (Ритм)
Как часто он должен перечитывать сайт? Используйте ползунок.- 24 часа: Стандартный вариант. Проверяет изменения раз в день.
- Чаще: Используйте только для срочных новостей (потребляет больше ресурсов).
3. Источники краулинга (Стратегия)
Здесь вы решаете, как бот входит в ваш дом:- 🌐 Веб-сайт: Бот начинает с главной страницы и следует по ссылкам одна за другой (как любопытный человек). Хорошо для обнаружения контента.
- 🗺️ Карты сайта (Новое и улучшенное!): Вы даёте ему точную карту (
sitemap.xml). Лучшая часть? Вы больше не ограничены одной. Вы можете нажать + Добавить ещё карту сайта, чтобы загрузить боту несколько карт одновременно. Вы также можете использовать кнопку Проверить карты сайта для проверки их работоспособности перед запуском. Быстрее, чище и намного эффективнее.
4. Параметры краулинга (Область)
- Краулить всё: Он прочитает всё, что найдёт.
- Подпути: Вы можете ограничить его
/blogили/products, чтобы он не тратил время на страницу «О нас».
⚠️ Важно: Убедитесь, что ваш сайт не блокирует ботов (проверьте robots.txt). Если вы закроете дверь, он не сможет учиться!
📄 Управление знаниями (Вкладка «Страницы»)
➕ Добавить страницу (Хирургическая точность)
Иногда вам не нужно краулить весь сайт или всю карту сайта. Если вы только что опубликовали отдельный пост в блоге или внешнюю статью, которую хотите, чтобы бот изучил прямо сейчас, просто нажмите + Добавить страницу. Это позволяет вручную внедрить конкретные URL прямо в мозг бота.🔄 Повторное сканирование загрузок (Второй шанс)
Соединение с сайтом прервалось? Или вы обновили текст на сайте и хотите, чтобы бот узнал об этом немедленно, не дожидаясь следующего запланированного цикла? Нажмите кнопку Повторное сканирование загрузок. Это говорит системе: «Возьми все уже скачанные документы и попробуй извлечь информацию снова.» Это идеальная кнопка обновления.📊 Индикаторы статуса (Что происходит?)
В списке страниц вы увидите точный статус каждого URL. Вот что они означают:- 🟢 Просканировано / Проиндексировано: Успех! ✅ Контент прочитан, обработан и надёжно хранится в мозгу агента.
- 🟠 Загружено: Страница загружена, но ещё не обработана (она всё ещё «переваривает» информацию).
- 🔴 Ошибка: Что-то пошло не так. Сайт может быть недоступен, требовать авторизацию или иметь анти-бот файрвол.
🎓 Краткое резюме лучших практик (Шпаргалка)
Для поддержания чистой и полезной библиотеки знаний:- Несколько карт сайта — ваш лучший друг: Вместо краулинга огромного сайта предоставьте конкретные карты сайта (например,
sitemap-products.xmlиsitemap-blog.xml). Это помогает боту сфокусироваться. - Избегайте мусорных страниц: Не нужно индексировать «Корзину», «Вход» или «Юридическое уведомление».
- Понятные названия: Когда у вас 10 краулеров, вы будете рады, что назвали их
FAQ_RUиFAQ_ENвместоweb1иweb2. - Хирургические добавления: Используйте кнопку + Добавить страницу для быстрых обновлений вместо полного краулинга сайта.
🆘 Быстрое устранение неполадок
Готово! С этим ваш агент перестанет импровизировать и начнёт отвечать реальными, актуальными данными с ваших сайтов. 🕵️♂️📚