Главная / О роботе
Робот, который читает только ваш фид
YCPOptimizerBot — робот сайта ycp-optimizer.ru. Он скачивает товарный фид по адресу, который указал посетитель, и проверяет доступность картинок из этого фида. Сайты по своей инициативе он не обходит и страницы не индексирует.
Как представляется
User-Agent: YCPOptimizerBot/1.0 (+https://ycp-optimizer.ru/bot/)
Что запрашивает
- Адрес фида, введённый посетителем в форму проверки или переданный через API, — одним запросом GET, с ограничением 50 МБ и 30 секунд.
- До 50 адресов картинок из этого фида — запросом HEAD (при отказе сервера — GET первых 512 байт), чтобы убедиться, что картинка открывается и отдаётся как изображение.
- Больше ничего: ни страниц товаров, ни robots.txt, ни других файлов сайта.
Частота
Не чаще 12 проверок в час с одного адреса посетителя. Один фид — один запрос на проверку; повторная проверка запускается только человеком или по API.
Как запретить
Робот выполняет запросы по поручению человека, поэтому правила robots.txt к нему не применяются — так же, как к браузеру. Если вы не хотите, чтобы фид вашего магазина проверяли через наш сайт, закройте фид для этого User-Agent на сервере (403) — робот покажет посетителю ошибку и не повторит запрос. Обратные DNS-записи и список адресов мы опубликуем здесь после переезда на постоянный сервер; пока робот работает с сервера хостинга сайта.
Что хранится
Отчёт о проверке — 90 дней по непубличной ссылке: адрес фида, название магазина из фида, список товаров с названиями, ссылками, ценой и найденными проблемами. Исходный файл фида удаляется сразу после разбора; описания и картинки не хранятся. Подробнее — в политике данных.