Как снять ДОС-атаку с сайта от YandexBot ?

Бывают такие ситуевины, когда Яндекс вдруг начинает мнить о себе слишком много и начинает скнировать сайт вдоль и поперек. Причем одни и теже страницы сканируются по несколько раз в день не имея на это никаких причин.
Такое поведение я называл бы так: ДОС-атака YandexBot

В логах неразобранных журналов отчетливо виден шквал запросов, которые идут к сайту-жертве примерно до 4 запросов в секунду.

Если при этом сайт работает на голом WordPress, то недорогой шред хостер пообещает вам вас обидеть своею сильной волосатой рукой. И поверьте, вам не будут доказывать почему вы не правы.

Пример ДОС атаки от YandexBot:


5.255.253.31 - - [04/Feb/2015:15:09:49 +0300] "GET /jkeks.ru/?p=4393 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:50 +0300] "GET /jkeks.ru/?p=6426 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:50 +0300] "GET /jkeks.ru/?p=1722 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:50 +0300] "GET /jkeks.ru/?p=9547 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:50 +0300] "GET /jkeks.ru/archives/9563/feed HTTP/1.0" 200 1031 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:50 +0300] "GET /jkeks.ru/?p=4309 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:51 +0300] "GET /jkeks.ru/archives/906/feed HTTP/1.0" 200 932 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:51 +0300] "GET /jkeks.ru/?p=9733 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:51 +0300] "GET /jkeks.ru/archives/2290/comment-page-1 HTTP/1.0" 200 28550 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:51 +0300] "GET /jkeks.ru/archives/1776/feed HTTP/1.0" 200 948 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:51 +0300] "GET /jkeks.ru/?p=1832 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:52 +0300] "GET /jkeks.ru/archives/1804/feed HTTP/1.0" 200 939 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:52 +0300] "GET /jkeks.ru/?p=5053 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:52 +0300] "GET /jkeks.ru/?p=5845 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:52 +0300] "GET /jkeks.ru/?p=769 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:53 +0300] "GET /jkeks.ru/archives/677/feed HTTP/1.0" 200 936 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:53 +0300] "GET /jkeks.ru/archives/1246/comment-page-1 HTTP/1.0" 200 26659 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:53 +0300] "GET /jkeks.ru/?p=909 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:53 +0300] "GET /jkeks.ru/archives/10123 HTTP/1.0" 200 27508 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:53 +0300] "GET /jkeks.ru/?p=6510 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:54 +0300] "GET /jkeks.ru/?p=1929 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:54 +0300] "GET /jkeks.ru/archives/5591 HTTP/1.0" 200 27555 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:54 +0300] "GET /GGLreports/loadGGL2.php HTTP/1.0" 404 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:54 +0300] "GET /jkeks.ru/archives/5384 HTTP/1.0" 200 27582 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:55 +0300] "GET /jkeks.ru/archives/9547/feed HTTP/1.0" 200 940 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:55 +0300] "GET /jkeks.ru/?p=8220 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:55 +0300] "GET /jkeks.ru/archives/3046 HTTP/1.0" 200 27289 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:55 +0300] "GET /jkeks.ru/?p=2215 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:55 +0300] "GET /jkeks.ru/archives/2099 HTTP/1.0" 200 31447 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:56 +0300] "GET /jkeks.ru/?p=1028 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:56 +0300] "GET /jkeks.ru/?p=6922 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:56 +0300] "GET /jkeks.ru/archives/5932 HTTP/1.0" 200 27487 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:56 +0300] "GET /jkeks.ru/archives/7666/feed HTTP/1.0" 200 997 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:57 +0300] "GET /jkeks.ru/archives/2954 HTTP/1.0" 200 28072 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:57 +0300] "GET /jkeks.ru/?p=1021 HTTP/1.0" 301 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:57 +0300] "GET /jkeks.ru/archives/1472 HTTP/1.0" 200 24978 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
5.255.253.31 - - [04/Feb/2015:15:09:57 +0300] "GET /jkeks.ru/archives/1819/feed HTTP/1.0" 200 938 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"


Как мы видим Яндекс лупит по нам аш 5 раз в секунду без зазрения совести:

Как это проблему ДОС атаки от Яндекса ?

Читать ману

Яндекс и не скрывает своих намерений. Ведь нормальные хостинги и нормально настроенные WordPress смело выдерживают эти комариные укусы. Но на всякий случай все поисковики поддерживают директиву Crawl-delay.

Для этого в корень вашего сайта в файл robots.txt в раздел Ядекса нужно прописать строку:


User-agent: Yandex
Crawl-delay: 10


UserAgent может быть YandexBot встречал даже YandexBot/0.3, но при этом начинает глючить проверка в Вебмастере.

Да, после изменения в robots.txt проверьте его в Вебмастере Яндекса и начните отслеживать журнал доступа. Кажется Яндекс не сразу начинает слушаться вашей команды, но спустя час кажется все встает на свои места и Яндекс утихомиривается.

Точка

p.s. Конечно Яндекс не совершает намерянных действий против вас и даже совсем наоборот
p.s. Crawl-delay: 10 — обозначает что каждый запрос от Яндекса будет приходить не чаще чем через 10 секунд
p.s. У Яндекса внятная помощь, намного приятнее чем у Гугла, там все написано, но все равно жаль что Клубы позакрывали..