IP адреса и UserAgent Sape и CMSE

Sape:

188.72.80.*, 193.232.121.* и IP-адреса

• 95.181.171.232
• 185.12.125.79
• 116.203.252.169

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.1; Trident/5.0)

CMSE:

• подсеть 193.232.121.0/24

  и IP-адреса

  95.181.171.232

• 185.12.125.79
• 116.203.252.169

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36

Такие ответы я получил от служб поддержки.

Во первых вообще я стал узнавать это потому что меня задолбали боты нейронок, они мало того что все больше и больше парсят все подряд, у них нет устали и деньги не кончаются, дак они еще и долбят по 5-10 раз в секунду, причем разные. А во вторых они еще и начинают парсить один сайт просто бесконечно, что-то там меняя в урле. Лог Апачей сходит сума, место кончается, бесполезные соединения висят.

В этих условиях Sape захлебывается, пытаясь получить свои данные. Да и не только Sape.

Я побанил все подряд что долбило безосновательно, но побанил и Sape. Дак что бы не банить Sape и CMSE стал узнавать их Агентов и ИПшникофф )

Из того что прислали Sapeи CMSE видно что ИПшники их общие, а вот маску Sape прислала две штукаф.🤜

Вероятно сапорт CMSE чего-то не знает.

И самое главное ! 🧢

Юзерагенты Sapeи CMSE — разные.. отчего такое ? не знаю, но в белый список добавить придется оба

И очень удивило что Sape прикидывается InternetExplorer 9.

Вот кстати Ипшники GoGetLinks:

1. 109.206.176.30
2. 93.171.203.15
3. 146.120.204.0/24

😘 Как бы сделал я:

Обязательно бы сделал UserAgent человеческим, не надо прикидываться браузерами, проверяя ссылки, юзерагент не средства введения в заблуждение а средсто идентификации бота.

Агент должен быть:

SapeBot/1.0

CMSEBot/1.0

GogetlinksBot/1.0

, и не надо пудрить мозг Екплорерами и Хромами 96 и т.п. ерундой.