Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.1; Trident/5.0)
Rotapost:
ИПшники Ротапоста тоже надо знать в лицо (добавлено 18.05.2025):
91.201.254.18
195.239.10.222
159.253.22.128
CMSE:
подсеть 193.232.121.0/24и IP-адреса95.181.171.232
185.12.125.79
116.203.252.169
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36
Такие ответы я получил от служб поддержки.
Во первых вообще я стал узнавать это потому что меня задолбали боты нейронок, они мало того что все больше и больше парсят все подряд, у них нет устали и деньги не кончаются, дак они еще и долбят по 5-10 раз в секунду, причем разные. А во вторых они еще и начинают парсить один сайт просто бесконечно, что-то там меняя в урле. Лог Апачей сходит сума, место кончается, бесполезные соединения висят.
В этих условиях Sape захлебывается, пытаясь получить свои данные. Да и не только Sape.
Я побанил все подряд что долбило безосновательно, но побанил и Sape. Дак что бы не банить Sape и CMSE стал узнавать их Агентов и ИПшникофф )
Из того что прислали Sapeи CMSE видно что ИПшники их общие, а вот маску Sape прислала две штукаф.🤜
Вероятно сапорт CMSE чего-то не знает.
И самое главное ! 🧢
Юзерагенты Sapeи CMSE - разные.. отчего такое ? не знаю, но в белый список добавить придется оба
И очень удивило что Sape прикидывается InternetExplorer 9.
Вот кстати Ипшники GoGetLinks:
109.206.176.30
93.171.203.15
146.120.204.0/24
😘 Как бы сделал я:
Обязательно бы сделал UserAgent человеческим, не надо прикидываться браузерами, проверяя ссылки, юзерагент не средства введения в заблуждение а средсто идентификации бота.
Агент должен быть:
SapeBot/1.0
CMSEBot/1.0
GogetlinksBot/1.0
, и не надо пудрить мозг Екплорерами и Хромами 96 и т.п. ерундой.
