Наш Паук то и дело сталкивается с проблемой отсутствия свзи с интернетом, при этом все проверки происходили, и в кэш попадали пустые страницы. Из-за этого на следующий день приходили сообщения о нахождении кучи новых ссылок.
Сегодня я начинаю тестирование jAntivirus с проверкой на связь. т.е. перед проверками сайтов будет происходить обращение в интернет (а точнее обращение к Яндексам на возможность открыть 80 порт). Если операция успешна, то провера будет как обычно. Если подключения не произошло , то мне поступит сигнал.