Если вы думали что напишите статью на какой-то сайт, то вы раз и попали в индекс, то тут на самом деле все несколько интересней и грустнее.
Во первых пока робот паучок доберется до вашей страницы пройти могут дни, недели, месяцы, а то и вовсе никогда не попадет ничего в индекс. Да. Яндекс робот – тоже челоек и везде просто неуспевает. Толи денег жалко, толи технологии еще так не умеют, но известный сервис ahrefs.com имеющий 10 серверов с пауками находит больше чем сам Яндекс, причем показывает это открыто.
Просто пример: Яндекс показывает на сайт 191 ссылку из вебмастера, 208 из архива, а ahrefs показывает 599 ссылок. Причем по сути это почти один сквозняк с потенциалом в пару тысяч бэков. Итак. ahrefs показывает 1/4 от общей массы, а сам Яндекс не увидел и 1/8. Кстати всеми любимый YBL показывает и вовсе 33 ссылки. ха ха!
Все это конечно страшно ссубъективно и зависит от того где сейчас ползают пауки, но все же все очень показательно.
Видите эту кнопочку, это архив ссылок, там Яндекс раскрывает карты, какие ссылки он нашел и где, причем в вебмастере и в этом архиве как правило цифры разнятся, в моем случае на 5% примерно. Иногда это страшно. Причина такого гнусного поведения Вебмастера смущает, ибо охота следить за бэками как белому человеку, а мне подсовывают в одном месте противоречивые данные. но я делаю простой вывод, архив наиболее актуален, т.к. в нем нашлось больше ссылок. И их действительно должно быть дольше, а не меньше.
Сейчас у меня запущен эксперимент который покажет мне наиболее эффектиный способ загона паука на нужную страницы. Вылавливание паука – дело тонкое, ибо чтобы его поймать надо самому расставить сетку, а значит либо поставить крючок на частоиндексируемом ресурсе типа например grabr, либо прикупить Твитов штук 20 (как кто—то писал) по рублю, при этом гарантируя быстроиндексацию. Но вообще надо бы сделать самому некую вонючку – чтобы пауки приползали чащще. для этого нужно самому организовывать постоянно наполняющийся ресурс, в моем опыте был сайт с генереным контентом обновлялся ежедневно, но индексация происходила раз в несколько дней, но очень стабильно.
Кстати всем любимый LetUsIndex – не показал себя с хорошей стороны, так называемые пинги не сработали почему-то. Бесценный Опыт.