По мере продвижения сайта в поисковых системах вебмастер часто сталкивается с рядом проблем, от успеха решения которых порой зависит дальнейший успех развития сайта. Решение таких проблем требует определённых знаний и опыта. По мере продвижения сайта возникает огромное количество разного рода проблем, поэтому, описать способы решения всех их практически невозможно. Однако с некоторыми проблемами сталкивается едва ли не каждый вебмастер, что позволило выработать алгоритмы их решения. Одна из таких проблем – медленная индексация сайта поисковыми системами. В этой статье мы поговорим о том, как ускорить индексацию сайта, а также о некоторых последствиях медленной индексации.

Прежде чем начать говорить о самой проблеме, разберёмся с тем, что же такое индексация сайта. Посетители попадают на сайт, в большинстве случаев, через поисковые системы, в базе которых хранятся копии всех страниц проиндексированных ими сайтов. После появления нового сайта поисковый робот при помощи входящих ссылок находит его и анализирует его содержание, определяя тематику. Каждая страница сайта индексируется отдельно, имеет свою тему, попадает в выдачу по соответствующей группе запросов. Но прежде чем попасть в выдачу, страницы ранжируются, выстраиваясь в определённом порядке согласно их соответствию запросу согласно мнению поисковой системы. Этот порядок и получаем мы, пользователи поисковой системы по каждому отдельному запросу.

Если говорить о последствиях медленной индексации сайта, то они очевидны. Во-первых, задержки с индексацией лишают сайт определённой доли потенциального трафика, которая будет недополучена из-за того, что новая страница позже попала в индекс. При систематической медленной индексации в абсолютных и относительных величинах такой трафик может быть значительным. Во-вторых, из-за несвоевременной индексации часто возникают проблемы с воровством контента. Дело в том, что первоисточником контента считается сайт, на котором этот контент был впервые проиндексирован поисковой системой. Злоумышленники специально вычисляют плохо индексируемые сайты и крадут с них контент. Доказать впоследствии их вину практически невозможно. Итак, чем быстрее страницы вашего сайта попадут в индекс, тем лучше. Поэтому, рассмотрим ряд способов ускорить этот процесс.

1. Внешние ссылки на страницы сайта. Находя в контенте ссылку, поисковый робот переходит по ней. Таким образом осуществляется поиск новых страниц и сайтов. Чем больше внешних ссылок с других сайтов на ваш, тем чаще на него будет попадать поисковый робот и тем меньше будут паузы между его посещениями. Таким образом, при появлении нового контента он сразу будет индексироваться. Чем чаще при этом индексируются источники ссылок — тем лучше, поэтому для таких целей ссылки часто размещаются в новостных блогах и на подобных ресурсах, которые очень чаcто индексируются.
2. Грамотная перелинковка. Часто случается так, что даже часто попадая на один и тот же сайт поисковый робот не может его полностью проиндексировать, из-за того что не на все его страницы имеются внутренние ссылки. Чем больше ссылок на каждую страницу сайта — тем лучше. Поэтому необходимо перераспределять трафик с одних страниц на другие, таким образом, чтобы на каждую страницу сайта вело несколько ссылок. Сюда же можно отнести и ошибки в построении навигации: любая страница должна быть доступна в 1-3 клика от главной страницы сайта, иначе поисковый робот может просто не добраться до «глубоких» страниц.
3. Регулярное обновление контента на сайте. Поисковые системы отслеживают частоту обновления контента и стараются максимально оперативно индексировать новые страницы. Поэтому внимание стоит уделить именно регулярности обновления контента. Если за месяц на сайте не появилось новых материалов, то индексировать его чаще, чем раз в месяц, нецелесообразно. Если же обновление происходит каждый день, то есть смысл увеличить частоту посещения робота.
4. Медленная индексация часто связана с техническими причинами. Например, поисковый робот часто не может проиндексировать «тяжёлые» страницы, содержащие огромное количество различного контента и графики. Также проблемы часто возникают по вине плохого хостинга, так как поисковый робот довольно сильно нагружает сервер. Одной из технических причин медленной индексации также является меню часта на флэш, которое затрудняет или делает невозможным перемещение робота по сайту.
5. Мета-тег «revisit». Содержимое данного тега указывает на частоту в днях, с которой поисковый робот должен посещать сайт. Само собой это всего лишь рекомендация, но поисковый робот может к ней прислушаться.

Приведённые выше 5 шагов решают проблему с медленной индексацией в 90% случаев. Однако существуют и те 10%, когда проблема возникает по техническим причинам со стороны поисковой системы. В таких ситуациях необходимо написать в службу поддержки с описанием проблемы. На этом всё, успехов в продвижении сайта!