Чем чаще на сайте обновляется информация, тем больше визитов совершают поисковые роботы. Если вы хотите, чтобы индексация проходила быстрее, надо регулярно добавлять новый контент. Так вы привлечете роботов, а публикации попадут в индекс ПС. Но сайты бывают разные. Некоторые из них не нуждаются в частом обновлении. Когда там появляется новый материал, поисковики не спешат его индексировать. Как решать подобные проблемы?
Почему не индексируется сайт
Проблемы с индексацией бывают нескольких типов:
Сайт совсем не индексируется ПС
Ресурс индексируется, но слишком долго
Страницы индексирует один поисковик
Рассмотрим каждый вариант
Если сайт не индексируется, то первоочередная задача – проверить robots.txt. Вероятно, этот файл содержит запрет на обход площадки роботами. Также проверьте настройки хостинга и CMS. Возможно, проблема кроется именно там.
Если страницы индексируются, но долго, причин может быть много: плохое SEO, некачественные тексты, проблемы с юзабилити, неправильное оформление, высокий уровень вложенности.
Когда страницы индексирует одна ПС, есть вероятность, что другой поисковик наложил фильтр. Используйте инструменты вебмастера, чтобы найти проблему. Сделайте запрос в поисковую систему, чтобы узнать о наличии фильтров. Только не доверяйте полностью ответу. Очень часто представители ПС скрывают информацию и сообщают о том, что с ресурсом все в порядке.
Как ускорить индексацию
Добавление в Вебмастер. У Google и Яндекса есть отличные инструменты, используя которые определяют проблемы с индексацией. В ВМ можно отправить нужные страницы на переиндексацию (переобход страниц и запрос индексирования).
Создание карты. Она нужна для помощи роботам. Сделайте динамическую sitemap, чтобы новые страницы добавлялись автоматически. Иначе это придется делать в ручном режиме. После создания карты не забудьте отправить ее в Вебмастер ПС.
Использование соцсетей. Известно, что ссылки в соцсетях индексируются очень быстро. Разместите на популярных площадках ссылки на нужные страницы сайта.
Ссылки с индексируемого ресурса. Если ваш сайт не индексируется, но у вас есть ресурс, который без проблем попадает в индекс, используйте его для решения проблемы. Разместите ссылку на нужный сайт. Также можно использовать ресурсы друзей или новостные площадки.
Прогон по каталогам. Этот способ позволит быстрее получить роботов на сайт и увеличить ссылочную массу. Выбирайте хорошие каталоги и RSS-ленты.
При возникновении проблем с индексацией проверьте, не находится ли ресурс под фильтром ПС, правильно ли оформлен robots.txt, оцените качество оптимизации и сайта в целом. Если страницы индексируются слишком долго, воспользуйтесь способами ускорения индексации. Помогите поисковым роботам найти новую информацию и добавить ее в индекс ПС.