Как ускорить попадание новых страниц в поисковый индекс

Для большинства сайтов поисковый трафик является основным источником посетителей. Особенно это касается информационных проектов, которые ничего не продают и не в состоянии раскручиваться через контекстную рекламу, так как это неоправдано экономически.

Соответственно, задача продвижения любого проекта начинается с его индексации.

Индексация - это процесс, при котором роботы Яндекса, Google, Mail и других поисковиков находят URL адреса страниц, проверяют, какой ответ выдает сервер при запросе к ним (должен быть код 200), сканируют содержимое страницы и добавляют адреса в свою базу.

Время, которое уходит от момента появления страницы в интернете до попадание его в базу поисковой системы зависит от большого числа факторов, например, от частоты обновления ресурса, от его цитируемости, от структуры проекта.

На некоторые факторы вебмастер повлиять не в состоянии, на другие наоборот.

Далее предлагаю рассмотреть список действий, благодаря которым ваш сайт будет попадать в поиск быстрее.

Данный сервис имеет много полезных функций. В контексте нашей темы полезными будут два инструмента:

• Проверка ответа сервера - через него проверяется доступ роботов Яндекса к контенту. Бывает так, что мы сайт видим, а боты заблокированы по IP или другим параметрам.
• Переобход страниц - этот пункт сообщает поисковику о том, что появился новый URL или изменился размещенный контент. Заявки, отправленые через переобход страниц, становятся в очередь на индексацию.

Аналог предыдущего сервиса, только для поисковой системы Google. Вообще эти два пункта являются наиболее полезными для ускорения индексации, так как воздействуют непосредственно на поисковики.

Это файл определенного формата, размещаемый на сайте. Он содержит полный список всех полезных адресов, которые владелец сайта считает полезными для индексирования. Поисковые системы регулярно проверяют этот файл и все новые адреса включают в очередь индексации.

После публикации новой статьи, ставьте ссылку на неё на других страницах проекта. Поисковые роботы периодически переиндексируют все известные страницы и при очередной проверке найдут ссылку на новый URL.

Размещайте анонсы на новую страницу на других сайтах в Интернете - в каталогах, на форумах, у партнеров, в новостных агрегаторах. Как и в пункте 4, поисковые роботы наткнутся на новую страницу в процессе сканирования других страниц.

Хоть большая часть ссылок в сициальных сетях и спрятана в редиректы, поисковики при проверке таких ссылок доходят до конечной цели. И, если это не хитрый скрипт, а классическая переадресация с 301 или 302 кодом, ваша новая страница попадет в поиск.

Отправьте самому себе электронное письмо со ссылкой на новую страницу с использованием почты yandex и gmail. Все письма сканируются сервисами (именно так определяется спам) и включенные в них ссылки также обретают известность.

Когда к сайте подключена аналитика, все адреса страниц, на которых переходят люди, отслеживаются и попадают в базу поисковиков. Если на сайте большой трафик и новые посты привлекают его часть, то способ очень полезен.

В дополнение к описанным способам  рекомендую чаще публиковать новый контент. Если роботы привыкнут к обновлениям, то начнут чаще посещять ресурс. Так они быстрее найдут новые URL и добавят в поиск.