Правильная индексация – как подружиться с роботом Яндекс?

К счастью, у современных технологий не такие суровые методы как у 38-го губернатора Калифорнии, и скрываться от них никто не собирается. Ведь отсутствие в базе поисковика данных о ресурсе означает, что сайта просто не будет в поисковой выдаче, а значит и посещать его будут только те, кто знает его тайный адрес.

Первый контакт

.

С какой бы скоростью ни развивались поисковые системы – на данный момент их программы остаются сложными, но всё же последовательными и жёсткими алгоритмами. Робот переходит от точки «А» к точке «Б». Внезапно перепрыгнуть на незнакомый ему адрес он просто не в силах. Отсюда следует два основных способа добавления сайта в «индекс»:

• Ссылка, ведущая на ваш сайт с проиндексированного ресурса (а лучше с нескольких и посещаемых);
• Ручное включение сайта базу данных через add-форму – webmaster.yandex.ru.

Инструмент Яндекс.Вебмастер помогает также проверить глубину и качество индексации страниц сайта. На панели, через вкладку «Мои сайты, можно увидеть детальную статистику по сайту». Если вам лень заводить свой кабинет, то просто вбейте в поиск Яндекса достаточно большой текст с нужной вам страницы или поищите адрес в поисковике: http://yandex.ru/yandsearch?surl=

Из-за ограниченных аппаратных ресурсов, Яндекс, в отличие своего главного конкурента, пока не обновляет базу в режиме реального времени, хотя понятие «апа» становится всё более размытым. Стоит заметить также, что в русскоязычной зоне (RU, РФ, UA, SU) поисковик находит сайты быстрее и добавляет в базу охотнее.

Ждать «up» базы данных можно до нескольких недель, а качество первой индексации может быть далеко не лучшим. Но если предпринять для этого некоторые действия, то время полной индексации можно уменьшить. Стоит заметить, что Яндекс проводит крайне внимательную политику в том, что касается ссылочной массы молодых сайтов. Не стоит забывать, что адрес может быть не только включён, но и временно выключен из справочника поисковика. С другой стороны, сервис положительно относится к ссылкам, ведущим на сайт с его собственного ресурса. Поэтому для начала стоит попробовать следующие способы:

• Добавление RSS-ленты в Яндекс.Блоги (blogs.yandex.ru/add.xml);
• Постинг на my.ya.ru, с включением в текст ссылок на второстепенные страницы сайта;
• Добавление в Яндекс.Каталог.

Ускорение индексации

Чем чаще система индексирует сайт, тем меньше вероятность того, что злоумышленник позаимствует с вашей страницы уникальный контент. Во-вторых, страницы такого сайта быстрее будут появляться в поисковой выдаче. Для того чтобы заставить поискового робота гостить у вас чаще, стоит прежде всего регулярно обновлять контент, но не менее важна работа с «искусственным» привлечением внимания.

• Автопостинг через Twitter. Сегодня это не так привлекательно для поисковых систем, но важность способа велика. Адрес в тексте должен начинаться строго с «http://». Для автоматизации процесса можно воспользоваться RSS лентой и инструментом Feedburner от Google.
• Регистрация в социальных закладках. Для прогона используется BPoster.net или любой аналог.
• Постинг в «ЖЖ». Тот же принцип, что и с Твиттером. Чем больше подписчиков, тем лучше. Автопостинг тут не настроишь, а материал нужен уникальный. Однако существуют программы для автоматизации процесса на многих других журналах и форумах, например Sapient Social Submitter.
• Пинг-сервисы. Существуют специальные ресурсы в сети, занимающиеся оповещением поисковых систем об изменениях на сайте.

Проще всего настроить «ping» в CMS WordPress. Список «пингов» подключается в настройках «Сервисов подключения» – раздел «Ping Services». Злоупотреблять способом не стоит, поскольку это чревато повышением нагрузки на поисковую машину, что никак не приветствуется. В свою очередь сами пинг-сервисы не приветствуют повторений, что может привести к бану за мультипинг.

Разрабатывавшим сайт не на WP, могут помочь программы для взаимодействия с пинг-сервисами. Наиболее популярные варианты среди бесплатных программ – PingExpert и Пинговалка.

Отсылать «пинг» необходимо лишь в том случае, когда вы уверены, что контент действительно обновился. WP, работающий без специальных шаблонов, может оповещать поисковых роботов после изменения каждой буквы, что только замедлит индексацию сайта в будущем. Вместе с тем, закупка пары ссылок с посещаемых блогов может дать эффект ничуть не хуже.

Качество индексации

Первое, что считывает робот с ресурса – файл robots.txt. Файл содержит для них прямые указания. Каждому из дюжины поисковых роботов Яндекса можно прописать собственные директивы. С помощью команд disallow (allow) запрещается (разрешается) доступ к определённой категории страниц. Файл может содержать ссылку на карту сайта (Sitemap), зеркала сайта, указание на исключение части данных и пр. Подробнее – в справочнике Яндекс.

Карта сайта

Карта в формате xml значительно увеличивает не только скорость, но и качество индексации страниц. Для небольшого сайта её можно создать вручную. В CMS для этого существуют специальные плагины. Для Joomla – это инструмент Xmap, для WP – Sitemap.

Формат был разработан для удобства, поэтому не содержит ничего, кроме структуры. Карту можно использовать и по прямому назначению, отобразив её на странице (в любом случае она должна лежать в корне), и указав на неё поисковой системе с помощью загрузки в соответствующий раздел Яндекс.Вебмастер (крайне рекомендуется).

Перелинковка

Если страницу отделяет от главной больше чем 3 клика, а внешних ссылок на неё нет, то поисковый робот скорее не будет заниматься её индексацией вообще. Грамотная структура поможет не только посетителям, но и поисковикам.

Страницы должны содержать ссылки друг на друга. Заменить их плагинами типа «Похожие статьи» не получится, поэтому выход один – перелинковка. Другое дело, что большое количество ссылок может сделать текст нечитаемым.

Регулярное обновление

Чем качественнее контент на вашем сайте, тем большее значение ему придаётся поисковыми системами. Учитывается и частота обновления. Высокая скорость появления новой информации заставляет роботов появляться на сайте чаще.

Интересный и уникальный контент в последнее время становится всё более значимым способом продвижения сайта. Топовые сайты индексируются, чуть ли не ежечасно. Однако при падении уровня, снижается и внимание к ресурсу.

Осмысленные ссылки

Не секрет, что основной ключ, совпадающий с адресом сайта, может стать неплохим подспорьем в продвижении. Однако действует это правило и в отношении страниц. Адрес заканчивающийся «site.ru/php?cat=1» кажется роботу не таким вкусным, как «site.ru/o-pomidore». При условии, что речь в статье идёт о помидорах.

Для создания таких адресов в CMS используются специальные плагины. В Joomla популярен, например, Artio Joom SEF. Если такой способ исключён, то просто дублируйте в адресе страницы название статьи на латинице.

FAQ

Почему не индексируется сайт или отдельные страницы?

Новые площадки могут добавляться в базу Яндекса несколько недель. Если вы предприняли все перечисленные выше действия, но сайт в выдаче не появляется, лучше обратиться в службу поддержки. Возможно сайт попал под один из «фильтров», например за спамные тексты или «тайтлы». Другие вероятные причины:

• Превышение документом размера в 10 Mb;
• Меню сайта, сделанное на Java-скрипт и Flash (ссылки через них не распознаются роботом);
• Излишняя перегрузка страницы java-скриптами;
• Излишняя перегрузка CGI-параметрами адреса страницы или её слишком большая длина;
• Частая или постоянная недоступность страницы.

Влияет ли на индексацию возраст и ТИЦ сайта?

Возраст сайта влияет на его индексацию. Траст сайта также напрямую связан со скоростью индексации. Доверие строится на основе нескольких оценочных моделей: AlexaRank, PR, ТИЦ. В том, что касается «цитирования» – больше чем количество ссылок, ведущих на сайт, на индексацию влияет их качество. Чем точнее тема сайта донора совпадает с тематикой оцениваемого сайта, тем качественнее и чаще проводится индексация.

Что делать если сайт переехал на новый адрес?

Если никаких изменений контента не было произведено, то необходимо настроить сервер так, чтобы при запросе к предыдущему адресу возвращался код «301». В поле Location должен быть указан адрес нового сайта. В таком варианте поисковый робот проведёт сравнение и исправит данные в базе. В противном случае придётся сообщить о сайте повторно.