При создании сайтов на Dle. иногда сталкиваешься с одинаковыми проблемами: к примеру, Яндекс проиндексировал печатные версии страниц (url вида print:…), а Сапа не видит их. А Яндексу они приятнее, так как всякого мусора на них меньше: только контент. Или же Яндекс индексирует ссылки вида “dle-site/user/ya-spamer”, на которых куча внешних ссылок в профилях и никакого контента. Основная причины в не правильной настройке файла robots. txt

Советы настройки robots. txt для Datalife Engine DLE

В этой статье и пойдет речь о настройках robots. txt

Изучив материал в интернете и полазив по форуму и официальным мануалам поисковиков, можно сказать, что люди часто не читают руководств и ошибаются, к примеру, в robots. txt нет директивы “Allow” есть только “Disallow”

Для начала давайте выясним, что нужно сделать для лучшей индексации ресурса :

Хорошая индексация нужных страниц ресурса

Запрет ненужных страниц в индексе поисковым системам (всё равно вылетят из индекса)

Установка зеркала для Яндекса.

Чтобы полностью запретить всем роботам индексировать ваш веб-проект, для проведении каких-либо работ на ресурсе.

Достаточно указать в файле robots. txt

Итак разберемся по порядку. Для начала запретим индексировать всем поисковым роботам страницы для печати:

Уберём из индекса страницы без контента (они рано или поздно всё выпадут):

В зависимости от уровня Вашей паранойи можно добавить также:

Все прекрасно знаю, насколько Sitemap полезен для индексации сайта. Теперь нам нужно добавить его для Поисковых систем.

Идём в админ панель -> другие разделы -> в самом низу заходим в «Google Sitemap». Оставляем все настройки по умолчанию и жмём «создать/обновить». Сверху должна появиться надпись вида «25.01.2009 10:37 файл индекса для Google Sitemap был создан и доступен по адресу: http://dle-site/sitemap. xml».

Теперь даём знать о нём поисковикам: Sitemap: http://dle-site /sitemap. xml

Добавляем основное зеркало для Яндекса, чтобы не было недоразумений с его стороны) Идём по адресу:

http://yandex. ru/yandsearch? serverurl=dle-site

Важно посмотреть как проиндексирован Ваш сайт с www или без. Добавляем в robots. txt директиву вида:

dle-site, если сайт в индексе без www, и наоборот. Если сайт ещё не проиндексирован Yandex, то указывайте так, как Вам больше

нравится видеть Ваш сайт.

Вот и всё. Правильный robots. txt для DLE будет выглядеть примерно так:

Потратив 5 минут на создание такого файла можно значительно облегчить себе/поисковикам жизнь/работу в дальнейшем.

Предлагаем советы для Datalife Engine по настройке robots. txt