SiteHeart

Как подготовить сайт к индексайии: sitemap & robots.txt

Дня начала нужно определиться со структурой сайта и меню. Создать карту сайта и подготовить ее для отправки во все возможные поисковики. Руками это делать достаточно тяжело и долго. Если Ваш сайт постоянно изменяется и дополняется то практически не реально. На помощь на приходит модуль для joomla 1.5 (скачать у меня com_xmap-1.2.14.zip) или 2.5-3 (скачать у меня pkg_xmap-2.3.2.zip) - это их родной сайт: Xmap. Скрипт анализирует весь ваш сайт и создает ссылку (пример файла) который можно подставить поисковикам, например  яндексу. так же я установил его в Google.ru и Bing.com который использует одну базу с Yahoo.com. Также скрипт поможет Вам сделать красивое дерево всех ваших папок и ссылок (мои пример). Далее нам нужно создать файл robots.txt внутри он такой:

User-agent: *
Host: mchome.ru
Disallow: /administrator/
Disallow: /Button/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /txt/
Disallow: /xmlrpc/
Sitemap: http://mchome.ru/index.php?option=com_xmap&sitemap=1&view=xml

User-agent: Yandex
Disallow: /administrator/
Disallow: /Button/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /txt/
Disallow: /xmlrpc/
Sitemap: http://mchome.ru/index.php?option=com_xmap&sitemap=1&view=xml

Достаточно все просто! Первая его часть для индексации всеми поисковиками. Параметр host указывает на наш сайт, его достаточно писать 1 раз во всем теле файла. Disallow - запрещает поисковикам индексировать содержимое каталогов (при правильной настройке их даже не видно). ну и самое главное - ссылка на наш динамический файл sitemap. Именно отсюда теперь все поисковики будут его находить и индексировать карту сайта. 2я часть файла именно для yandex, хотя по их мануалу это желательное (рекомендуемое) изменение и не носит обязательный характер.

 

Добавить комментарий


Защитный код
Обновить

На сайте работает система коррекции ошибок. Для исправления выделите текст и нажмите Shift+Enter.

счетчик посещений IT аутсорсинг

Яндекс.Метрика
Ваш персональный технический отдел
Санкт-Петербург +7-921-3130022
ИП Яхно Кирилл Константинович
ОГРНИП 309784727300653