Настройка файла Robots.txt

Первым делом нам нужно создать текстовый документ с кодировкой UTF-8 и назвать его robots.txtТеперь надо прописать в него несколько правил для роботов.

Настройка файла Robots.txt

Что бы разрешить поисковым машинам читать ваш сайт нужно указать в первой строкой в файле User-agent:* этим действием мы показываем, что сайт можно посещать и индексировать все поисковикам.

 

Для разрешения индексации определённых страниц необходимо прописать Allow:/ сразу после предыдущего пункта.

 

Затем необходимо определить, какие страницы вашего проекта вы бы не хотели видеть в поиске. Адреса этих страниц необходимо записать, после пункта, который мы выполнили выше. Обратите внимание, что записывать необходимо в таком виде: /index/8 без домена вашего сайта. Затем необходимо приставить к каждому адресу слово Disallow: У вас должно получиться:

Disallow:/index/8
Disallow:/index/1
Disallow:/index/5

Этими действиями мы показываем поисковым роботам, что им запрещено посещать данные страницы.

Основные действия вы выполнили. Осталось помочь роботам ускорить индексацию. Для этого прописываем ниже, в том же текстовом документе:

Host:site.ru
Sitemap:http://site.ru/sitemap.xml

Настройка файла Robots.txt
Правило Host: укажет поисковику, что именно этот адрес является главным. А Sitemap: покажет, где находится карта сайта. Также карты можно добавить в инструментах для вебмастера Яндекс и Google.

После выполнения всех действия ваш тактовый документ должен выглядеть так:

User-agent: *a
Allow:/
Disallow:/admin/
Host:site.ru
Sitemap:http://site.ru/sitemap.xml

Если вам, что-то не понятно, смотрите «ДЕМО» выше.

Обратите внимание — каждое новое правило в файле robots.txt необходимо прописывать с новой строки. Последним действие загружаем полученный файл в корень сайта. Все настройки (правила) к поисковикам должны храниться в файле http://ваш сайт/robots.txt

 

Решение вопроса с помощью meta-тегов

Для более надёжного закрепления правил индексации, советую прописать на каждую страницу вашего проекта следующий мета-тег:

<meta name=«robots» content=«index, follow»/>

 

С помощью переменных index и follow мы показываем, что индексация разрешена как для текста, так и для ссылок.

 

Для запрета добавляем no , что бы получилось:

<meta name=«robots» content=«noindex,nofollow»/>

В данном правиле вы можете запрещать или наоборот разрешать индексацию например только ссылок или только текста. Это бывает очень полезно для различных страниц. Например на странице профиля пользователя можно запретить индексацию ссылок использую данный тег, например:

<meta name=«robots» content=«index,nofollow»/>

Текст страницы при этом будет индексироваться.

Обратите внимание – данный meta-тег нужно размещать строго в <head> и не более 1 раза на странице, для правильного понимания роботами.

 

Запрещаем индексацию некоторых ссылок и части текста

Глобальные настройки мы рассмотрели, а как же быть если нам надо запретить индексировать только одну ссылку или одно предложение? Для этого нам нужно прописать следующие теги:

 

Для запрета на индексации предложения/части текста:

<noindex>Скрываемы текст</noindex>

Прописав тег <noindex>, не забудьте его закрыть тегом </noindex>

Для запрета индексирования ссылок:

<a href=”url адрес” rel=«nofollow» title=””>Текст ссылки</a>

То есть необходимо прописать rel=»nofollow» в каждую ссылку, которую вы хотели бы скрыть от поисковиков.

Заключение

Настройка файла Robots.txt

После выполнения всех требуемых действий, которые были, прописаны в данной статье вы можете быть уверены, что поисковые машины будут индексировать ваш сайт правильно и никакая ненужная информация не попадёт в общий доступ.