Блог Сергея Князева

SEO продвижение
Быстрая настройка индексации сайта

Быстрая настройка индексации сайта

31.10.20173362
Для правильной индексации вашего проекта поисковыми роботами, необходимо выполнить ряд задач, для обеспечения правильной настройки вашего сайта. В данной статье мы рассмотри все варианты по открытию или запрету индексации для поисковых машин.

Настройка файла Robots.txt

Первым делом нам нужно создать текстовый документ с кодировкой UTF-8 и назвать его robots.txt Теперь надо прописать в него несколько правил для роботов.

Настройка файла Robots.txt

Что бы разрешить поисковым машинам читать ваш сайт нужно указать в первой строкой в файле User-agent:* этим действием мы показываем, что сайт можно посещать и индексировать все поисковикам.


Для разрешения индексации определённых страниц необходимо прописать Allow:/ сразу после предыдущего пункта.


Затем необходимо определить, какие страницы вашего проекта вы бы не хотели видеть в поиске. Адреса этих страниц необходимо записать, после пункта, который мы выполнили выше. Обратите внимание, что записывать необходимо в таком виде: /index/8 без домена вашего сайта. Затем необходимо приставить к каждому адресу слово Disallow: У вас должно получиться:

Код
Disallow:/index/8  
Disallow:/index/1
Disallow:/index/5

Этими действиями мы показываем поисковым роботам, что им запрещено посещать данные страницы.


Основные действия вы выполнили. Осталось помочь роботам ускорить индексацию. Для этого прописываем ниже, в том же текстовом документе:

Код
Host:site.ru  
Sitemap:http://site.ru/sitemap.xml
Настройка файла Robots.txt
Правило Host: укажет поисковику, что именно этот адрес является главным. А Sitemap: покажет, где находится карта сайта. Также карты можно добавить в инструментах для вебмастера Яндекс и Google.


После выполнения всех действия ваш тактовый документ должен выглядеть так:

Код
User-agent: *a  
Allow:/  
Disallow:/admin/  
Host:site.ru  
Sitemap:http://site.ru/sitemap.xml

Если вам, что-то не понятно, смотрите «ДЕМО» выше.


Обратите внимание - каждое новое правило в файле robots.txt необходимо прописывать с новой строки. Последним действие загружаем полученный файл в корень сайта. Все настройки (правила) к поисковикам должны храниться в файле http://ваш сайт/robots.txt


Решение вопроса с помощью meta-тегов

Для более надёжного закрепления правил индексации, советую прописать на каждую страницу вашего проекта следующий мета-тег:

Код
<meta name="robots" content="index, follow"/>


С помощью переменных index и follow мы показываем, что индексация разрешена как для текста, так и для ссылок.


Для запрета добавляем no , что бы получилось:

Код
<meta name="robots" content="noindex,nofollow"/>

В данном правиле вы можете запрещать или наоборот разрешать индексацию например только ссылок или только текста. Это бывает очень полезно для различных страниц. Например на странице профиля пользователя можно запретить индексацию ссылок использую данный тег, например:
Код
<meta name="robots" content="index,nofollow"/>
Текст страницы при этом будет индексироваться.


Обратите внимание – данный meta-тег нужно размещать строго в <head> и не более 1 раза на странице, для правильного понимания роботами.


Запрещаем индексацию некоторых ссылок и части текста

Глобальные настройки мы рассмотрели, а как же быть если нам надо запретить индексировать только одну ссылку или одно предложение? Для этого нам нужно прописать следующие теги:


Для запрета на индексации предложения/части текста:

Код
<noindex>Скрываемы текст</noindex>

Прописав тег <noindex>, не забудьте его закрыть тегом </noindex>


Для запрета индексирования ссылок:

Код
<a href=”url адрес” rel="nofollow" title=””>Текст ссылки</a>

То есть необходимо прописать rel="nofollow" в каждую ссылку, которую вы хотели бы скрыть от поисковиков.

Заключение

Настройка файла Robots.txt

После выполнения всех требуемых действий, которые были, прописаны в данной статье вы можете быть уверены, что поисковые машины будут индексировать ваш сайт правильно и никакая ненужная информация не попадёт в общий доступ.

Нашли ошибку в тексте?
Выделите её и нажмите Ctrl+Enter. Сообщая мне об ошибке вы помогаете сделать мой блог лучше.
Автор материала
Сохраните в социальную сеть
Комментарии (2)
Чтобы оставить комментарий под этой публикацией,
зарегистрируйтесь или войдите.
Хорошая статья, написана без сложных фраз
4
Соглашусь с вами
2