Сегодня:
Блог: "Основы сайтостроения и веб дизайна"
сайтостроение

Переход на: Главная / Продвижение сайта /

Внутренняя оптимизация. Часть2. Как составить правильный robots txt?

АвторАвтор: netearn.ru

Дата добавленияДата добавления: 28.12.2012

Число просмотровЧисло просмотров: 1914



Для чего нужен robots txt? Роботы поисковых систем при входе на сайт первым делом обращаются к файлу robots.txt, чтобы получить инструкции к дальнейшему действию и узнать, какие файлы и директории запрещены к индексированию. Поэтому веб-мастеру крайне необходимо знать, как правильно писать этот файл, так как ошибки в нём могут привести к очень плачевным последствиям. Файл robots.txt является связующим между самим сайтом и поисковиками, в нем можно как разрешить так и запретить весь веб-узел для индексации или к отдельным категориям узла.


Файл robots – обыкновенный файл с расширением txt, который создают с помощью блокнота. Где находится robots.txt ?Он располагается в корневой директории сайта, и содержит инструкции по индексации для поисковых роботов. Инструкции могут быть, как и общие, так и для конкретных роботов.


А теперь немного подробнее о том, как составить правильный robots txt.


Основные правила при создании и загрузке файла robots.txt:


- не путать название, то есть называть файл robots.txt, а не robot.txt и так далее.

- название файла robots.txt должно быть обязательно написано в нижнем регистре, то есть robots.txt, а не Robots.txt и ROBOTS.TXT и др.

- размещать файл robots.txt необходимо именно в корневой директории сайта, а не в каком другом месте, иначе поисковики его не увидят.


Самое важное составить правильный robots txt. Ошибки в содержании этого файла могут привести к тому, что сайт или отдельные его директории или файлы не будут проиндексированы.


Вот пример файла robots txt:


User-agent: *

Disallow: /buttons/

Disallow: /image/


Давайте разберём содержание этого файла. Первая строка user agent. Звёздочка в инструкции User-agent обозначает, что данная инструкция относится ко всем поисковым роботам. Если инструкция предназначена для конкретного поискового робота, то необходимо прописать его имя.


Вторая и третья строка запрещают индексацию директорий buttons и image. Обратите внимание, что каждая запрещённая к индексации директория прописана в отдельной строке. Ни в коем случае не совмещайте их в одной строке. Также нельзя переносить строки в пределах одной инструкции.


Для Яндекса актуально также писать директиву Host. Эта директива указывает роботу на основное зеркало этого сайта. В этой директиве можно прописать адрес сайта либо с www, либо без www. Какая разница спросите вы? Да никакой. Можно указывать и так, и так. Всё зависит исключительно от вашего желания. Никаких ограничений и ущемлений для вашего сайта не будет. Правильно написать директиву Host нужно так:


User-agent: Yandex

Disallow: /buttons/

Host: www.aklychin.ru


А теперь приведу конкретные примеры написания файла robots.txt для различных задач.


1. Как запретить индексацию сайта всеми поисковыми роботами.


User-agent: *

Disallow: /


2. Не запрещать весь сайт к индексации всеми поисковыми роботами.


User-agent: *

Disallow:


3. Запретить индексацию сайта одним поисковым роботом (например, SeoBot).


User-agent: SeoBot

Disallow: /


4. Не запрещать весь сайт к индексации роботом (например, SeoBot) и запретить к индексации всем остальным поисковым роботам.


User-agent: SeoBot

Disallow:


User-agent: *

Disallow: /


5. Запретить несколько директорий к индексации всеми поисковыми роботами.


User-agent: *

Disallow: /images/

Disallow: /buttons/

Disallow: /_themes/


6. Запретить несколько файлов к индексации всеми поисковыми роботами.


User-agent: *

Disallow: /Square Black.gif

Disallow: /banners-page-small.htm


Основные правила при составлении файла robots txt


1. Писать содержимое файла нужно только в нижнем регистре.

2. В каждой инструкции Disallow указывать только одну директорию или один файл.

3. Не менять местами инструкцию user agent disallow.

4. Строка user agent должна быть заполнена. Если инструкция относится ко всем поисковым роботам, то писать звёздочку, а если к конкретному поисковому роботу, то писать его имя.

5. В директиве Host (для Яндекса) адрес писать нужно без протокола http:// и без закрывающего слеша /.

6. Не нужно использовать символы подстановки в инструкции Disallow в виде звёздочки и прочих символов.

7. Стараться не писать комментарии к инструкциям в одной строке с инструкциями.

8. Нельзя пропускать инструкцию Disallow. Если вы не собираетесь ничего запрещать к индексации, то оставьте эту инструкцию пустой.

9. Если вы запрещаете к индексации директивы robots txt, то обязательно пропишите слеши.

10. Самое главное правило – прежде чем залить файл robots.txt на сервер сайта нужно сто раз его проверить и перепроверить во избежание дальнейших недоразумений.


Поделиться

Добавьте Ваш комментарий и оцените статью:

+ Добавлять комментарии и оценивать статью могут только зарегистрированные пользователи. Если Вы регистрировались, то просто авторизируйте свой аккаунт.


Комментарии к данной статье:


Подписаться на обновления блога

монетизация сайтаРеклама
заработок на сайтеПомощь

Понравился проект?

Внесите вклад в его развитие, пожертвовав любую сумму на один из кошельков:

Z255632435111

R174106546724

Деньги пойдут на оплату серверов, зарплату авторам уроков и развитие ресурса.

В примечании к платежу укажите Ваш email или логин на нашем проекте.

Администрация.

Статистика блога:

Статей: 107

Комментариев: 8

Зарегистрировано: 14

Все права защищены сopyright © Блог - "Основы сайтостроения и веб дизайна" 2012 - 2017