Наверное большое количество вебмастеров которые сейчас читают ету статью, уже знакомы и знают о
существовании такого маленького и неприглядного файла как robots.txt.Фактом остается то, в чем
заключается, его важность и нужность, которая может сильно корректировать узнаваемость в поисковых
системах, а вот чтобы Вы хотели всё-таки проиндексировать на сайте, чего лучше не показывать и оставить "в тени".
Что собой являет файл robots.txt?А файл Robots.txt – это нично иное, как специально сформулированных в
текстовом редакторе файл, который находится в корне вашего сайта, в нем содержится директива, следуя
которой поисковые боты смогут понять что нужно индексировать а что нет, перелопатив всю информацию
на нашем сайте.
Правила оформления и индексация сайта и robots.txt
-Не нужно злоупотреблять большими буквами.
-Не стоит также создавать файла robots.txt больше, чем 256 килобайт.
Простой пример правильного robots.txt
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Sitemap: http://site.net/sitemap.xml
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Sitemap: http://site.net/sitemap.xml
Host: site.net
