Файл Robots.txt – это обычный текстовый файл в формате .txt, содержащий инструкции и директивы для поисковых роботов, запрещающие индексировать определенные файлы сайта, его документы и папки. То есть, данный файл ограничивает ботам поисковых систем доступ к содержимому сайта. Robots играет одну из важнейших ролей для поисковой оптимизации. Поисковые системы при каждом сканировании сайта изначально обращаются именно к этому файлу, чтобы узнать, можно ли индексировать страницы и у этого сайта. В Robots находятся все основные инструкции, которым должен следовать робот. Если допустить ошибку в инструкциях и директивах, сайт может полностью пропасть из поискового индекса. Важно уметь корректно настраивать данный файл, так как от этого зависит видимость вашего сайта в поисковых системах и дальнейший рост объема трафика на проекте. Данный Kwork подходит для популярных CMS: Wordpress,Joomla,Bitrix. Если вам нужен robots.txt для другой CMS или самописного сайта, обращайтесь для обсуждения деталей.
