Создадим или исправим ваш нынешний файл robots.txt Приведем его к виду который предпочитают поисковые системы, для отличного SEO продвижения Закроем дубли страниц Снизим нагрузку на сайт за счет блокировки нежелательных ботов Установим главное зеркало