Создам правильный robotx.txt и sitemap.xml для вашего сайта. Либо отредактирую существующие. Настройку произвожу для разных cms. Для чего нужны эти файлы на сайте? - Для корректной индексации в поисковых системах. При помощи robots.txt поисковым системам указываются директивы, разрешающие или запрещающие индексацию тех или иных страниц. К данному сайту обращается поисковой робот при первом касании с сайтом. Sitemap.xml - это "навигационная карта" для робота, при помощи которой происходит индексация вашего сайта.