Профессионально создам и/или настрою файлы robots.txt, sitemap.xml для разных движков вашего сайта (движок уточняйте).