Доброго времени суток! в этой статье вы узнаете как правильно и быстро составить Robots.txt для этого нужно: Создать файл в блокноте в формате .txt а назвать его Robots должно получится так: Robots.txt
Вставляем туда следующий код: Code
User-agent: *
Disallow: /panel/
Disallow: /admin/
Disallow: /search
Host: Ссылка на сайт
Sitemap:Ваш_домен/sitemap.xml
Sitemap:Ваш_домен/sitemap-forum.xml
| 
