Правильный robots.txt у сайта WordPress
Подскажите правильный файл robots.txt у сайта WordPress чтобы исключить дубли и запретить максимально попадание ненужного контента в индекс поисковых систем.
Добавить комментарий
1 Ответ (-ов)
Я всегда делаю так:
User-agent: *
Disallow: *?s=
Disallow: /wp-
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: */page/
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
