Сейчас 127 заметки.
Как правильно настроить robots txt Vanilla: различия между версиями
Материал из ЗАметки
| Строка 40: | Строка 40: | ||
<pre>User-agent: Yandex | <pre>User-agent: Yandex | ||
| − | Disallow: /dashboard | + | Disallow: /dashboard |
| − | Disallow: /profile | + | Disallow: /profile |
| − | Disallow: /entry | + | Disallow: /entry |
| − | Disallow: /vanilla | + | Disallow: /vanilla |
Disallow: /discussion/*/$ | Disallow: /discussion/*/$ | ||
| − | Disallow: /discussions | + | Disallow: /discussions |
| − | Disallow: /post | + | Disallow: /post |
Host: freelancera.ru | Host: freelancera.ru | ||
| Строка 53: | Строка 53: | ||
User-agent:* | User-agent:* | ||
| − | Disallow: /dashboard | + | Disallow: /dashboard |
| − | Disallow: /profile | + | Disallow: /profile |
| − | Disallow: /entry | + | Disallow: /entry |
| − | Disallow: /vanilla | + | Disallow: /vanilla |
| − | Disallow: /categories | + | Disallow: /categories |
| − | Disallow: /post | + | Disallow: /post |
Disallow: /discussion/*/$ | Disallow: /discussion/*/$ | ||
| − | Disallow: /discussions | + | Disallow: /discussions |
Sitemap: http://freelancera.ru/sitemap.index.xml</pre> | Sitemap: http://freelancera.ru/sitemap.index.xml</pre> | ||
Версия 00:37, 15 октября 2012
User-agent: Yandex #Составляя роботс.txt, ставим юзер-агент яндекса, всегда первым. Disallow: /dashboard* #закрываем служебные страницы Disallow: /profile* #закрываем, все что относится к профилю Disallow: /entry* #снова служебные (вход, рега и т.д.) Disallow: /vanilla* #служебное Disallow: /discussions* #теги и т.д., обратите внимание на букву S в конце - это не discussion Disallow: /categories* #скрываем категории, если они нужны вам для продвижения - оставляйте Disallow: /post* #служебное Disallow: /discussion/*/$ #дубликаты страниц Host: vanillaforum.ru #указываем главное зеркало, на всякий случай Sitemap: http://vanillaforum.ru/sitemap.index.xml #карта сайта _если_ установлен плагин для её генерации #Роботс для юзер агента яндекса, написан, теперь пишем для _всех_ остальных User-agent:* #Звездочка указывает на то, что этим правилам должны руководствоваться все роботы, не прописанные отдельно. Disallow: /dashboard* Disallow: /profile* Disallow: /entry* Disallow: /vanilla* Disallow: /discussions* Disallow: /categories* Disallow: /post* Disallow: /discussion/*/$ Sitemap: http://vanillaforum.ru/sitemap.index.xml #Как видим, все тоже самое, только без параметра HOST - это специальный параметр для Яндекса. #Мы можем исключить, либо уменьшеть индексацию сайта нежелаемыми роботами (которые в ответ не принесут практически никакого трафика). Я выключаю индексацию для Bing и Yahoo User-agent: MSNBot #Bing Crawl-delay: 120 Disallow: / User-agent: Slurp #Yahoo Crawl-delay: 120 Disallow: / #Файл robots.txt для Vanilla 2 составил Quadrosmit (http://vanillaforum.ru)
Для форума фрилансеров http://freelancera.ru robots.txt был настроен так:
User-agent: Yandex Disallow: /dashboard Disallow: /profile Disallow: /entry Disallow: /vanilla Disallow: /discussion/*/$ Disallow: /discussions Disallow: /post Host: freelancera.ru Sitemap: http://freelancera.ru/sitemap.index.xml User-agent:* Disallow: /dashboard Disallow: /profile Disallow: /entry Disallow: /vanilla Disallow: /categories Disallow: /post Disallow: /discussion/*/$ Disallow: /discussions Sitemap: http://freelancera.ru/sitemap.index.xml
