Сейчас 127 заметки.
Как правильно настроить robots txt Vanilla: различия между версиями
Материал из ЗАметки
Admin (обсуждение | вклад) |
|||
| Строка 44: | Строка 44: | ||
Disallow: /entry | Disallow: /entry | ||
Disallow: /vanilla | Disallow: /vanilla | ||
| − | |||
| − | |||
Disallow: /post | Disallow: /post | ||
| Строка 57: | Строка 55: | ||
Disallow: /entry* | Disallow: /entry* | ||
Disallow: /vanilla* | Disallow: /vanilla* | ||
| − | |||
Disallow: /categories* | Disallow: /categories* | ||
Disallow: /post* | Disallow: /post* | ||
| − | |||
Sitemap: http://freelancera.ru/sitemap.index.xml</pre> | Sitemap: http://freelancera.ru/sitemap.index.xml</pre> | ||
Версия 00:25, 22 октября 2012
User-agent: Yandex #Составляя роботс.txt, ставим юзер-агент яндекса, всегда первым. Disallow: /dashboard* #закрываем служебные страницы Disallow: /profile* #закрываем, все что относится к профилю Disallow: /entry* #снова служебные (вход, рега и т.д.) Disallow: /vanilla* #служебное Disallow: /discussions* #теги и т.д., обратите внимание на букву S в конце - это не discussion Disallow: /categories* #скрываем категории, если они нужны вам для продвижения - оставляйте Disallow: /post* #служебное Disallow: /discussion/*/$ #дубликаты страниц Host: vanillaforum.ru #указываем главное зеркало, на всякий случай Sitemap: http://vanillaforum.ru/sitemap.index.xml #карта сайта _если_ установлен плагин для её генерации #Роботс для юзер агента яндекса, написан, теперь пишем для _всех_ остальных User-agent:* #Звездочка указывает на то, что этим правилам должны руководствоваться все роботы, не прописанные отдельно. Disallow: /dashboard* Disallow: /profile* Disallow: /entry* Disallow: /vanilla* Disallow: /discussions* Disallow: /categories* Disallow: /post* Disallow: /discussion/*/$ Sitemap: http://vanillaforum.ru/sitemap.index.xml #Как видим, все тоже самое, только без параметра HOST - это специальный параметр для Яндекса. #Мы можем исключить, либо уменьшеть индексацию сайта нежелаемыми роботами (которые в ответ не принесут практически никакого трафика). Я выключаю индексацию для Bing и Yahoo User-agent: MSNBot #Bing Crawl-delay: 120 Disallow: / User-agent: Slurp #Yahoo Crawl-delay: 120 Disallow: / #Файл robots.txt для Vanilla 2 составил Quadrosmit (http://vanillaforum.ru)
Для форума фрилансеров http://freelancera.ru robots.txt был настроен так:
User-agent: Yandex Disallow: /dashboard Disallow: /profile Disallow: /entry Disallow: /vanilla Disallow: /post Host: freelancera.ru Sitemap: http://freelancera.ru/sitemap.index.xml User-agent:* Disallow: /dashboard* Disallow: /profile* Disallow: /entry* Disallow: /vanilla* Disallow: /categories* Disallow: /post* Sitemap: http://freelancera.ru/sitemap.index.xml
