Как правильно настроить robots txt Vanilla

User-agent: Yandex #Составляя роботс.txt, ставим юзер-агент яндекса, всегда первым.
Disallow: /dashboard* #закрываем служебные страницы
Disallow: /profile* #закрываем, все что относится к профилю
Disallow: /entry* #снова служебные (вход, рега и т.д.)
Disallow: /vanilla* #служебное
Disallow: /discussions* #теги и т.д., обратите внимание на букву S в конце - это не discussion
Disallow: /categories* #скрываем категории, если они нужны вам для продвижения - оставляйте
Disallow: /post* #служебное
Disallow: /discussion/*/$ #дубликаты страниц
Host: vanillaforum.ru #указываем главное зеркало, на всякий случай
Sitemap: http://vanillaforum.ru/sitemap.index.xml #карта сайта _если_ установлен плагин для её генерации

#Роботс для юзер агента яндекса, написан, теперь пишем для _всех_ остальных

User-agent:* #Звездочка указывает на то, что этим правилам должны руководствоваться все роботы, не прописанные отдельно. 
Disallow: /dashboard*
Disallow: /profile*
Disallow: /entry*
Disallow: /vanilla*
Disallow: /discussions*
Disallow: /categories*
Disallow: /post*
Disallow: /discussion/*/$
Sitemap: http://vanillaforum.ru/sitemap.index.xml
#Как видим, все тоже самое, только без параметра HOST - это специальный параметр для Яндекса. 

#Мы можем исключить, либо уменьшеть индексацию сайта нежелаемыми роботами (которые в ответ не принесут практически никакого трафика). Я выключаю индексацию для  Bing и Yahoo 

User-agent: MSNBot #Bing
Crawl-delay: 120
Disallow: /

User-agent: Slurp #Yahoo
Crawl-delay: 120
Disallow: /

#Файл robots.txt для Vanilla 2 составил Quadrosmit (http://vanillaforum.ru)

Для форума фрилансеров http://freelancera.ru robots.txt был настроен так:

User-agent: Yandex 
Disallow: /dashboard 
Disallow: /profile 
Disallow: /entry 
Disallow: /vanilla
Disallow: /post

Host: freelancera.ru 
Sitemap: http://freelancera.ru/sitemap.index.xml


User-agent:* 
Disallow: /dashboard*
Disallow: /profile*
Disallow: /entry*
Disallow: /vanilla*
Disallow: /categories*
Disallow: /post*
Sitemap: http://freelancera.ru/sitemap.index.xml