Сейчас 127 заметки.
Как правильно настроить robots txt Vanilla
Материал из ЗАметки
User-agent: Yandex #Составляя роботс.txt, ставим юзер-агент яндекса, всегда первым. Disallow: /dashboard* #закрываем служебные страницы Disallow: /profile* #закрываем, все что относится к профилю Disallow: /entry* #снова служебные (вход, рега и т.д.) Disallow: /vanilla* #служебное Disallow: /discussions* #теги и т.д., обратите внимание на букву S в конце - это не discussion Disallow: /categories* #скрываем категории, если они нужны вам для продвижения - оставляйте Disallow: /post* #служебное Disallow: /discussion/*/$ #дубликаты страниц Host: vanillaforum.ru #указываем главное зеркало, на всякий случай Sitemap: http://vanillaforum.ru/sitemap.index.xml #карта сайта _если_ установлен плагин для её генерации #Роботс для юзер агента яндекса, написан, теперь пишем для _всех_ остальных User-agent:* #Звездочка указывает на то, что этим правилам должны руководствоваться все роботы, не прописанные отдельно. Disallow: /dashboard* Disallow: /profile* Disallow: /entry* Disallow: /vanilla* Disallow: /discussions* Disallow: /categories* Disallow: /post* Disallow: /discussion/*/$ Sitemap: http://vanillaforum.ru/sitemap.index.xml #Как видим, все тоже самое, только без параметра HOST - это специальный параметр для Яндекса. #Мы можем исключить, либо уменьшеть индексацию сайта нежелаемыми роботами (которые в ответ не принесут практически никакого трафика). Я выключаю индексацию для Bing и Yahoo User-agent: MSNBot #Bing Crawl-delay: 120 Disallow: / User-agent: Slurp #Yahoo Crawl-delay: 120 Disallow: / #Файл robots.txt для Vanilla 2 составил Quadrosmit (http://vanillaforum.ru)
Для форума фрилансеров http://freelancera.ru robots.txt был настроен так:
User-agent: Yandex Disallow: /dashboard Disallow: /profile Disallow: /entry Disallow: /vanilla Disallow: /post Host: freelancera.ru Sitemap: http://freelancera.ru/sitemap.index.xml User-agent:* Disallow: /dashboard Disallow: /profile Disallow: /entry Disallow: /vanilla Disallow: /categories Disallow: /post Sitemap: http://freelancera.ru/sitemap.index.xml
