Сейчас 127 заметки.
Как правильно настроить robots txt Vanilla: различия между версиями
Материал из ЗАметки
Admin (обсуждение | вклад) |
|||
| (не показано 7 промежуточных версий 2 участников) | |||
| Строка 37: | Строка 37: | ||
#Файл robots.txt для Vanilla 2 составил Quadrosmit (http://vanillaforum.ru)</pre> | #Файл robots.txt для Vanilla 2 составил Quadrosmit (http://vanillaforum.ru)</pre> | ||
| − | + | Для '''форума фрилансеров''' http://freelancera.ru robots.txt был настроен так: | |
| − | Для | ||
<pre>User-agent: Yandex | <pre>User-agent: Yandex | ||
| − | Disallow: /dashboard | + | Disallow: /dashboard |
| − | Disallow: /profile | + | Disallow: /profile |
| − | Disallow: /entry | + | Disallow: /entry |
| − | Disallow: /vanilla | + | Disallow: /vanilla |
| − | Disallow: /post | + | Disallow: /post |
Host: freelancera.ru | Host: freelancera.ru | ||
| Строка 52: | Строка 51: | ||
User-agent:* | User-agent:* | ||
| − | Disallow: /dashboard | + | Disallow: /dashboard |
| − | Disallow: /profile | + | Disallow: /profile |
| − | Disallow: /entry | + | Disallow: /entry |
| − | Disallow: /vanilla | + | Disallow: /vanilla |
| − | + | Disallow: /categories | |
| − | Disallow: /categories | + | Disallow: /post |
| − | Disallow: /post | ||
| − | |||
Sitemap: http://freelancera.ru/sitemap.index.xml</pre> | Sitemap: http://freelancera.ru/sitemap.index.xml</pre> | ||
Текущая версия на 00:26, 22 октября 2012
User-agent: Yandex #Составляя роботс.txt, ставим юзер-агент яндекса, всегда первым. Disallow: /dashboard* #закрываем служебные страницы Disallow: /profile* #закрываем, все что относится к профилю Disallow: /entry* #снова служебные (вход, рега и т.д.) Disallow: /vanilla* #служебное Disallow: /discussions* #теги и т.д., обратите внимание на букву S в конце - это не discussion Disallow: /categories* #скрываем категории, если они нужны вам для продвижения - оставляйте Disallow: /post* #служебное Disallow: /discussion/*/$ #дубликаты страниц Host: vanillaforum.ru #указываем главное зеркало, на всякий случай Sitemap: http://vanillaforum.ru/sitemap.index.xml #карта сайта _если_ установлен плагин для её генерации #Роботс для юзер агента яндекса, написан, теперь пишем для _всех_ остальных User-agent:* #Звездочка указывает на то, что этим правилам должны руководствоваться все роботы, не прописанные отдельно. Disallow: /dashboard* Disallow: /profile* Disallow: /entry* Disallow: /vanilla* Disallow: /discussions* Disallow: /categories* Disallow: /post* Disallow: /discussion/*/$ Sitemap: http://vanillaforum.ru/sitemap.index.xml #Как видим, все тоже самое, только без параметра HOST - это специальный параметр для Яндекса. #Мы можем исключить, либо уменьшеть индексацию сайта нежелаемыми роботами (которые в ответ не принесут практически никакого трафика). Я выключаю индексацию для Bing и Yahoo User-agent: MSNBot #Bing Crawl-delay: 120 Disallow: / User-agent: Slurp #Yahoo Crawl-delay: 120 Disallow: / #Файл robots.txt для Vanilla 2 составил Quadrosmit (http://vanillaforum.ru)
Для форума фрилансеров http://freelancera.ru robots.txt был настроен так:
User-agent: Yandex Disallow: /dashboard Disallow: /profile Disallow: /entry Disallow: /vanilla Disallow: /post Host: freelancera.ru Sitemap: http://freelancera.ru/sitemap.index.xml User-agent:* Disallow: /dashboard Disallow: /profile Disallow: /entry Disallow: /vanilla Disallow: /categories Disallow: /post Sitemap: http://freelancera.ru/sitemap.index.xml
