Воскресенье, 17.12.2017, 22:41
Приветствую Вас Гость | RSS
Главная Правильный файл robots.txt для Ucoz - Форум Регистрация Вход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Страница 1 из 11
Форум » Способы раскрутки и оптимизации сайта » Полезное для сайтов на Ucoz » Правильный файл robots.txt для Ucoz (Как правильно составить robots.txt для сайтов Ucoz)
Правильный файл robots.txt для Ucoz
igorsajzДата: Вторник, 24.11.2015, 11:09 | Сообщение # 1
Подполковник
Группа: Проверенные
Сообщений: 127
Награды: 0
Репутация: 0
Статус: Offline


Файл robots.txt служит для указания поисковым роботам по индексированию сайта. Проще говоря, с помощью этого файла, вы можете указать поисковому роботу, какие страницы надо индексировать, а какие вы не желаете, чтоб их увидели пользователи сети Интернет.

Внимание!
Для молодых сайтов (до 1 месяца) накладывается запрет на индексирование сайта – называется этот период карантин. В период карантина вы не сможете редактировать файл robots.txt.

Вот так выглядит robots.txt во время карантина:

User-agent: *
Disallow: /


Во время карантина не следует добавлять свой сайт в поисковые системы, и лучше не заниматься его раскруткой. Это может плохо сказаться на его индексировании в дальнейшем.

После того, как прошёл месяц после создания вашего сайта, вы можете составить свой robots.txt.

После карантина, файл robots.txt выглядит так:
Код

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*0-0-

Sitemap: http://ваш.сайт/sitemap.xml


Вы сможете сами запрещать или наоборот показывать роботу, какие страницы можно индексировать, а какие нет.

Команды для роботов:

User-agent: - означает, что данная инструкция, предназначенная для кого-то…

Если после двоеточия стоит * - значит для всех поисковых роботов.
Если стоит Googlebot – значит, инструкция предназначена для поискового бота Google.
Если стоит Yandex – значит, инструкция предназначена для поискового бота Яндекса.
Если стоит Yahoo! Slurp - значит, инструкция предназначена для поискового бота Yahoo.

Disallow: - означает, что поисковому роботу запрещено индексировать какую-то страницу…

Если после двоеточия стоит / - значит, запрещено индексировать все страницы сайта (ваш сайт на карантине).
Если стоит /load – значит, запрещено индексировать только главную страницу модуля «Каталог файлов».
Если стоит /load/ - значит, запрещено индексировать весь раздел «Каталог файлов» (включая категории и материалы).
Если стоит /load/kategoriya - значит, запрещено индексировать страницу указанной категории.
Если стоит /load/kategoriya/ - значит, запрещено индексировать страницу указанной категории и все материалы, находящиеся в ней.

Allow: - означает противоположное значение директиве Disallow.

Если после двоеточия стоит /load – значит, запрещено индексировать весь сайт, кроме главной страницы модуля «Каталог файлов».
Если стоит /load/ - значит, запрещено индексировать весь сайт кроме всего раздела «Каталог файлов» (включая категории и материалы).

Sitemap: - означает, что поисковому роботу следует ознакомиться c XML картой сайта…

Тут указываются с каждой новой строчки отдельно имя директивы и ссылка на карту сайта, карту форума и карту интернет-магазина (если модуль активирован).

В начале robots.txt первым должна стоять команда User-agent:, вторым пунктом Allow:, третьим пунктом Disallow:, четвёртым пунктом: Host — эту инструкцию используют для указания главного зеркала сайта. Т.е. если ваш сайт доступен по адресам адрес1.ru, адрес2.ru и адрес3.ru, а вы хотите что бы в поиске виден был именно адрес1.ru, вы прописываете

Host: http://адрес1.ru

если сайт доступен только по одному адресу, то прописывать этот пункт не надо.

и уже пятым пунктом Sitemap:.

!!!Ещё одно примечание: всегда после двоеточия команды должен быть пробел.
Например:
Disallow: /index/sub/ (правильно)
Disallow:/index/sub/ (неправильно)

User-agent: * (правильно)
User-agent:* (неправильно)

Ну вот и всё. Составляйте и экспериментируйте с своим robots.txt.




Программы для рассылки
 
Форум » Способы раскрутки и оптимизации сайта » Полезное для сайтов на Ucoz » Правильный файл robots.txt для Ucoz (Как правильно составить robots.txt для сайтов Ucoz)
Страница 1 из 11
Поиск:

Вверх
Copyright MyCorp © 2017 Конструктор сайтов - uCoz