Posts Tagged ‘Robots.txt’

Мануал по robots.txt

Пятница, Январь 30th, 2015 Нет комментариев

Under : , , , ,

Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем «robots.txt» (http://www.mydomain.com/robots.txt). Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет. (далее…)

Robots.txt — дополнительные сведенья

Пятница, Январь 30th, 2015 Нет комментариев

Under : , , , ,

Для чего запрещают индексацию?
Для чего запрещать роботам поисковых систем индексировать сайт, ведь во многих случаях увеличение количества проиндексированных страниц должно влиять на увеличение поискового трафика по низкочастотным запросам? (далее…)

Мануал по robots.txt

Вторник, Январь 27th, 2015 Нет комментариев

Under : , , , ,

Поисковые сервера всегда перед индексацией вашего ресурса ищут в
корневом каталоге вашего домена файл с именем «robots.txt»
(http://www.mydomain.com/robots.txt). Этот файл сообщает роботам
(паукам-индексаторам), какие файлы они могут индексировать, а какие
нет. (далее…)

Robots.txt — дополнительные сведенья

Вторник, Январь 27th, 2015 Нет комментариев

Under : , , , ,

Для чего запрещают индексацию? (далее…)

Как запретить индексацию нужных страниц

Четверг, Январь 22nd, 2015 Нет комментариев

Under : , , , ,

Разрешения и запрещения на индексацию берутся всеми поисковыми системами из файла robots.txt, находящегося в корневом каталоге сервера. Запрет на индексацию ряда страниц может появиться, например, из соображений секретности или из желания не индексировать одинаковые документы в разных кодировках. (далее…)

Формат Robots.txt

Понедельник, Апрель 16th, 2012 Нет комментариев

Under : , , , , ,

Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем «robots.txt» (http://www.mydomain.com/robots.txt). Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.

Формат файла robots.txt — особый. Он состоит из записей. Каждая запись состоит из двух полей: строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы Disallow: (далее…)

Robots.txt

Понедельник, Апрель 16th, 2012 Нет комментариев

Under : , , , , ,

Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем «robots.txt» (http://www.mydomain.com/robots.txt). Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.

Формат файла robots.txt — особый. Он состоит из записей. Каждая запись состоит из двух полей: строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы Disallow: (далее…)