Posts Tagged ‘User Agent’

Мануал по robots.txt

Вторник, Январь 27th, 2015 Нет комментариев

Under : , , , ,

Поисковые сервера всегда перед индексацией вашего ресурса ищут в
корневом каталоге вашего домена файл с именем «robots.txt»
(http://www.mydomain.com/robots.txt). Этот файл сообщает роботам
(паукам-индексаторам), какие файлы они могут индексировать, а какие
нет. (далее…)

Robots.txt

Понедельник, Апрель 16th, 2012 Нет комментариев

Under : , , , , ,

Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем «robots.txt» (http://www.mydomain.com/robots.txt). Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.

Формат файла robots.txt — особый. Он состоит из записей. Каждая запись состоит из двух полей: строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы Disallow: (далее…)

Защита сайта от скачивания

Воскресенье, Апрель 15th, 2012 Нет комментариев

Under : , , , , ,

Бывают такие случаи, когда владелец сайта не желает, или не может, отдавать свой сайт целиком своим посетителями.
Как это сделать?

Приведем простой пример:

У вас есть сайт, на котором, вы публикуете обои для рабочего стола. Общий объем сайта — 500Mb, посещаемость 7 000 хостов в сутки, примерный трафик — 300Гб в месяц или 10 Гб в день.
Добавим к этим посетителям еще 20 человек, скачавших ваш сайт целиком. Получаем увеличение трафика на 10Гб или в два раза. Или другими словами 0.28% посетителей создали 50% трафика. Не совсем честно, особенно если вы оплачиваете трафик. (далее…)

Как защитить сайт от тотального скачивания

Понедельник, Апрель 9th, 2012 Нет комментариев

Under : , , , ,

Бывают такие случаи, когда владелец сайта не желает, или не может, отдавать свой сайт целиком своим посетителями. Приведем простой пример:

У вас есть сайт, на котором, вы публикуете обои для рабочего стола. Общий объем сайта — 500Mb, посещаемость 7 000 хостов в сутки, примерный трафик — 300Гб в месяц или 10 Гб в день.

Добавим к этим посетителям еще 20 человек, скачавших ваш сайт целиком. Получаем увеличение трафика на 10Гб или в два раза. Или другими словами 0.28% посетителей создали 50% трафика. Не совсем честно, особенно если вы оплачиваете трафик. (далее…)