Что такое robots.txt?
robots.txt представляет собой текстовый файл, который может быть использован для ограничения веб-роботов для доступа к вашей веб-сайте только на пути, который вам утверждаю.
Этот файл robots.txt блоки Google в Imagebot из всего веб-сайта:
User-Agent: Googlebot-Image Disallow: /
Для получения дополнительной информации о robots.txt, прочитайте стандарт исключений для роботов.
Проверить синтаксис robots.txt вашего
Несколько веб-инструменты, которые можно будет извлечь файл robots.txt со своего веб-сайта, и проверить его на синтаксические ошибки.
Бад-роботы
Некоторые веб-роботы будут использовать значительные объемы трафика и системных ресурсов, в то время возвращаются практически никакой практической пользы для владельца веб-сайта.
Для Вашего удобства, мы обновляем список некоторых из этих плохих роботов robots.txt в формате.
 |
Закладка Что такое robots.txt?
Последние сообщения блога
- SourceForge против Freshmeat
