Запрет индексации разных типов файлов robots.txt

Недавно в интернете, на одном англоязычном форуме, нашел список команд для блокировки индексации файлов по расширению и различных адресов на сайте через файл robots.txt. Решил что может кому-то пригодиться в трех случаях.

  1. При нежелании показывать взломщикам сайтов которые вы сами программировали.
  2. В целях запрета индексации каноничных страниц, страниц которые похожи и не учитываются поисковыми системами но они могут понизить сайт в поисковой выдаче. Хотя об этом могут судить только разработчики поисковых систем и аналитические системы, если этим займутся.
  3. При разработке закрытого сайта желательно тоже указать запрет на индексацию, но можно сделать полный запрет на индексацию сайта.
 Полный запрет сайта на индексацию через robots.txt выполняется вот так:
Запрет индексации php файлов:
Купить хостинг WordPress

Читайте также:

комментария 2

  1. Настя:

    Здравствуйте, подскажите пожалуйста, что значит строка 88 Disallow: /*? — запрет чего? страниц без расширения?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Шаблоны для WordPress
Самый лучший хостинг в Украине
Стабильный хостинг для Drupal