Запрет индексации разных типов файлов robots.txt

Недавно в интернете, на одном англоязычном форуме, нашел список команд для блокировки индексации файлов по расширению и различных адресов на сайте через файл robots.txt. Решил что может кому-то пригодиться в трех случаях.

  1. При нежелании показывать взломщикам сайтов которые вы сами программировали.
  2. В целях запрета индексации каноничных страниц, страниц которые похожи и не учитываются поисковыми системами но они могут понизить сайт в поисковой выдаче. Хотя об этом могут судить только разработчики поисковых систем и аналитические системы, если этим займутся.
  3. При разработке закрытого сайта желательно тоже указать запрет на индексацию, но можно сделать полный запрет на индексацию сайта.
 Полный запрет сайта на индексацию через robots.txt выполняется вот так:
Запрет индексации php файлов:
Курс - продажа плагинов и скриптов на сайте codecanyon

Читайте также:

комментария 2

  1. Настя:

    Здравствуйте, подскажите пожалуйста, что значит строка 88 Disallow: /*? — запрет чего? страниц без расширения?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

Шаблоны для WordPress
Самый лучший хостинг в Украине
Стабильный хостинг для Drupal

Чтобы продолжить работать с сайтом, вам необходимо разрешить использование cookies. Больше информации

Cookie на этом веб-сайте включены, чтобы дать вам больше возможностей на сайте. Если вы продолжаете использовать этот сайт без изменения настроек cookie или нажмите «Принять» ниже, вы соглашаетесь с этим.

Закрыть