Задавайте вопросы по курсам WordPress

Запрет индексации разных типов файлов robots.txt

Недавно в интернете, на одном англоязычном форуме, нашел список команд для блокировки индексации файлов по расширению и различных адресов на сайте через файл robots.txt. Решил что может кому-то пригодиться в трех случаях.

  1. При нежелании показывать взломщикам сайтов которые вы сами программировали.
  2. В целях запрета индексации каноничных страниц, страниц которые похожи и не учитываются поисковыми системами но они могут понизить сайт в поисковой выдаче. Хотя об этом могут судить только разработчики поисковых систем и аналитические системы, если этим займутся.
  3. При разработке закрытого сайта желательно тоже указать запрет на индексацию, но можно сделать полный запрет на индексацию сайта.
 Полный запрет сайта на индексацию через robots.txt выполняется вот так:
Запрет индексации php файлов:

Купить хостинг WordPress
Николаенко Максим

Николаенко Максим

Директор веб-студии ProGrafika. Занимаюсь разработкой, дизайном и продвижением веб-сайтов. Всегда рад новым читателям блога и хорошим клиентам.


Читайте также:

комментария 2

  1. Аватар Настя:

    Здравствуйте, подскажите пожалуйста, что значит строка 88 Disallow: /*? — запрет чего? страниц без расширения?

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Шаблоны для WordPress
Самый лучший хостинг в Украине
Стабильный хостинг для Drupal