Создание сайта от А до Я. Книга 4

– Host: http://penobeton.ru

– Sitemap: http://penobeton.ru/sitemap_index.xml

Сохраняем файл и переносим его в корневую папку нашего сайта.

Для этого заходим на наш хостинг (Beget), раскрываем наш аккаунт, выбираем файловый менеджер.

Откроется корневая папка

Жмём Загрузить файлы. На компьютере находим наш файл robots. txt

Жмём Загрузить. Когда загорится зелёный индикатор, значит загрузка прошла успешно.

Жмём Закрыть

Видим, что файл появился в корневой папке.

Закрываем файловый менеджер.

Чтобы быстро посмотреть содержимое файла robots. txt наберите в адресной строке браузера

адрес вашего сайта/robots. txt

Чтобы просмотреть какие страницы и записи вашего сайта проиндексированы Яндексом, в поисковой строке Яндекса наберите url: адрес сайта/*

Если вы установили плагин Yoast SEO, то отредактировать файл robots. txt можно зайдя в «Консоль/ SEO/Инструменты/Редактор файлов».

Тонкие настройки robots. txt

Ввиду особой важности этого файла можете провести более тонкие настройки файла robots. txt, изложенные на сайте:https://seogio.ru/robots-txt-dlya-wordpress/ (https://seogio.ru/robots-txt-dlya-wordpress/)

Автор: bisteinoff Окт 19, 2018 Google, SEO, Яндекс

Один из лучших robots. txt на данный момент, это robots. txt, предложенный в блоге http://wp-kama.ru/id_803/pishem-pravilnyiy-robotstxt-dlya-wordpress.html (http://wp-kama.ru/id_803/pishem-pravilnyiy-robotstxt-dlya-wordpress.html).

Ошибочные рекомендации других блогеров для Robots. txt на WordPress

– Использовать правила только для User-agent: *

Для многих поисковых систем не требуется индексация JS и CSS для улучшения ранжирования, кроме того, для менее значимых роботов вы можете настроить большее значение Crawl-Delay и снизить за их счет нагрузку на ваш сайт.

– Прописывание Sitemap после каждого User-agent

Это делать не нужно. Один sitemap должен быть указан один раз в любом месте файла robots. txt

– Закрыть папки wp-content, wp-includes, cache, plugins, themes

Это устаревшие требования. Для Яндекса и Google лучше будет их вообще не закрывать. Или закрывать «по-умному», как это описано выше.

– Закрывать страницы тегов и категорий

Если ваш сайт действительно имеет такую структуру, что на этих страницах контент дублируется и в них нет особой ценности, то лучше закрыть. Однако нередко продвижение ресурса осуществляется в том числе за счет страниц категорий и тегирования. В этом случае можно потерять часть трафика

– Закрывать от индексации страницы пагинации /page/

Это делать не нужно. Для таких страниц настраивается тег rel = «canonical», таким образом, такие страницы тоже посещаются роботом и на них учитываются расположенные товары/статьи, а также учитывается внутренняя ссылочная масса.

– Прописать Crawl-Delay

Модное правило. Однако его нужно указывать только тогда, когда действительно есть необходимость ограничить посещение роботами вашего сайта. Если сайт небольшой и посещения не создают значительной нагрузки на сервер, то ограничивать время «чтобы было» будет не самой разумной затеей.

– Ляпы

Некоторые правила можно отнести только к категории «блогер не подумал». Например: Disallow: /20 – по такому правилу не только закроете все архивы, но и заодно все статьи о 20 способах или 200 советах, как сделать мир лучше

Александр Борисов в своих интенсивах https://isif-life.com/school/free-kurs (https://isif-life.com/school/free-kurs) рекомендует более короткий файл robots. txt

User-agent: *

Disallow: /wp-

Disallow: /tag/

Disallow: */feed

Disallow: */trackback

Disallow: */page

Disallow: /author/*

Disallow: /201*

Disallow: /template.html

Disallow: /readme.html

Disallow: *?replytocom

Disallow: *?*

Allow: */uploads

Allow: *.js

Allow: *.css

Allow: *.png