"Один из способов, чтобы научиться делать что-то правильно - это сделать сначала неправильно."
-Джим Рон

Как создать robots и sitemap

Робот с блокнотом  В этой статье вы узнаете, как создавать robots.txt и sitemap.xml (карту сайта). Вот только прежде, чем начать что-то создавать, нужно в первую очередь понять, что же это такое и для чего оно вообще нужно? И хотя некоторые сеошники утверждают, что в последние годы файл robots.txt в принципе и не нужен, потому что поисковые роботы прекрасно обходятся и без него. Я же предпочитаю, ограничивать ранжирование моих файлов. Боту всё равно, что индексировать, а вот мне нет.

В общем, решайте сами создавать его вам или нет. В любом случае моя статья вам пригодится, даже в плане обучения и саморазвития. Потому что такие вещи вы должны знать. 

Так что поехали разбираться сначала с robots, потом с  картой сайта…

Что такое robots txt

  Итак, robots.txt — это txt файл, а не то техническое создание, которое многие привыкли ассоциировать с этим словом. Размер файла должен быть не более: для Google-500кб, для Яндекс-32кб. В случае превышения этих размеров поисковые роботы будут просто игнорировать его. Создаётся он в текстовом редакторе, например Notepad++. Я предполагаю, что вы уже знакомы с этим редактором, раз уж дошли до этого этапа. Нет, можно конечно и в любом текстовом, но Notepad++  намного удобнее. Затем после создания этот файл сохраняется в корне сайта. И находиться он будет по пути:

https://ваш домен/robots.txt

  Далее поисковые роботы, проводя индексацию сайта первым делом будут искать его и проверять. А там у нас указаны правила для них, куда им можно сунуть свой нос, а куда нельзя. Проще говоря, в этом документе указано какой файл можно или нельзя показывать обозревателям.

  Да-да, не всё нужно открывать для роботов поисковиков, иначе они проиндексируют ваши данные и выставят в поисковую систему, тем самым раскрыв для всех как вашу личную информацию, так и информацию ваших подписчиков. Вот поэтому нужно правильно составлять файл robots. 

Что запрещать индексировать поисковым роботам:

Вот чтобы не случилось непоправимого нужно запретить им посещать некоторые разделы и директории сайта. А именно:

  • Административную консоль сайта
  • Страницы с личной информацией вашей и пользователей
  • Страницы с формами отправки
  • Некоторый контент (изображения, записи или статьи, которые вы не хотите обнародовать)
  • Результаты поиска по сайту
  • Корзины (для интернет-магазинов)

 Далее наблюдая за развитием и работой вашего проекта вы уже сами сможете вносить изменения в этот файл. Например, что-то открыть или закрыть для индексации.

И теперь можно переходить непосредственно к созданию robots.

Как создать robots txt

  Мы не станем зарываться в глубокие технические дебри, оставим это для технарей-сеошников, а разберёмся с теми основами, что необходимо знать для создания файла robots.txt и которых вам будет вполне достаточно для работы. Естественно, если у вас возникнет желание изучить эту тему более глубоко и подробно, то дерзайте, это даже полезно. Но наша статья посвящена другой теме, поэтому не станем отвлекаться.

Важные аспекты!

  • Файл должен быть в текстовом формате
  • Должен располагаться непосредственно в корне сайта
  • Должен называться только robots.txt, латинскими буквами нижнего регистра
  • Должен иметь кодировку UTF-8
  • В каждой строке должно быть только одно правило

И дальше- это уже дело техники. В Notead++ создаём новый документ, обзываем robots.txt, сохраняем. Теперь вносим в него нужные правила. Чтобы вас не путать, я подготовила готовый шаблон, который можно скопировать и вставить в свой файл. Не забудьте только вставить своё доменное имя вместо надписи «ваш домен«. Закидываем его в корень сайта. Через какое-то время заявятся поисковые роботы и начнут копаться в ваших файлах. Вот только процесс этот длительный они могут прийти через пару недель или даже месяцев. В общем копируйте и вставляйте.

Шаблон файла robots.txt

User-agent: *  
Allow: /wp-admin/admin-ajax.php 
Disallow: /wp-admin/ 
Disallow: /cgi-bin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /*/trackback/
Disallow: /*/*/trackback/
Disallow: /*/*/feed/*/
Disallow: /*/feed/
Disallow: /xmlrpc.php
Disallow: /author/
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /category/
Disallow: /page/

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /*/trackback/
Disallow: /*/*/trackback/
Disallow: /*/*/feed/*/
Disallow: /*/feed/
Disallow: /*?*
Disallow: /xmlrpc.php
Disallow: /author/
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /category/
Disallow: /page/

User-agent: Googlebot
Allow: /
Disallow: /wp-admin/

Sitemap: https://ваш домен/sitemap.xml

Строку Allow: /wp-admin/admin-ajax.php удалять или запрещать не стоит, так как её задействуют некоторые плагины при загрузке скриптов и кодов. В отсутствии к ней доступа может отказать работа этих плагинов. Это вам так на всякий случай предупреждение, если вдруг вас смутит расположение этой директивы в админке. Для гуглбота разрешено почти всё, кроме админки. Стоит закрыть ему доступ он начинает выносить мозг сообщениями об ошибках, особенно если работаете с рекламой Google Adsense.

  Вы, наверное, уже заметили, что в файле роботс используются:

две директивы: Disallow (запретить) и Allow (разрешить)

три директивы о поисковых ботах: от Яндекс (Yandex) , от Гугл (Google of) и все остальные в совокупности (*) , отмеченные директивами: User-Agent

строка, указывающая путь к карте сайта (Sitemap) .

Так что разобраться в нём достаточно просто.

  Проверить правильность этого файла можно в Яндекс Вебмастер. Если вы ещё там не зарегистрированы, то регистрируйтесь, это нужно в любом случае. И также можно проверить в Google Search Console, тоже нужна авторизация. Достаточно скопировать содержимое файла robots.txt, вставить в окно сервиса и нажать кнопку. Вам будет выдана правильность или неправильность написания файла и указаны строки с ошибками, если таковые имеются.

Как создать robots txt с помощью плагина

  Многие создают файл через плагин. В этом случае текстовый файл не нужен, чтобы они между собой не конфликтовали его стоить удалить из корня сайта, если он уже там имеется. Ставим плагин All in One Seo (после обновления AIOSEO) и с его помощью создаём robots. Рекомендую этот плагин установить в любом случае, не зависимо от того как вы будете создавать роботс, потому что в дальнейшем он нам всё равно понадобится. Как устанавливать и активировать плагины я надеюсь вы помните, тем более, что он не первый, который мы с вами ставим. Ну, а если кто вдруг запамятовал, то смотрите здесь. После установки переходим во вкладку слева в меню «All in One Seo»—>»Инструменты» и настраиваем.

 Сначала активируем robots.txt, потом прописываем имя бота (user-agent). Выбираем разрешить или запретить (Allow или Disallow). И наконец прописываем правила. В общем у нас получается по такому вот порядку: имя бота -правило -путь к каталогу, к которому это правило применять.

Как создать robots.txt с помощью плагина

 Если честно, то как по мне, так лучше создавать этот файл вручную. Это надёжнее и точнее, да к тому же и возни меньше. К тому же плагины постоянно обновляются и не факт, что обновление установится корректно, а это может нечаянно нарушить какую-нибудь функцию в его работе, что может плохо отразится на robots, а он должен быть постоянным. Так что думайте сами, как вам удобнее. 

Вот в принципе и всё, что вам пока нужно знать о файле robots.txt. И теперь давайте разберёмся с Sitemap.xml

Что такое Sitemap xml

Ну так вот, Sitemap — это карта вашего сайта, своеобразный путеводитель, созданный для поисковых роботов. Она сообщает поисковым роботам по каким ссылкам можно найти важные страницы сайта, чтобы они их проиндексировали. По техническим параметрам — это файл в формате xml, содержащий перечень ссылок всех страниц вашего сайта. И выглядит он вот так:

Карта сайта

В таком файле может содержаться не более 50000 ссылок. Поэтому, если ваш сайт достаточно большой вам придётся разбить карту на несколько файлов. 

Как создать Sitemap xml

  Файл Sitemap.xml можно создать и вручную, и автоматически. И вот в этом случае гораздо удобнее его сделать с помощью плагина. Почему? Да потому что в сайте может быть огромное количество страниц и вручную всё это писать замучаешься. И к тому же в отличие от роботс файла с картой сайта плагины справляются намного корректнее.

 Для создания карты сайта будем пользоваться плагином XML Sitemap. В All in One Seo тоже есть такая функция, но после обновления этого плагина до AIOSEO сервисы вебмастер некоторых поисковых систем выдают сообщения об ошибках в этом файле и это не хорошо. А вот с XML Sitemap работают без ошибок.  Итак, устанавливаем и активируем этот плагин.

Плагин XML Sitemap для создания карты сайта

Но для работы нужно его немного поднастроить. Заходим «Настройки»—>»XML-Sitemap» , попадаем в настройки.

Настройка XML-SitemapВыставляем нужные галочки, как на скриншотах, остальные оставляем как есть.

Базовые параметры XML Sitemap

 

Настройки в плагине XML Sitemap

Не забываем обновить параметры и пожалуйста карта сайта сгенерирована. Можете посмотреть её:

Ссылка на карту сайта

Ну вот, теперь вы знаете, как создать robots.txt и sitemap.xml. Работайте своим сайтом и всё у вас получится. Понимаю, что это не просто, но по другому не бывает.

Добавить комментарий

mybabki.ru