Sitemap - это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию .

Примечание. Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска.

1. Требования к файлу
2. Вопросы и ответы

В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью Ссылка, которая связывает страницы одного сайта. Страницы могут\n находиться в разных каталогах одного домена или на поддоменах.

"}}">внутренних и Ссылка, которая расположена на другом сайте."}}">внешних ссылок - переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap , если на сайте:

большое количество страниц;

отдельные страницы без навигационных ссылок;

глубокая вложенность.

Поддерживаемые Яндексом форматы

Ограничение. Поиск Яндекса не поддерживает передачу RSS и Atom-фидов с помощью файла Sitemap .

Требования к файлу

Максимальный размер файла в несжатом виде - 50 МБ.

Разместите файл на том же домене, что и сайт, для которого он составлен.

При обращении к файлу сервер должен возвращать HTTP-код 200.

Как создать файл и сообщить о нем Яндексу

При необходимости вы можете удалить информацию о Sitemap .

Вопросы и ответы

Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»

Отображение файла Sitemap (как и других XML-файлов) как исключенных страниц имеет только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу, в то время как файлы формата XML не индексируются в поисковой системе Яндекса и в результатах поиска не участвуют.

При обработке Sitemap возникла ошибка «Неизвестный тег»

Файл Sitemap может содержать только определенные XML-элементы . Если Вебмастер обнаружит в файле другие элементы (например, указание на мобильную или мультиязычную версию, адреса картинок), в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.

Файл Sitemap находится в статусе «Не проиндексирован»

Файл Sitemap может быть не проиндексирован по нескольким причинам:

Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap .

Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.

Карту сайта можно сравнить с оглавлением в книге, содержащим перечень всех важнейших разделов. На сайте это такой каталог, где указаны ссылки на главные разделы и страницы веб-ресурса. В целом же в сайтмап находится следующая информация:

• список URL-адресов страниц сайта в иерархическом порядке;
• формат появившегося на сайте контента: текст, видео, картинки;
• сведения о видео и изображениях, необходимые роботам для их внесения в базу данных и формирования поисковой выдачи;
• информация о приоритетности страницы;
• данные о внесении последних изменений документов и регулярности их обновлений;
• сведения про другие версии веб-страницы.

Sitemap помогает посетителям и особенно роботам поисковиков быстро определять расположение всех самых необходимых для индексации страниц, а также их важность по отношению к другим документам, частоту и время последнего изменения, при этом делать как можно меньше «лишних» переходов. Sitemap помогает системе индексировать ресурс более эффективно.

Да, на мелких сайтах к любому документу можно перейти всего в пару кликов, но вот крупные содержат по несколько тысяч страниц и структура их куда сложнее. Без Sitemap на таких ресурсах будет сложно и посетителям, и поисковым ботам.

Исходя из вышеописанного можно выделить три основных ситуации, в ходе которых возникают проблемы с индексацией ресурса и нужен сайтмап:

1. огромное число страниц;
2. сложная структура ресурса;
3. отсутствие внешних либо внутренних бэклинков на важные для индексации страницы.

Виды карт

Любой поисковик вносит страницы сайта в индекс постепенно, начиная с главной страницы и заканчивая документами с глубокой вложенностью это зависит какой имеет сайт.

TXT

Еще один метод оформления карты сайта – файл Sitemap в txt (текстовом формате). Здесь содержится перечень всех важных для индексации ссылок. А вообще данный вариант актуален для вебмастеров, которые не желают особо заморачиваться.

Да, в TXT карте можно тоже разместить 50 тысяч ссылок, но в ней нет возможности указывать дату последнего изменения и относительную приоритетность документов.

Пример

1. http://site.com/; 2. http://site.com/page1/; 3. http://site.com/page2.

Требования Яндекса и Google к картам

Я выделил 6 общих требований, которые два популярнейших поисковика выдвигают к файлу Sitemap:

1. Необходимо применять UTF-8 кодировку.
2. Лимит по количеству URL-адресов – до 50 тысяч ссылок.
3. Если размер файла превышает 10 МБ, поделите его на несколько карт и пропишите их все в файле индекса Sitemap.
4. В процессе обращения к сайтмапу сервер должен отправлять ответ 200 OK.
5. Вносите исключительно канонические УРЛы документов: не должно быть никаких идентификаторов сессий или GET-параметров.
6. Ссылки в файле должны вести на тот же домен, где располагается сама карта сайта. Казалось бы, это элементарное требование. Но на деле многие вебмастера, имеющие несколько веб-ресурсов, перенося шаблон с файлом Sitemap забывали поменять уже имеющиеся ссылки на актуальные.

Есть у поисковых систем и свои, уникальные требования.

Яндекс:

• максимально допустимый размер – 10 МБ;
• допускается применять URL-адреса с кириллическими символами.

• максимально допустимый размер файла – 50 МБ;
• работает только с латинскими символами и цифрами (кириллические домены можно перекодировать в латинские посредством Punycode).

Важно! Для уменьшения требований к пропускной способности канала применяется архиватор gzip. 10 и 50 МБ – это размеры файлов Sitemap до сжатия архиваторов, а не после.

Влияет ли карта сайта на продвижение?

Отмечу, что без сайтмапа поисковики не понизят ваш ресурс в выдаче. Поисковые системы не глупые и даже если у вас на сайте нет Sitemap, они все равно его.

Сейчас поисковые машины даже без карты сайта сканируют страницы и включают их в выдачу довольно хорошо. Да и в теории они самостоятельно должны этим заниматься, безо всякой помощи со стороны вебмастеров.

Но нередко возникают проблемы, когда роботы дают сбой и не могут просканировать все страницы. Зачастую это случается из-за:

• глубокой вложенности некоторых разделов, для перехода на которые необходимо перейти по множеству ссылок;
• динамических УРЛов.

Поэтому в интересах вебмастеров помогать поисковым системам.

Наличие карты сайта позволяет избежать данных ситуаций. Sitemap в определенной степени положительно влияет на SEO продвижение веб-ресурса, потому что делает для роботов процесс обхода и включения в поиск страниц быстрее и легче.

Еще с данным файлом у вашего ресурса уменьшается риск превратиться из первоисточника в копипаст вследствие того, что страницы попадут в индекс раньше, чем конкурентам удастся украсть контент с него и разместить у себя.

Важно! Добавляйте в Sitemap основные страницы, играющие ключевую роль в оптимизации сайта, чтобы они попали в выдачу в первую очередь. Не прописывайте в файле страницы со служебной информацией, динамическими URL, тегами и запрещенные к индексации.

Можно ли без Sitemap?

Ответ очевидный – да. Поисковики воспринимают sitemap.xml лишь в качестве рекомендации для роботов. На практике у веб-ресурсов, где нет карты сайта, Яндекс отмечает наличие возможных, а не критичных либо фатальных проблем.

Как было написано выше, поисковые роботы способны самостоятельно и эффективно индексировать ресурсы, но крупным сайтам и тем, где есть динамические УРЛы, лучше сделать Sitemap, к тому же это не займет много времени, а в дальнейшем может прилично сэкономить ваши нервы.

Как создать карту сайта?

К данному процессу нужно подойти ответственно, потому что здесь необходимо указать основные страницы, которые вы хотите видеть в поисковой выдаче.

HTML

Сайтмап в формате HTML – это прежде всего навигация по разделам сайта для пользователей. Если веб-ресурс имеет лишь несколько сотен страниц, у него простая структура и понятное меню, подключать HTML-карту необязательно.

Но когда сайт масштабный и структура довольно сложная, есть смысл создать страницу с перечнем ссылок на основные страницы.

Учитывайте нишу, к которой относится ваш ресурс и соответственно его целевую аудиторию. Если у вас посетители преимущественно пожилого возраста, карта сайта поможет им сориентироваться в сайте, так как в главном меню разобраться сложнее.

Есть множество способов, как создать Sitemap в формате HTML на движке . Лучше всего сделать это посредством плагина Hierarchical HTML Sitemap и ему подобных. Скачиваете плагин для своей , устанавливаете, а дальше активируете надстройку для установки файла. После – размещаете выданный плагином шорткод на страницу, где хотите подключить сайтмап.

Карта сайта будет доступна по адресу:

http://site.com/sitemap.html

Для других движков есть такие решения:

• Drupal – плагин Sitemap .
• Joomla! – плагин OSMap .

Тем кто пользуется OpenCart не нужно беспокоиться о создании HTML карты сайта, потому что она появляется там автоматически.

XML

Если решили создать XML карту сайта, определитесь, каким способом будете это делать:

1. Cгенерировать сайтмап при помощи движка управления ресурсом , если у него есть соответствующая встроенная функция, используя различные плагины и модули.
2. Скачать ПО-генератор. Большинство из этих программ платные, но благодаря ним вы можете с легкостью создавать XML файл как для одного, так и для нескольких ресурсов. Вот самые популярные: WonderWebWare SiteMap Generator и SiteMap XML Dynamic SiteMap Generator .
3. Скачать файл Sitemap онлайн генератором. Выбор специальных сервисов сегодня очень велик, у всех у них разные ограничения и возможности. К примеру, на сайте xml-sitemaps.com настраивается изобилие параметров карты, но разместить в ней можно максимум 500 ссылок.
4. Ручное подключение Sitemap.

С помощью генератора онлайн

Преимущество данного способа заключается в отсутствии привязки к какому-либо CMS. Онлайн генераторы позволяют создать карту сайта для веб-ресурсов на любых движках и даже на статичных HTML сайтах.

Минус же использования генераторов в том, что бесплатные сервисы сильно ограничены по количеству страниц и больше подходят, например, для сайтов-визиток, где есть несколько страниц и новые появляться уже не будут.

Если же ресурс регулярно пополняется новыми статьями, то бесплатные генераторы не подойдут. Они не обновляют Sitemap, поэтому там не будут появляться новые URL-адреса, из-за чего файл быстро станет неактуальным.

Самый популярный генератор:

Приведу пример, как создать XML карту с XML-Sitemaps.

Заходите на сайт сервиса и указываете адрес своего ресурса, кликаете на кнопку START.

Через несколько минут сайтмап в формате XML будет сгенерирован. Далее закачиваете файл на жесткий диск компьютера.

Затем нужно загрузить Sitemap в корневую папку сайта при помощи FTP-клиента, к примеру, WinSCP . Если не знаете где искать корневой каталог, введите в поиске index.html. Сюда загружаете файл.

Через программное обеспечение

Создать XML карту сайта данным способом не так уж сложно. Сейчас я покажу, как это сделать на примере программы для ПК Majento :

1. ресурс.
2. В верхней вкладке заходите в раздел «Сайты», затем кликаете «Генерировать Sitemap».
3. Сохраняете файл в.xml формате.
4. Все – карта на вашем сайте.

Посредством плагинов для CMS

Данный вариант куда удобнее, чем бесплатные генераторы онлайн. Плагины для движков управления сайтами более функциональные, позволяют изменять параметры карты сайта. А один из главных плюсов – наличие надстроек для автоматического обновления файла сразу после появления новых документов, а также уведомления о них поисковым системам.

Для сайтов на базе WordPress одним из лучших вариантов является модуль Google XML Sitemaps . Установите, а затем активируйте плагин. Далее зайдите в настройки.

В основных параметрах включите оповещения для Google, укажите адрес карты сайта в файле robots и активируйте функцию сжатия Sitemap.xml.

Перейдите в «Приоритет статьи» и отключите функцию автоматической приоритезации страниц. Потом вам нужно будет указать приоритеты публикаций самостоятельно. Загляните в раздел «Содержание Sitemap». Включите в карту сайте исключительно те типы документов, которые вы хотите проиндексировать.

Не забудьте поставить галочку напротив Include the last modification time. Так модуль покажет роботам в сайтмапе дату последнего обновления страницы, что поможет им рассчитать дату повторного обхода сайта.

Опция Change Frequencies позволяет выставить периодичность переиндексации определенных типов документов. Зачастую поисковики не следуют тегу changefreq, прописанному в файле Sitemap, потому что они самостоятельно определяют краулинговый бюджет ресурса и отталкиваются от него.

Однако плагин предоставляет возможность дополнительно настроить периодичность сканирования, но и это будет рекомендацией, а не командой.

Excluded Items позволяет удалить из sitemap.xml определенные документы либо категории.

Вкладка «Приоритеты» говорит сама за себя. Здесь указывается приоритетность страниц, значения для них выставляются от 0,1 до 1. Изначально у каждой страницы стоит значение 0,5. Выставьте наивысший приоритет самым важным для ранжирования страницам.

В конце обязательно сохраните изменения в настройках. Плагин продолжит функционировать в фоновом режиме и уже не будет необходимости в него заходить – карта сайта продолжит оставаться актуальной, так как все обновляется автоматически. Далее нужно лишь добавить файл в вебмастерские панели Яндекса и Google.

Для изображений

Поисковый гигант работает также с картами сайта, предназначенными для изображений. Благодаря ему роботы Google могут получать больше данных про изображения на сайте. Еще синтаксис помогает поисковику быстрее находить и индексировать картинки, которые ему не удалось отыскать в процессе сканирования ресурса.

Можно сделать синтаксис для картинок отдельно либо добавить его в уже созданный Sitemap. В сайтмапе для изображений, как и в стандартном, содержатся необязательные и обязательные теги XML.

К числу обязательных относятся:

• – УРЛ-адрес картинки;
• – тег, подобный , содержащий в себе адрес и другую информацию касательно изображения.

Необязательные теги следующие:

• – подпись для картинки;
• – название картинки;
• – место, где делалось фото;
• – УРЛ лицензии картинки.

Для видео

Google еще поддерживает карты сайта в формате XML, предназначенные специально для видео. Преимущества данного синтаксиса следующие:

• позволяет показать поисковикам подробное описание видеофайла;
• показывает ботам тип контента на ресурсе;
• в результатах выдачи может отображать заставку для видеоролика, что в потенциале повышает клики и переходы на сайт;
• контент можно будет найти в Google Видео .

XML карта для видео включает в себя обязательные теги:

• – содержит все данные о видеофайле;
• – в нем прописывается УРЛ страницы, где есть видео, а при наличии более одного видеофайла на странице в теге можно прописать несколько для каждой видеозаписи отдельно;
• – описание к видео, которое необходимо прописывать на основе страницы, а количество символов не должно превышать 2048;
• – адрес заставки (миниатюры) для видеофайла с допустимыми размерами от 160x90 до 1920x1080 пикселей и возможными форматами png, gif, jpg, or;
• – заголовок для видео, который нужно указать аналогично названию документа, где размещена видеозапись.

Описание и заголовок видеофайла необходимо либо экранировать, либо поместить в блок CDATA. Сгенерировать видео для sitemap.xml можно используя плагин WP Video SEO .

TXT

Необходимо создать текстовый файл в кодировке UTF-8. В нем прописывать исключительно УРЛы страниц, которые следует проиндексировать.

Где разместить карту сайта?

Файл Sitemap лучше всего размещать в корневой папке веб-ресурса. А ссылка на карту сайта размещается в . Выглядеть она должна примерно так:

Наглядно посмотреть можно в нашем примере robots.txt по ссылке

Как добавить в Яндекс Вебмастер

Сайтмап предоставляет возможность сообщить поисковой системе про актуальную структуру ресурса, поэтому его можно добавить в панель вебмастера Яндекса .

Здесь можно:

1. Загрузить карту сайта.
2. Оповестить о ее обновлении.
3. Исключить файл.

1. Выберите веб-ресурс из списка.
2. Укажите в соответствующем поле УРЛ-адрес расположения файла.
3. Кликните «Добавить».

Так вы отправите карту сайта на обработку. Поисковый бот загрузит файл не позже чем через 14 дней. Все добавляемые файлы поисковая машина обрабатывает по-отдельности. Когда файлы загрузятся, напротив каждого из них отобразится статус:

• ОК. Файл создан корректно и загружен в базу данных. Возле него будет показана дата последнего обновления. Документы, которые роботы уже проиндексировали, отобразятся в результатах выдачи не позже чем через 2 недели.
• Редирект. Адрес файла перенаправляет на другой УРЛ. В данном случае требуется удалить редирект и оповестить систему про обновление .
• Ошибка. Файл сделан некорректно. Перейдите по ссылке Ошибка , где будут описаны ее причины. Исправьте все, что требует поисковик и далее сообщите о внесении изменений.
• Не проиндексирован. Сервер отправляет HTTP-код, который отличается от 200 ОК. Зайдите в инструмент Проверка ответа сервера и вставьте полный URL расположения карты сайта, чтобы убедиться, есть ли у поискового бота доступ к ней. Если файл недоступен, свяжитесь с администратором сервера или ресурса, где он размещен.

Также убедитесь, что в robots.txt вы не применили к файлу директиву Disallow, запрещающую его индексацию.

Обновление

При внесении каких-либо изменений в карту сайта нет необходимости удалять ее, а потом опять загружать, так как боты часто проверяют сайтмап на обновления и наличие ошибок. Рекомендуется лишь кликнуть по значку ручного обновления, что позволит ботам быстрее обойти файл.

На заметку. Количество попыток ручного обновления ограничено, поэтому используйте его с умом.

1. Зайдите в панель вебмастера Google.
2. Найдите раздел «Сканирование», в нем перейдите в «Файлы Sitemap».
3. Кликните «Добавление/Проверка файла».
4. Введите адрес, по которому доступна карта сайта.
5. Кликните «Отправить».

Если вы хотите проверить Sitemap на ошибки, рядом с кнопкой «Отправить» находится «Тест» – нажмите для проверки. После проверки отобразится окно с сообщением о наличии или отсутствии ошибок.

В справке Google можно ознакомиться со списком всех возможных ошибок и вариантов их решения.

Удаление

Если у вас новый интерфейс Search Console, напишите в поддержку поисковой системы.

Но наиболее оптимальный вариант – переключиться на старую версию внизу страницы. А дальше все как и в Яндекс.Вебмастер: переходите к выбору сайта из списка и затем напротив Sitemap ставите галочку для удаления файла.

Заключение

Тщательно продумайте, какие страницы вашего веб-ресурса самые приоритетные по отношению к другим, и указывайте их в файле Sitemap. Это эффективный инструмент, грамотное применение которого поможет роботам поисковых систем быстрее обходить сайт и получать информацию о его структуре.

Здравствуйте, уважаемые читатели блога сайт. Решил обобщить в одной статье все, что я уже писал про карту сайта (Sitemap xml), которая в первую очередь нужна для указания поисковым системам тех страниц, которые им следует индексировать в первую очередь. Она является очень важным и фактически обязательным атрибутом любого web проекта, но многие этого либо не знают, либо не придают Site map большого значения.

Сразу давайте расставим все точки над «i» и попробуем отделить два понятия — карты сайта в формате xml и в формате Html (есть еще и географическая интерпретация этого слова, о которой я писал в статье « »). Второй вариант представляет из себя обычный список всех материалов web ресурса, который будет доступен любому желающему по нажатию на соответствующий пункт меню. Такой вариант тоже полезен и способствует ускорению и улучшению индексации вашего ресурса поисковыми системами.

Карта сайта sitemap в формате xml — а оно мне надо

Но основным инструментом, предназначенным для прямого указания поисковикам тех страниц ресурса, которые нужно будет обязательно проиндексировать, является файл под названием Sitemap.xml (это его наиболее частое название, но по идее его можно обозвать как угодно, не суть важно), который не будет виден посетителям вашего web проекта.

Он составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.

Есть два основных файла, которые должны иметься у любого web проекта — robots.txt и sitemap.xml . Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.

Вы, конечно же, можете не послушать меня (ибо я не есть авторитет, в силу относительно малого накопленного фактического материала), но думаю, что со специалистами, имеющими под рукой статистику с десятков тысяч проектов, вы огульно спорить не будете.

На этот случай у меня оказался припасен «рояль в кустах». Прямо перед написанием этой статьи попалась на глаза публикация специалистов из всем известной системы автоматического продвижения под необычным названием «Руки» (это аналог MegaIndex , о котором я писал ).

Понятно, что любая подобная им система заинтересована в том, чтобы проекты их клиентов успешно продвигались, но они могут только накачивать ресурсы клиентов ссылочной массой, а влиять на наполнение и правильную техническую настройку сайтов они, к сожалению, не могут.

Поэтому и было проведено очень интересное и показательное исследование, которое было призвано выявить 10 самых популярных причин, которые затрудняют продвижение проектов и ткнуть этими данным клиентам прямо в...

На первом месте, конечно же, был «не уникальный контент» (либо вы скопистили, либо у вас , что сути не меняет). Но на втором месте была как раз именно карта сайта в формате xml, а точнее ее отсутствие или несоответствие признанному формату создания. Ну, а на третьем месте был уже упомянутый ранее файл robots.txt (его отсутствие или неправильное создание):

Когда голословно утверждаешь, что карта должна быть у вашего проекта обязательно (иначе кирдык), то это не звучит так убедительно, как в случае подкрепления данного утверждения реальными фактами из довольно-таки репрезентативного исследования.

Ладно, будем считать, что я вас убедил и давайте посмотрим, как можно самим создать сайтмап (синтаксис формата), как сделать ее для Joomla и WordPress, а так же посмотрим, как можно будет создать ее с помощью специальных онлайн генераторов (generator).

Но просто создать sitemap еще не достаточно для того, чтобы быть уверенным в правильной индексации вашего проекта поисковиками. Нужно еще будет сделать так, чтобы об этой самой карте сайта узнали поисковые системы (в нашем случае это Google и Яндекс). Сделать это можно будет двумя способами, но об этом мы поговорим чуть позже (должна же быть хоть какая-то интрига, удерживающая внимание читателей).

Зачем вообще нужен сайт мап и файл robots.txt

Давайте для начала попробуем обосновать логическую необходимость использования как файла robots.txt, запрещающего индексацию определенных элементов вашего web проекта, так и файла сайт мап, предписывающего индексацию определенных страниц. Для этого вернемся на пяток-десяток лет назад, когда большинство ресурсов в интернете представляли из себя просто набор Html файликов, в которых и содержались тексты всех статей.

Поисковый робот Гугла или Яндекса просто заходил на такой Html проект и начинал индексировать все, что ему попадется под руку, ибо практически везде содержался контент проекта. А что же происходит сейчас, в условиях повального использования CMS (систем управления контентом)? Собственно, даже сразу после установки движка поисковый робот уже обнаружит у вас несколько тысяч файлов и это при том, что никакого контента у вас еще может и не быть (ну, не написали вы еще ни одной статьи).

Да и вообще, контент в современных CMS, как правило, хранится не в файлах, а в базе данных, которую поисковый робот напрямую проиндексировать, естественно, не сможет (для работы с базами советую бесплатно ).

Понятно, что потыркавшись туда сюда, поисковые роботы Яндекса и Google все же найдут ваш контент и проиндексируют его, но вот насколько быстро это произойдет и насколько полной будет индексация вашего проекта — очень большой вопрос.

Вот именно для упрощения и ускорения индексации проектов поисковиками в условиях повального использования CMS и следует в обязательном порядке создавать robots.txt и sitemap.xml. C помощью первого файла вы подсказываете роботам поисковиков на индексацию каких файлов не стоит тратить время (объекты движка, например), а так же с помощью него можно закрыть от индексации и часть страниц для устранения эффекта дублирования контента, который присущ многим CMS (читайте об этом подробнее в статье про ).

А с помощью файла сайтмап вы четко и ясно говорите роботам Яндекса и Гугла, что именно на вашем проекте содержит контент, чтобы они не тыркались понапрасну по углам файлового хозяйства используемого движка. Не забывайте, что у ботов есть определенные лимиты на время и количество просмотренных документов. Он побродит у вас по файлам движка и уйдет, а контент останется не проиндексированным еще долгое время. О как.

Помните как в известной комедии говорил один колоритный персонаж: «Ты туда не ходи, ты сюда ходи, а то...». Вот именно функцию этого персонажа и выполняют robots.txt и сайт мап с расширением xml для регулирования перемещений поисковых ботов по закоулкам вашего web проекта. Понятно, что боты могут и взбрыктуть, но скорее всего они послушно будут выполнять ваши грамотно написанные запрещающие и предписывающие (в карте сайта) инструкции.

Понятно? Тогда приступаем непосредственно к решению вопроса, как создать sitemap.xml различным способами и как сообщить о его существовании двум китам поиска в рунете — Google и Яндексу, чтобы они не шарились по вашему проекту почем зря, создавая при этом еще и дополнительную нагрузку на сервер вашего хостинга, но это, правда, уже сильно второстепенная вещь, главное — это именно индексация (быстрая и всеобъемлющая).

В отличии от robots.txt, который вам писать придется скорее всего собственноручно, файл карты сайта в формте xml, как правило, стараются создать каким-либо автоматическим способом. Оно и понятно, ибо при большом количестве страниц на часто обновляемом проекте ручное его создание может привести к повреждению ума у вебмастера.

Да это вовсе и не обязательно, т.к. практически для каждой CMS найдется расширение, которое позволит создать, а при появлении новых материалов и пересоздать файл сайтмап. Ну, или можно будет всегда воспользоваться каким-либо онлайн генератором (generator) карты сайта в виде готового решения.

Но все же, мне кажется, будет не лишним ознакомиться с нехитрым (да что там говорить — простейшим) синтаксисом создания sitemap. К тому же на маленьких и редко обновляемых проектах можно набросать его и вручную.

Как создать Sitemap.xml самому в Joomla и Вордпрессе

Обычно директиву «Sitemap» прописывают в самом конце. Поисковые роботы при очередном заходе на ваш web проект обязательно просмотрят содержимое robots.txt и загрузят для изучения вашу карту. Однако, таким образом могут узнать о ее существования всякие редиски, которым сайт мап поможет тырить у вас контент.

Но существует еще один способ уже напрямую передать информацию о местоположении карты сайта поисковикам без посредничества robots.txt. Делается это через интерфейс Яндекс Вебмастера и панели инструментов Google, хотя можно использовать. Вы уже знакомы с этими инструментами поисковых систем?

Если нет, то обязательно добавьте свой проект и в , и в , а затем укажите в соответствующих вкладках путь до вашей карты сайта в формате Xml.

Так выглядит форма добавления сайтмапа для Яндекс Вебмастера:

А так выглядит аналогичная форма для прописывания пути в панели инструментов Google:

Онлайн генераторы Sitemap Generator и XML Sitemaps

Если вам не охота искать расширения для своей CMS, позволяющие автоматически создать сайт мап, то можете воспользоваться в этом случае онлайн генераторами. Тут, правда, есть один недостаток по сравнению с автоматическим созданием карты в самой CMS — после добавления новых материалов вам придется снова идти на онлайн сервис и повторно создавать этот файл, а затем загружать его к себе на сервер.

Наверное, один из самых известных онлайн генераторов карты сайта — это Sitemap Generator. Он обладает достаточно большим функционалом и позволит вам бесплатно генерировать сайтмап на 1500 страниц, что достаточно много.

Sitemap Generator будет учитывать содержимое вашего файла robots.txt, чтобы в карту не попали запрещенные к индексации страницы. Само по себе это не страшно, ибо запрет в роботсе по любому будет иметь больший приоритет, но зато избавит вас от лишней информации в создаваемом файле Site map. Для того, чтобы сделать карту, вам достаточно указать URL главной страницы и сообщить свой E-mail, после чего вас поставят в очередь на генерацию:

Когда до вас дойдет очередь, вы получите об этом почтовое уведомление и перейдя по ссылке из письма сможете скачать файл, который сделал для вас Sitemap Generator. Останется только закинуть его в нужное место на своем сервере. Ну, и такую процедуру вам придется повторять время от времени для того, чтобы поддерживать актуальность вашей карты сайта.

Есть похожий англоязычный сервис онлайн генератора, который вы можете найти по этой ссылке — XML Sitemaps . На нем существует ограничение в 500 страниц, а в остальном все практически тоже самое, что и в описанном выше.

Удачи вам! До скорых встреч на страницах блога сайт

Вам может быть интересно

Что такое URL адреса, чем отличаются абсолютные и относительные ссылки для сайта
Что такое Chmod, какие права доступа назначать файлам и папкам (777, 755, 666) и как это сделать через PHP
Поиск Яндекса по сайту и интернет-магазину
OpenServer - современный локальный сервер и пример его использования для установки WordPress на компьютер
Как я увеличил посещаемость на сайте до 300 человек в день?

С помощью файла Sitemap можно сообщить Яндексу об актуальной структуре сайта, указав специальную директиву в robots.txt или добавив в Яндекс.Вебмастер.

Вебмастер позволяет:

Загрузка Sitemap

Выберите из списка сайт.

В поле впишите URL, по которому доступен файл. Например, https://example.com/sitemap.xml .

Нажмите кнопку Добавить .

После добавления файл попадает в очередь на обработку. Робот загрузит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в файл индекса Sitemap , обрабатывается роботом отдельно.

После загрузки напротив каждого файла вы увидите один из статусов:

Статус	Описание	Примечание
«OK»
«Редирект»		Удалите редирект и сообщите роботу об обновлении
«Ошибка»	Файл сформирован неправильно	сообщите роботу об обновлении
«Не проиндексирован»
	Disallow	сообщите роботу об обновлении

Статус	Описание	Примечание
«OK»	Файл сформирован правильно и загружен в базу робота	Напротив файла отобразится дата последней загрузки. Проиндексированные страницы появятся в результатах поиска в течение двух недель
«Редирект»	Указанный URL перенаправляет на другой адрес	Удалите редирект и сообщите роботу об обновлении
«Ошибка»	Файл сформирован неправильно	Нажмите ссылку Ошибка , чтобы узнать подробности. После внесения изменений в файл сообщите роботу об обновлении
«Не проиндексирован»	При обращении к Sitemap сервер возвращает HTTP-код, отличный от 200	Проверьте, доступен ли файл для робота с помощью инструмента , указав полный путь к файлу. Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.
	Доступ к файлу запрещен в robots.txt с помощью директивы Disallow	Разрешите доступ к Sitemap и сообщите роботу об обновлении

Обновление Sitemap

Если вы изменили добавленный в Яндекс.Вебмастер файл Sitemap , его не надо удалять и загружать снова - робот регулярно проверяет файл на обновления и ошибки.

Чтобы ускорить обход файла, нажмите значок . Если вы используете файл индекса Sitemap , можно запустить обработку каждого перечисленного в нем файла. Робот загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.

Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.

Удаление Sitemap

В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице Файлы Sitemap : Если для Sitemap была добавлена директива в файле robots.txt , удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.

Вопросы и ответы

Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»

Отображение файла Sitemap (как и других XML-файлов) как исключенных страниц имеет только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу, в то время как файлы формата XML не индексируются в поисковой системе Яндекса и в результатах поиска не участвуют.

При обработке Sitemap возникла ошибка «Неизвестный тег»

Файл Sitemap может содержать только определенные XML-элементы . Если Вебмастер обнаружит в файле другие элементы (например, указание на мобильную или мультиязычную версию, адреса картинок), в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.

Файл Sitemap находится в статусе «Не проиндексирован»

Файл Sitemap может быть не проиндексирован по нескольким причинам:

Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap .

Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.

Доступ к Sitemap запрещен в файле

Неважно, насколько хорошо вы ориентируетесь на местности, всегда полезно иметь под рукой карту, правда? То же самое и с поисковыми системами. Они могут и сами просканировать ваш сайт, но вы можете облегчить им работу, создав так называемую карту сайта .

По сути, карты сайтов сообщают поисковым системам типа Google и Bing, как устроен ваш сайт. Таким образом они могут более эффективно просмотреть и индексировать ваш сайт. Поисковые системы являются ключевыми в стратегии SEO. И в этой статье мы расскажем, как и почему вы можете настроить вашу карту сайта для WordPress.

Что такое Карта Сайта и в чем её польза

Чтобы объяснить, что такое карта сайта, нужно знать, как поисковые системы индексируют веб. Поисковые системы посылают роботов сборщиков, которые переходят по всем ссылкам в Интернете. Каждый раз, когда они находят новую ссылку, сборщики индексируют новую страницу. И тогда эту страницу можно найти в поисковой системе.

Карты сайтов ускоряют этот процесс, предоставляя поисковым роботам детальную карту вашего веб-сайта. Вместо того, чтобы самостоятельно находить внутренние ссылки на весь ваш контент, сборщик мгновенно узнает расположение всех страниц вашего веб-сайта.

Карты сайтов – это ни что иное, как волшебная палочка для SEO, они улучшат индексацию вашего сайта.

Они также предоставляют поисковым системам дополнительные сведения, например, дату последнего обновления страницы, частоту изменения страницы и её важность. Эта информация может в дальнейшем помочь поисковым системам оптимизировать исследование вашего сайта.

Карты сайтов XML vs HTML

Карты сайтов XML наиболее распространены. Они именно такие, как мы описали выше – созданы для поисковых систем. Их данные не пригодятся людям, и вы можете использовать их только для улучшения индексации.

Карты сайтов HTML, с другой стороны, могут использовать как люди, так и поисковые системы. Это реальная страница на вашем веб-сайте, где посетители и поисковые системы могут узнать о расположении вашего контента. Поисковые системы всё еще смогут исследовать эту страницу, но она понравится и любопытным посетителям.

Так какой тип использовать?

Ответ – ОБА! Не нужно выбирать что-то одно. Они не конфликтуют и оба привносят выгоду. Если вы не верите нам, то посмотрите, что говорит бывший гуру Google SEO о XML и HTML картах сайтов:

Как создать карту сайта XML на WordPress

Учитывая популярность , велика вероятность, что у вас уже есть всё необходимое для создания карты сайта XML. Если вы используете Yoast SEO, All in One SEO, или SEOPressor, то вам нужно просто найти соответствующие настройки плагина для создания вашей карты сайта XML.

Yoast SEO

К примеру, для настройки карты сайта в Yoast SEO вам нужно просто зайти в SEO → XML Sitemaps :

В инструментах карты сайта Yoast SEO вы можете включить мультимедийные приложения для карты сайта XML:

Это повысит ваш трафик от поиска по картинкам, увеличив индексацию ваших медиа загрузок.

All in One SEO Pack

Создание карты сайта XML схоже и в All in One SEO, просто зайдите в All in One SEO → XML Sitemap :

Google XML Sitemaps

Если у вас нет одного из тех плагинов, или вы хотите иметь дополнительный контроль над вашей картой сайта XML, то вы можете использовать плагин Google XML Sitemaps. Он бесплатный и тоже доступен в репозитории плагинов WordPress.org.

После установки плагина вы можете его настроить в Settings → XML-Sitemap :

Вот, что вам нужно будет настроить на этой странице с параметрами:

• Приоритет записей : Настройте подсчёт приоритета сканирования записи. Плагин может автоматически подсчитывать приоритет, в зависимости от количества комментариев, или вы можете делать это вручную.
• Контент карты сайта : Выберите тип контента, который попадёт в вашу карту сайта. К примеру, если вы хотите исключить категорию архива записей, то просто уберите галочку напротив этого поля.
• Частота изменений : Настройте частоту изменений каждого типа контента. Это даст поисковым системам возможность выставлять приоритет сканирования. Например, вы хотите, чтобы страница с частым обновлением фотографий сканировалась ежедневно.
• Приоритеты : Вы можете вручную установить разные приоритеты сканирования для разного контента. Вы наверняка заходите установить наивысший приоритет для начальной страницы.

Как создать карту сайта HTML с WordPress

Для создания карты сайта HTML вам необходимо обратиться к специальному плагину. Он называется WP Sitemap Page и доступен бесплатно на WordPress.org.

WP Sitemap Page

После установки плагина можно приступить к его настройке в Settings → WP Sitemap Page :

Вы можете исключить некоторые типы записей, выбрать вид отображения заголовков записи и выбрать, показывать или нет записи, которые принадлежат к нескольким категориям.

Вы можете добавить карту сайта на любую страницу с помощью шорткода. Плагин содержит множество пользовательских шорткодов, которые позволяют отображать только страницы, тэги, категории и т.д. Вы также можете настроить параметры сортировки.

Хорошей идеей является размещение шорткода в разделе, доступном из футера. Таким образом люди и поисковые системы смогут быстро его найти, но он не будет занимать место в меню.

Как рассказать поисковым системам о вашей карте сайта XML

После создания карты сайта осталось сделать только одну вещь - сообщить поисковым системам, где они смогут её найти.

Показав поисковым системам, где вы храните карту сайта, вы будете уверены, что они найдут её и будут осведомлены о любых изменениях на вашем сайте.

Чтобы предоставить вашу карту сайта для Google, вам нужно зарегистрироваться в Google Search Console (ранее Google Webmaster Tools) и следовать их инструкциям .

Итоги

Карты сайтов – это простой и быстрый способ улучшить ваш сайт . Создав карту сайта XML, вы упростите работу поисковым системам по исследованию вашего контента. А с помощью карты сайтов HTML вы можете не только улучшить дружественность веб-сайта к поисковым системам, но и удовлетворить любопытных пользователей.

Вы просто обязаны, как минимум, создать карту сайта XML, но если есть время, то мы рекомендуем добавить и карту сайта HTML.

А вы уже создали карту сайта? Расскажите нам в комментариях!