Данная ошибка выводится в отчете после проверки определенных страниц сайта на доступность в поисковой системе Яндекс. Делается это через специальный сервис Яндекс.Вебмастер (инструмент «Индексирование» -> «Проверка URL»).

Что за ошибка?

Это означает, что робот посетил её, но не удосужился внести её в поисковую выдачу, сочтя её некачественной и вообще — вы спамер, у вас много рекламы, исправляйте всё немедленно, а потом поговорим! Самое удивительно то, что «некачественным» он иногда считает материал по 5000-10 000 знаков копирайта и отличным положением у конкурента в поиске (у меня не проиндексированная страница в Я была в ТОП-3 в G )

Симптомы:

1. Количество загруженных страниц сайта на порядок больше, чем количество страниц в поиске
2. Некоторые страницы упорно не хотят индексироваться, даже после размещения ссылки на дружественных тематических ресурсах или в социальных сетях
3. Контент на не индексируемых страницах уникальный и качественный
4. Сайт не показывает баннерную рекламу, либо её количество минимально
5. Сайт не находится под фильтрами поисковой системы.

Устраняем ошибки, которые указаны в разделе «Диагностика»

Чтобы повысить качество сайта и страниц в глазах Яндекса, нужно, как это ни странно, воспользоваться советами его самого. Дело в том, что в Я.Вебмастере в разделе «Диагностика» есть список текущих ошибок, которые вполне могут повлиять на выдачу

Что конкретно нужно исправить и как это сделать?

Воспользоваться инструментом «Переобход страниц»

В Яндекс. Вебмастере есть специальный сервис, заставляющий робот заново посетить вашу страницу «Инструменты» — «Переобход страниц» . Заставьте робота еще раз посетить вашу страницу. Идеальный вариант — немного добавить контента или хотя бы поменять где-то текст. В общем, видоизмените страницу, на которую будете ссылаться.

Удалить дубли, запретить их к индексации

Практически самый главный враг хорошей индексации отдельных страниц, которые не попадают в выдачу — это дубли. Дубли страниц, которые генерирует сама CMS, будь-то WP или DLE. Причем дубли могут быть совсем не явные, т.е. как таковых «вторых» страниц с таким же контентом нет, но есть страницы, у которых срабатывает редирект на основной материал. Их можно отследить в Я.Вебмастере. Для этого зайдите в меню «Индексирование» -> «Статистика». Далее выберитерядом с названием сайта категорию «HTTP-коды 3хх»

Как видите страниц с редиректом пруд пруди:

Самое интересно то, что еще одним стандартным сервисом «Яндекса» дубли не удалить сходу: Пишет ошибку «Нет основание для удаления». Т.е. яндекс не может просто убрать страницу с поиска, если даже вы этого хотите. Ему нужны основания

Для того, чтобы перестали генерироваться дубли и для того, чтобы их можно было удалить с поисковой выдаче нужно проделать следующие шаги

• Прописать строчку кода в файле functions.php (если у вас Word Press)

Обычно этот файл находится в директории с названием вашей темы. Для редактирования можете использовать FTP ну или встроенный редактор в админке WP — это на ваше усмотрение. Вставляем следующий код

remove_action(‘wp_head’, ‘wp_shortlink_wp_head’);

• Настроить файл robot.txt

Чтобы запретить индексацию дублей нужно создать соответствующее правило в файле robot.txt

Disallow: /?p=*

Т.е. страницы вида «site.ru/?p » запрещены к индексации. Кстати, на Word Press проще всего добавить это правило также через код в том же файле functions.php. Результат удаления URL через Я.Вебмастер теперь положительный:

Создать карту сайта (Sitemap)

Карта сайта создана специально для упрощения навигации не только пользователей, но и поисковых роботов. Поэтому, если вы считаете, что вашем посетителям она ни к чему, то сделайте её хотя бы для поисковой системы. Давно доказано — файл Sitemap улучшает индексацию страниц и сайта в целом! Для того, чтобы создать файл Sitemap.xml в CMS Word Press используйте плагин «Google XML Sitemaps».

Чтобы показать Яндексу, что файл у вас создан и может использоваться роботом в Я.Вебмастере зайдите в «Настройка индексирования» — «Файлы Sitemap» и вставьте ссылку на неё (учтите, что статус «Очередь на обработку будет висеть достаточно продолжительное время»)

Заполнить мета тэг name description

Для каждой странице нужно заполнить её краткое описание, которое содержится в специальном мета тэге . Поисковые алгоритмы будут использовать данный тэг для формирования описания страницы при выдаче результатов поиска (т.н. сниппет)

Чтобы не заморачиваться с правкой кода, мы можем использовать плагин для Word Press — Meta Tag Manager , который добавляет в конце редактора специальный контейнер, где можно его вписать

Пишем в техническую поддержку Яндекса

Если уверены в качестве своего сайта и конкретно тех страниц, которые не попадают в поиск. У Яндекса довольно большой мануал и огромные список того, «чего не желательно» или вовсе «нельзя». Советуем ознакомиться, перед тем, как строчить кляузу — https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml

Что можно и где нужно писать, чтобы мне ответили?

Итак, вы уверены, что ваш сайт белый и пушистый, поэтому вам срочно нужно написать в Яндекс. Если это действительно так, то:

1. Перейти на страницу https://yandex.ru/support/webmaster-troubleshooting/site-indexing.xml
2. Далее в опросе выбираете — «Мой сайт плохо индексируется».
3. Затем — «Некоторые страницы сайта отсутствуют в поиске»
4. В самом конце нужно поставить галочку в чекбокс пункта «Страницы отсутствуют в поиске по непонятным причинам»

После чего откроется форма для обратной связи с техподдержкой:

В сообщении можете написать примерно следующий текст (не копируйте его полностью, просто используйте как шаблон )

P.S. Ответ от Яндекса — это просто ошибка инструмента «Проверка URL»

Техническая поддержка Яндекса ответила мне на удивление быстро. Оказалось, мои страницы-таки были в поиске — во всём виноват кривой инструмент «Проверить URL». Я.Вебмастер совсем недавно выкатил новую версию этого сервиса — видимо, пока что, не всё работает, как задумано.

Т.е. возможно страницы есть, а может и нет? Чтобы точно убедится в том или ином предположении, нужно проверить наличие в индексе на других сервисах для веб-мастеров.

В Яндекс.Вебмастере появился «Приоритетный переобход страниц». Так вы можете сообщить индексирующему роботу о тех страницах, которые требуют приоритетного обхода.

Зачем этот инструмент?

«Если есть хороший Sitemap, то и без этого инструмента можно обойтись. Но все равно иногда возникают задачи, когда нужен срочный обход или переобход страницы. И этот инструмент про это », - поясняют представители Яндекса.

Например, нужно сделать так, чтобы текст в сниппетах был заменен на новый, уже обновленный на самой странице. Или нужно ускорить попадание в поиск новых страниц с только что поступившим товаром или новостью.

Также инструмент предоставляет возможность быстро вернуть выпавшие из поиска страницы из-за неправильной настройки сервера, ограничений в robots.txt или любой другой проблемы с доступностью сайта для индексирующего робота.

Как работает инструмент?

«Приоритетный переобход» вы найдете в новом Вебмастере в разделе «Инструменты». На данный момент можно запросить переобход до 10 страниц в день для каждого подтвержденного сайта. После подачи заявки вы увидите дин из трех статусов обработки заявки:

1. «В очереди» - это означает, что страница была передана роботу для обхода, и в течение 3 суток заявка будет обработана.
2. «Робот обошёл» - страница была посещена роботом, а данные о странице в поиске обновятся с последующими обновлениями поисковой базы.
3. «Ошибка» - робот не смог посетить страницу.

«Определенно, этот инструмент - шаг навстречу вебмастерам. На мой взгляд, «Приоритетный обход» будут особенно полезен молодым и развивающимся сайтам, потому что зачастую на такие сайты роботы могут очень долго не заходить.
Мы уже используем это в своей работе и начали предлагать его своим клиентам, в том числе для тестирования эффективности страниц сайта », - комментирует Сергей Андреев , маркетолог сервиса Rookee.

Хотите подробностей?

Ниже предлагаем запись Пятой Вебмастерской Яндекса. «Приоритетный переобход страниц» был анонсирован в рамках второго доклада.

Уже не первый год все вебмастера и SEOшники сетуют на то, что страницы в индекс новому сайту очень сложно загнать. Это связано в том числе и с редкими обновлениями поисковой выдачи Яндекса.

В этом году Яндекс представил новую версию своего вебмастера . Сначала было в бета тестировании и в последующем полностью на него перешли.

Всем привычная аддурилка в новом вебмастере находится в разделе "Инструменты " и теперь называется переобход страниц.

Переобход страниц загоняет страницы в индекс Яндекса

Каждую новую статью моего блога, помимо того что расшариваю в соц. сетях, добавляю в аддурилку Яндекса и Google.

В новой аддурилке (переобход страниц) теперь можно добавлять урлы сразу пачкой, но дневной лимит всего 10 урлов .

Раньше Яндекс как психолог, просто принимал ссылки (выслушивал что ему говорит пациент) и обещал что робот обязательно посетит сайт и посмотрит эти страницы. При этом абсолютно не обещал , что страница попадет сразу в индекс.

Сейчас же работая с одним интернет магазином по продаже буровых установок, я как в Google так и в Яндекс добавлял сразу пачками новые оптимизированные страницы сайта.

До того, как я начал это делать, сайт новый и стоял всего с 4мя страницами в индексе - главная, новости, о компании и контакты. О том что категории товаров и тем более сами товары попадут в индекс в скором времени и речи не было.

Какого же было мое удивление, когда почти все страниц что я добавлял в переобход страниц попали в индекс и сам Яндекс подтверждая это, показывает время попадания в Индекс этих страниц.

С Google и раньше проблем не было. Страницы почти моментально залетали в индекс, при добавлении в аддурилку, а в Яндекс приходилось ждать по 2 недели.

Проверю работу переобхода страниц еще на нескольких страницах, но то что это помогает быстро загнать страницы в индекс, причем бесплатно и не прибегая к сторонним сервисам.

Если у вас переобход страниц работает так же хорошо или нет, отпишитесь в комментариях.

P.s. решил проверишь попала ли эта статья в индекс спустя несколько часов и о чудо!

Как видно на скрине ниже, страница уже в индексе и прошло всего 3 часа 10 минут, но яндекс округляет в большую сторону и написано что 4 часа назад.

5 лайков

2018-11-03T01:15:05+00:00

Яндекс запустил новый инструмент – переобход поисковым роботом страниц сайта.
По заявлениям специалистов яндекса, данный инструмент позволит в ускоренном формате поисковым роботам посетить страницы вашего сайта.
Одновременно можно добавлять не более 10 страниц в сутки на посещение поисковым роботом.

Видео инструкция о том, как добавить страницы для переобхода поисковым роботом

Чем полезен данный инструмент?

• У вас появилась новая страница, и вы хотите быстрее сообщить о ней поисковым роботам.
• На вашей странице что-то изменилось и вы хотите ускоренно оповестить робота об изменении.
• Ваша страница выпала из индекса (по разным причинам) и вам нужно быстрее ее вернуть.
• Причины переобхода поисковым роботом могут быть разными, и вы можете использовать этот инструмент в своих целях и задачах.

А теперь, рассмотрим, как добавить страницы на переобход роботом яндекса.
Во-первых, вам необходимо зайти в панель вебмастера яндекса, затем перейти на бета версию вебмастера.
Выбирете необходимый сайт , если у вас их несколько. И на открывшейся странице, выберите пункт Инструменты и в открывшемся списке пункт Переобход страниц . Смотрите рисунок ниже.

Когда вы кликните на пункт меню Переобход страниц, откроется поле для ввода ссылок.
Необходимо вставить в это поле до 10 ссылок на ваши страницы. Затем нажмите на кнопку отправить и ссылки добавятся в очередь на посещение роботом.