Кто не хочет быть первым в поисковой выдаче Яндекса и Google? Даже если ваш сайт некоммерческий. Таких нет. Ибо, как гласит народная мудрость, плох тот солдат который не хочет быть генералом.
Примерно вот так выглядит первая страница поисковой выдачи Яндекса по запросу «Купить фотоаппарат»:

Как видите первыми идут рекламные материалы, а затем Яндекс.Маркет и сайты популярных сетевых магазинов торгующих бытовой техникой М.Видео и Эльдорадо.
Попасть на первую страницу в выдаче по запросу «купить фотоаппарат » означает обеспечить себя гарантированным потоком пользователей, заинтересованных в покупке фотоаппарата. Это ли не мечта любого владельца сайта по продаже фототехники?

Как гарантированно попасть на первую страницу в поисковой выдаче?

Вариантов всего два. Первый — это создать сайт, который попадёт в десятку лучших по нужным запросам. Второй — заказать рекламу в Яндекс.Директ.
Рассмотрим оба варианта.

1. Создать сайт, который попадёт в десятку лучших по нужным запросам.

Задача сложная, но вполне решаемая. Для этого необходимо заняться SEO-продвижением. Можно это сделать самостоятельно, а можно обратиться к профессионалам.
Что конкретно можно сделать, чтобы поднять свой сайт на первую страницу?

1. Провести юзабилити-аудит сайта и получить квалифицированные рекомендации по его улучшению. Что это даст?
   Во-первых , специалисты выявят существующие на сайте проблемы, и дадут рекомендации о том, как их устранить. Чем лучше сайт, тем выше вероятность, что он попадёт в топ-10.
   Во-вторых , если сайт вдруг удастся продвинуть на заветное место поисковой выдачи, и пользователи начнут на него переходить, а затем сразу же закрывать, то долго на этом месте сайт не продержится. Поисковики скоро поймут, что сайт не нравится пользователям, и вновь отодвинут его подальше.
   Поэтому легче и лучше продвигать действительно хорошие сайты, а улучшить сайт можно как раз с помощью юзабилити-аудита.
2. Написать самому хорошие продающие тексты для сайта или заказать их у seo-копирайтеров. Такие тексты написаны по определённым правилам. С одной стороны, в них учтено вхождение достаточного количества ключевых слов. А с другой стороны, они написаны именно для пользователей – с учётом интересов и поведенческих особенностей целевой аудитории. Иными словами мало просто писать для людей, нужно чтобы сайт отвечал поисковым запросам. Главное правило: не что люди ищут, а как люди ищут . Ваш сайт должен разговаривать с посетителями на одном языке.
3. Заказать регистрацию в каталогах статей , с целью получить весомые ссылки на свой сайт и зарекомендовать себя в качестве эксперта.
4. После этого зарегистрировать сайт в каталогах сайтов – это поможет получить ссылки на ваш сайт с нужными анкорами, кроме того, они будут разнородные, что более естественно.

Только помните, что любые действия по оптимизации сайта занимают время и не дают гарантированного результата. Чем выше конкуренция в интересующей вас сфере, тем сложнее продвинуть сайт. Позиции сайта, скорее всего, улучшатся, но никто не сможет дать гарантий, что вы попадёте именно в топ-10 по всем интересующим ключевым запросам.
Если решите обратиться к профессионалам, то тут главное выбрать правильную компанию. Я рекомендую специалистов Сервиса 1PS.RU, которые уже 13 лет занимаются продвижением сайтов в поисковых системах и предоставляют все перечисленные выше услуги, что достаточно удобно. Рекомендую почитать отзывы о работе Сервиса 1PS.RU .

2. Заказать контекстную рекламу на Яндекс.Директ.

По некоторым запросам очень трудно попасть в ТОП-10. Если не получилось, то не беда! Ведь есть контекстная реклама, которая показывается выше поисковой выдачи. А первые места на странице выдачи поиска гарантированы вам уже через 3 дня. К тому же платить придётся только за тех клиентов, которые заинтересуются вашим предложением и перейдут по ссылке объявления на ваш сайт. Это очень эффективный и удобный способ рекламы.
Что нужно сделать, чтобы получить максимальную отдачу от рекламы в поисковых системах?

1. Подобрать ключевые слова с учётом интересов целевого посетителя.

   Совет: поручите этот вопрос интернет-маркетологу, который проведёт предварительные исследования целевой аудитории и проверит популярность каждого запроса.

2. Написать объявления, которые привлекут клиента и побудят его к действию.
3. Установить на сайте специальные программы-счётчики.
4. Проводить периодический срез по результатам рекламной компании с тем, чтобы вовремя внести корректировки.

Сервис 1PS.RU предлагает три тарифа по размещению контекстной рекламы : Тариф Базовый, Тариф Стандартный и Тариф Премиум. Вы можете выбрать любой из них, в зависимости от ваших познаний Интернет-маркетинга, уровня конкуренции в вашей сфере бизнеса и ваших финансовых возможностей.
И SEO, и контекстная реклама имеют свои плюсы и минусы. Какой способ продвижения сайта выбрать – решать вам. Если вы всё ещё сомневаетесь, то обратитесь к специалистам Сервиса 1PS.RU . Они подскажут оптимальный вариант именно для вашего сайта.

P.S.

Все действия по продвижению сайта с целью его появления на первых местах в поисковой выдаче Яндекса можно проводить самостоятельно и совершенно бесплатно. Методика и способы не меняются. Это написание статей которые попадают в ТОП-10 по поисковым запросам и реклама в Яндекс.Директ.
Но помните, что когда вы выполняете работу самостоятельно вы платите зарплату сами себе, ведь все равно несете некоторые издержки, кроме того в это же самое время вы могли бы преуспеть в том деле которое у вас лучше всего получается.
По части продвижения сайта все зависит от того, что вы хотите получить на выходе и какой ваш уровень профессионализма в той или иной области. Ведь ничто не мешает самостоятельно выращивать пшеницу, молоть муку и выпекать хлеб. Но человечество уже давно отошло от натурального хозяйства и предпочитает разделение труда. Да и быть специалистом во всех областях просто невозможно.

9 декабря в ходе 6-й вебмастерской Яндекса Дмитрий Попов из команды Вебмастера представил две новых функции для вебмастеров. Выгрузка отчетов по поисковым запросам и обновленный инструмент - Страницы в поиске. О других обновлениях и возможностях Вебмастера мы писали .

Запись докладов доступна на канале Яндекс Академии . Рекомендуем к просмотру, будет полезно новичкам и опытным вебмастерам.

В разделе Поисковые запросы теперь можно не только смотреть все основные параметры, статистику, но и выгрузить любую необходимую информацию в.csv отчет.

Доступны:

• сводные отчеты по группам запросов, популярным и избранным запросам;
• детальный отчет по конкретному запросу или их группе;
• детальный отчет по любому из отслеживаемых вебмастером показателей группы или запроса.

Данные можно удобно загружать в сторонние системы аналитики.

Важно: На момент написания статьи отчеты формируются некорректно. Отчет может быть пустым, либо отображать данные в сложночитаемом виде. О проблеме сообщили в поддержку Яндекса.

Обновлено: В скором времени Яндекс обещает устранить проблему. Пока, к сожалению, такие действия нужны:

1. меню «Файл» - «Импорт» - выбираем «Текстовый файл»;
2. указываем предварительно скачанный файл архива;
3. выбираем вариант «С разделителями» и формат «UTF-8»;
4. в качестве разделителя указываем «Запятая»;
5. нажимаем «Готово».

Второй важный инструмент - Страницы в поиске

Инструмент помогает понять:

График истории изменений отображает страницы по основным разделам.

Новый инструмент здорово облегчил жизнь вебмастерам и владельцам сайтов. Теперь можно быстро найти и удалить дублирующиеся страницы, страницы с неправильно настроенным атрибутом canonical. Отследить нерелевантную страницу и переписать на ней текст, добавить фотографию и т.д.

А как вам обновленный вебмастер? Какими еще инструментами пользуетесь?

P.S. Обязательно прочитайте следующую статью о глубокой работе с Я.вебмастером с помощью инструмента Поисковые запросы , а также материал про нововведение Яндекса -

Чтобы продвигаемые страницы могли выводиться в поиске, они должны находиться в индексе поисковых систем. Давайте разберемся, как проверить, какие страницы сайта находятся в индексе Яндекса или Google, узнать количество документов в базе поисковой системы. Какие инструменты существуют для отслеживания индексации страниц. Но вначале немного ликбеза.

Что такое индекс поисковой системы?

Индекс поисковой системы – это база данных, в которой находится информация обо всех документах (страницах с сайтов, файлов), которые могут участвовать в поиске.

Не все страницы включаются в индекс. Например, если страница вашего сайта признается роботом поисковой системы как низкокачественная, она может не включаться в индекс и не принимать участие в поиске. Аналогичная судьба часто ожидает страницы-дубли или документы, содержащие скопированные с других сайтов тексты.

В Google имеется основной индекс и дополнительный (supplemental index).

В дополнительный индекс попадают документы, которые имеют более низкое качество, чем документы из основного индекса. Они не участвуют в основном поиске, их редко посещает робот Google, они практически не приносят трафик на сайт.

В дополнительный индекс Google обычно попадают:

• страницы с неуникальным контентом,
• страницы, на которых практически отсутствует контент и страницы с текстом менее 500 символов,
• дубли,
• иногда в дополнительный индекс могут попадать страницы с низким весом.

Почему важно проверять количество страниц в индексе?

Очень важно отслеживать индексацию страниц, потому что от этого зависит трафик из поисковых систем. Если страница не проиндексирована, она не сможет появиться в выдаче по какому-либо запросу.

Как узнать, сколько страниц в индексе Яндекса или Google?

Есть несколько способов проверить количество страниц в индексе поисковых систем:

1. Введите в поисковую строку запрос: site:site.com (где site.com – это URL или адрес главной страницы сайта), как на скриншоте ниже:

Под строкой поиска вы увидите примерное количество страниц в индексе поисковой системы. В примере выше указано число страниц в индексе Google. Этот способ позволяет узнать число страниц в базе поисковой системы у любого сайта, в том числе конкурента.

2. Проверить количество страниц в индексе Google, можно в сервисе Google для вебмастеров . Аналогичный сервис в Яндексе – это Яндекс.Вебмастер. В нем можно посмотреть число страниц в индексе данной поисковой системы. Для просмотра данных потребуется подтвердить права на сайт в сервисах. Поэтому данный способ не подходит для анализа сайтов конкурентов.

Если у вас есть доступ в Яндекс.Вебмастер, зайдите на вкладку «Индексирование» -> «Страницы в поиске» и над графиком выберите отображение «История». Здесь вы сможете посмотреть не только число страниц в индексе, но и историю индексирования сайта.

3. При помощи онлайн-сервисов, например, многие бесплатные сервисы для проведения аудитов сайтов выводят информацию о количестве страниц в индексе.

Как проверить страницу в индексе Яндекса или Google?

Часто вебмастеру требуется узнать, находится в индексе конкретная страница сайта или нет. Самый простой способ узнать это – ввести поисковый запрос, состоящий из адреса страницы. Если в результатах поиска вы увидите искомую страницу, значит, она находится в индексе:

В Яндекс.Вебмастер есть функция, которая позволяет не только проверять, в индексе страница или нет, но и следить, чтобы важные страницы не выпадали из поиска. Чтобы добавить страницу в список отслеживаемых, зайдите в раздел «Индексирование» -> «Важные страниц» и в открывшейся форме добавьте нужные страницы:

Можно настроить отслеживание до 100 страниц, что достаточно для многих проектов. Если вам нужно отслеживать больше документов на сайте, то можно воспользоваться сервисом Топвизор . Он позволяет проверять, в индексе страницы сайта или нет, без ограничения по числу документов. Помимо проверки индексации сайта, сервис позволяет снимать позиции по запросам, группировать запросы и многое другое.

Как вернуть или добавить страницу в индекс?

В панелях для вебмастеров имеются специальные сервисы, позволяющие отправить страницу на переиндексацию или добавить новую страницу с сайта в поисковую систему:

Второй способ отправить страницу на переиндексацию – это добавить ссылки на страницу в социальные сети, новостные ресурсы и другие интернет-ресурсы, которые часто посещают роботы поисковых систем.

Если вы отправили страницу на индексацию, но она не появилась в поиске, скорее всего, робот посчитал документ малополезным. Нужно доработать страницу, чтобы она попала в индекс.

Как ускорить индексацию сайта?

Индексацию сайта можно ускорить на разных этапах продвижения сайта:

1. Добавьте сайт в панели для вебмастеров. Это позволит ускорить попадание нового сайта в индекс.
2. Чаще обновляйте контент. Тогда поисковые роботы будут чаще заходить на сайт и новые страницы будут быстрее добавляться в индекс.
3. Следите за качеством контента. На сайты с низким качеством контента роботы могут заходить реже или совсем перестать индексировать такие проекты.
4. Периодически проводите технический аудит сайта , чтобы исключать технические причины выпадения страниц из индекса. Например, иногда при редактировании файла robots.txt вебмастера по ошибке закрывают некоторые документы от индексации.
5. Если вы подавали заявку на удаление страницы из индекса через панели для вебмастеров, но затем передумали и решили снова включить страницу в поиск, то с ее индексацией могут возникнуть проблемы. Она не будет добавляться в индекс, несмотря на все ваши действия. Иногда решить проблему помогает только обращение в службу поддержки поисковой системы.
6. Если страницы стали вылетать из индекса, проверьте сайт на наличие фильтров , уникальность текстов и техническую сторону работы сайта.
7. Если сайт слишком большой, вы можете достигнуть лимита по числу документов в индексе поисковой системы (такой лимит есть для каждого сайта). В этом случае можно закрыть от индексации второстепенные страницы, чтобы основные присутствовали в поиске.

В этой статье мы рассмотрели, как проверить индекс сайта в Яндексе или Google, узнать количество страниц в базе поисковой системы, настроить автоматическое отслеживание индексации проекта. Если у вас остались вопросы, добавьте их в комментариях под статьей.

Поисковая оптимизация - большая работа над множеством различных факторов. Дизайн, техническая составляющая, контент. Даже незначительные на первый взгляд детали очень важны для продвижения. О самых частых ошибках в дизайне сайта мы уже говорили. Сегодня разберем 9 фатальных SEO ошибок, способных «угробить» любой сайт.

1. Фильтры и санкции поисковых систем

   Как минимум, раз в неделю рекомендую заглядывать в вебмастера Яндекс и Google для проверки наличия санкций. В Яндексе это можно сделать в разделе Диагностика → Безопасность и нарушения . В Google - Поисковый трафик → Меры, принятые вручную .

   Как показывает наша практика, чаще всего владельцы сайтов даже не догадываются о наложенных ограничениях. Недавний пример из нашей работы:

   Большое количество чужих текстов на сайте и открытые исходящие ссылки. Результат на скриншоте.

   До снятия всех ограничений дальнейшего смысла заниматься продвижением нет. Исправляем все ошибки, сообщаем поисковой системе и ждем снятия санкций.

2. Контент

   Мы постоянно говорим о том, как важны тексты. Контент - это то, зачем пользователи заходят на сайты. Неуникальный и неинтересный контент никому не нужен. Поисковые системы занижают подобные ресурсы в выдаче, а клиенты устали читать одни и те же шаблонные тексты на сотне сайтов. Пруф того, что за контент можно вылететь с хороших позиций, .

   Проверяйте уникальность текстов перед размещением на text.ru .

   Как писать тексты, на какие страницы и в целом, о контенте, много написано в нашем блоге. Вот хорошая подборка статей от нашего копирайтера Дарьи.

3. Теги Title и Description, заголовки H1-H3

   Основа SEO-продвижения - правильно подобранные ключевые слова. Это очень важный фактор в оценке релевантности вашего сайта поисковому запросу.

   Чаще всего мы сталкиваемся с двумя ошибками. Полное отсутствие ключевых слов в тегах:

   Тег Title должен быть заполнен в виде связного предложения с включением ключевых слов.

   Либо переспам ключами в заголовках:

   Важно найти золотую середину. Теги должны быть полезными не только для поисковых роботов, но и для обычных людей. Не забывайте об информативности. Как правильно писать теги title, description и заголовки H1, хорошо рассказывает наш копирайтер Екатерина в своей статье .

4. Переезд на https

   C января 2017 года браузер Google Chrome (начиная с 56 версии) начал помечать все HTTP-сайты, содержащие любые формы, передающие личные данные пользователей (email, пароли, данные кредитных карт и т.п.) как «небезопасные». Также наличие SSL сертификата является небольшим импульсом в ранжировании в Google.

   

   Всем интернет-магазинам в первую очередь следует перейти на протокол https. При этом очень важно соблюсти правильный алгоритм действий.

   Самая частая ошибка - просто настроить 301-редирект со старой версии http на https после покупки SSL-сертификата. Владельцы сайтов забывают о файле robots.txt, директиве Host, настройке вебмастеров. Сайт с http выпадает из индекса, новый сайт на https еще не проиндексирован. Все позиции моментально улетают в трубу.

   В нашем Блоге есть подробная инструкция , как правильно перенести сайт с http на https. Если останутся вопросы, пишите нам , обязательно поможем.

5. Файл robots.txt

   Текстовый файл, размещенный на сайте и предназначенный для роботов поисковых систем. В этом файле следует указать параметры индексирования своего сайта для поисковых роботов.

   Иногда файл robots.txt отсутствует вовсе.

   Свежий пример из нашей работы. Интернет-магазин станков, работы проводились в рамках услуги поисковое продвижение сайта . Сайт был полностью открыт для индексации поисковым роботам и вовсе не имел файл robots.txt.

   Настроили ему robots, теперь все в порядке:

   Что конкретно мы сделали?

   Закрыли от индексации админ панель сайта, служебные страницы 404 и 403, страницу поиска, корзину. Указали адрес карты сайта, настроили директиву Host.

   Вместе с остальными работами по оптимизации это помогло достичь следующих результатов:

   

   Еще одна серьезная ошибка - сайт полностью закрыт от индексации. За это отвечают директивы Disallow и Allow, которые запрещают или разрешают индексирование разделов, отдельных страниц сайта или файлов соответственно. Для проверки файла у поисковых систем есть специальные инструменты: Яндекс и Google .

   Проверьте, что у вашего сайта имеется файл robots.txt и заполнен он корректно. От индексации следует закрывать все служебные страницы, страницы поиска и фильтров. Страницы дублей, регистрации, авторизации. Корзину и страницу оформления заказа для интернет-магазинов. .

6. Дублирование контента (дубли страниц)

   Дублированный контент или просто дубли - это страницы на вашем сайте, которые полностью (четкие дубли) или частично (нечеткие дубли) совпадают друг с другом, но каждая из них имеет свой URL.

   Одна страница может иметь как один, так и несколько дублей:

   Поисковые роботы отрицательно относятся к дублированному контенту и могут понизить позиции в выдаче из-за отсутствия уникальности, а следовательно, и полезности для клиента. Нет смысла читать одно и то же на разных страницах сайта.

   Может измениться релевантная страница. Робот может выбрать для выдачи дублированную страницу, если посчитает ее содержание более релевантным запросу. Сайт потеряет позиции и просядет в выдаче. В 90% случаев дубли мешают продвижению, и после их устранения позиции сайта улучшаются.

   Как найти и убрать дубли на сайте, рассказываем в данной статье .

7. Зеркала сайта

   Зеркалами считаются сайты, являющиеся полными копиями друг друга, доступные по разным адресам. Все зеркала сайта важно склеить через 301 редирект.

   Показатели тИЦ, вес внешних ссылок не должны растекаться, а они будут, т.к. поисковики считают разными ресурсами сайты, расположенные по разным адресам. Возможна подмена релевантной страницы в поисковой выдаче, дублирование контента. 100% мешает росту сайта в выдаче.

   Сайт не должен открываться по разным адресам, с www и без www, просто site.ru и site.ru/index.php, по http и https и т.д.:

   

   Чек-лист для проверки:

   • Сайт должен быть доступен только по одному протоколу http или https.
   • Выбрано главное зеркало сайта, с www или без www, указано в Вебмастере.
   • Настроен 301 редирект со всех зеркал.
   • Главная страница сайта доступна по одному адресу, без /index.php, /index.html и т.п.
8. Адаптивная верстка (версия сайта для мобильных устройств)

   100% Must-have для всех сайтов в 2017 году. Сегодня рост мобильного трафика опережает компьютерный. Число пользователей, использующих смартфоны для совершения покупок, в мире растет с каждым днем. Алгоритмы поисковых систем учитывают адаптивность при ранжировании сайта в мобильной выдаче.

   Google уже с 2015 года использует алгоритм Google mobile-friendly .

9. Скорость загрузки сайта

   Тут все просто. Пользователям не нравятся медленные сайты. Поисковые системы так же отдают предпочтение быстрым, оптимизированным сайтам. Проверить скорость загрузки своего сайта можно с помощью инструмента Google . Красный - медленно, важно срочно увеличивать скорость, желтый - нормально, но можно оптимизировать, зеленый - отлично.

   

   Разберем на конкретном примере

   Помните, в начале статьи мы упоминали интернет-магазин станков. Что мы исправили из фатальных ошибок:

   • Неуникальный контент

   Написали хороший продающий, уникальный текст на главную страницу сайта.

   • Ошибки оптимизации

   Скорректировали теги title и description, заголовки H1.

   • Отсутствие файла robots.txt

   Создали и настроили файл robots.txt. Сейчас сайт правильно индексируется поисковыми системами. До этого, как писали выше, данного файла не было на сайте вовсе.

   • Наличие не склеенных зеркал

   Склеили зеркала сайта. Сайт был доступен по двум адресам с www и без.

   • Некорректный ответ сервера для несуществующих страниц

   Создали отдельную страницу 404 и настроили правильный ответ сервера для несуществующих страниц.

   До выполнения работ несуществующие страницы через 302 редирект перенаправляли пользователя на главную страницу сайта.

   Результаты:

   Положительная динамика роста посещаемости из поисковых систем:

   

   Трафик из Google вырос в два раза:

   

   Результат за 3 месяца:

   +8 запросов у Яндекса, +6 у Google в топ-5

   +19 запросов у Яндекса, +9 у Google в топ-10

   +25 запросов у Яндекса, +11 у Google в топ-20

   +14 запросов у Яндекса, +4 у Google в топ-50

   Хотите так же? Проверьте, может данные ошибки есть и на вашем сайте. Если нет времени и желания разбираться, заказывайте поисковое продвижение у нас, с радостью поможем.

Доброго дня, читатели . Я всегда получаю много вопросов от вебмастеров, владельцев сайтов и блогеров об ошибках и сообщениях, которые появляются в Яндекс.Вебмастер. Многих такие сообщения пугают.

Но, хочу сказать, не все сообщения бывают критичны для сайта. И в ближайших статьях я постараюсь максимально полно охватить все возможные вопросы, которые могут возникать у вебмастеров. В данной статье пойдет речь о разделах:

1. Диагностика — Диагностика сайта
2. Индексирование — Страницы в поиске

О том, и зачем он нужен, я писала ещё несколько назад. Если вы не знакомы с данным инструментом, ознакомьтесь сначала со статьей по ссылке.

Диагностика сайта

Возможные проблемы

1. В файле robots.txt не задана директива Host

Данное замечание Яндекс примечательно тем, что директива Host не является стандартизированной директивой, ее поддерживает только поисковая система Яндекс. Нужна она в том случае, если Яндекс неправильно определяет зеркало сайта.

Как правило, зеркало сайта определяется Яндексом автоматически на основе URL, которые формирует сама CMS, и на основе внешних ссылок, которые ведут на сайт. Чтобы указать главное зеркало сайта, не обязательно указывать это в файле robots.txt. Основной способ — использовать 301 редирект, который либо настроен автоматически в CMS, либо необходимый код вносится в файл.htachess.

Обращаю внимание, что указывать директиву в файле robots.txt нужно в тех случаях, когда Яндекс неправильно определяет главное зеркало сайта, и вы не можете повлиять на это никаким другим способом.

CMS, с которыми мне приходилось работать в последнее время, WordPress, Joomla, ModX, по умолчанию редиректят адрес с www на без, если в настройках системы указан адрес сайта без приставки. Уверена, все современные CMS обладают такой возможностью. Даже любимый мной Blogger правильно редиректит адрес блога, расположенного на собственном домене.

2. Отсутствуют мета-теги

Проблема не критичная, пугаться ее не нужно, но, если есть возможность, то лучше ее исправить, чем не обращать внимание. Если в вашей CMS по умолчанию не предусмотрено создание мета-тегов, то начните искать плагин, дополнение, расширение или как это называется в вашей CMS, чтобы иметь возможность вручную задавать описание страницы, либо, чтобы описание формировалось автоматически из первых слов статьи.

3. Нет используемых роботом файлов Sitemap

Конечно, лучше эту ошибку исправить. Но обратите внимание, что проблема может возникать и в тех случаях, когда файл sitemap.xml есть, так и в тех, когда его действительно нет. Если файл у вас есть, но Яндекс его не видит, просто перейдите в раздел Индексирование — Файлы Sitemap. И вручную добавьте файл в Яндекс.Вебмастер. Если такого файла у вас вообще нет, то в зависимости от используемой CMS, ищите варианты решения.

Файл sitemap.xml находится по адресу http://vash-domen.ru/sitemap.xml

4. Не найден файл robots.txt

Все же этот файл должен быть, и если у вас есть возможность его подключить, лучше это сделать. И обратите внимание на пункт с директивой Host.

Файл robots.txt находится по адресу http://vash-domen.ru/robots.txt

На этом фонтан ошибок на вкладке Диагностика сайта у меня иссяк.

Индексирование

Страницы в поиске

Начнем именно с этого пункта. Так будет легче структурировать информацию.

Выделяем в фильтре «Все страницы»
Опускаемся ниже, справа на странице «Скачать таблицу» Выбираем XLS и открываем файл в Excel.


Получаем список страниц, которые находятся в поиске, т.е. Яндекс о них знает, ранжирует, показывает пользователям.
Смотрим, сколько записей в таблице. У меня получилось 289 страниц.

А как понять, сколько должно быть? Каждый сайт уникален и только вы можете знать, сколько страниц вы опубликовали. Я покажу на примере своего блога на WordPress.
В блоге на момент написания статьи имеется:

• Записи — 228
• Страницы — 17
• Рубрики — 4
• Метки — 41
• + главная страница сайта

В сумме имеем 290 страниц, которые должны быть в индексе. В сравнении с данными таблицы разница всего в 1 страницу. Смело можно считать это очень хорошим показателем. Но и радоваться рано. Бывает так, что математически все совпадает, а начинаешь анализировать, появляются нестыковки.

Есть два пути, чтобы найти ту одну страницу, которой нет в поиске. Рассмотрим оба.

Способ первый. В той же таблице, которую я скачала, я разделила поиск на несколько этапов. Сначала отобрала страницы Рубрик. У меня всего 4 рубрики. Для оптимизации работы пользуйтесь текстовыми фильтрами в Excel.


Затем Метки, исключила из поиска Страницы, в результате в таблице остались одни статьи. И тут, сколько бы статей не было, придется просмотреть каждую, чтобы найти ту, которой нет в индексе.

Обращаю внимание, что в каждой CMS своя структура. У каждого вебмастера свои SEO , canonical, файла robots.txt.

Опять же, если на примере WordPress, обратите внимание, какие разделы сайта у вас индексируются, а какие закрыты. Здесь могут быть и страницы Архива по месяцам и годам, страницы Автора, пейджинг страниц. У меня все эти разделы закрыты настройками мета тега robots. У вас может быть иначе, поэтому считайте все, что у вас не запрещено для индексации.

Если взять для примера Blogger, то владельцам блогов нужно считать только опубликованные Сообщения, Страницы и главную. Все остальные страницы архивов и тегов закрыты для индексации настройками.

Способ второй. Возвращаемся в Вебмастер, в фильтре выбираем «Исключенные страницы».

Теперь мы получили список страниц, которые исключены из поиска. Список может быть большой, намного больше, чем со страницами, включенными в поиск. Не нужно бояться, что что-то не так с сайтом.

При написании статьи я пыталась работать в интерфейсе Вебмастера, но не получила желаемого функционала, возможно, это временное явление. Поэтому, как и в предыдущем варианте, буду работать с табличными данными, скачать таблицу можно также внизу страницы.

Опять же, на примере своего блога на WordPress я рассмотрю типичные причины исключения.

В полученной таблице нам в первую очередь важна колонка D — «httpCode». Кто не знает, что такое ответы сервера, прочитайте в википедии . Так вам будет легче понять дальнейший материал.

Начнем с кода 200. Если вы можете попасть на какую-то страницу в интернете без авторизации, то такая страница будет со статусом 200. Все такие страницы могут быть исключены из поиска по следующим причинам:

1. Запрещены мета тегом robots
2. Запрещены к индексации в файле robots.txt
3. Являются неканоническими, установлен мета тег canonical

Вы, как владелец сайта, должны знать, какие страницы какие настройки имеют. Поэтому разобраться в списке исключенных страниц должно быть не сложно.

Настраиваем фильтры, выбираем в колонке D — 200

Теперь нас интересует колонка E — «status», сортируем.

Статус BAD_QUALITY — Недостаточно качественная. Самый неприятный из всех статус. Давайте разберем его.

У меня в таблице оказалось всего 8 URL со статусом Недостаточно качественная. Я их пронумеровала в правой колонке.

URL 1, 5, 7 — Страницы фида, 2,3,4,5,8 — служебные страницы в директории сайта wp-json. Все эти страницы не являются HTML документами и в принципе не должны быть в этом списке.

Поэтому внимательно просмотрите свой список страниц и выделите только HTML страницы.

Статус META_NO_INDEX. Из индекса исключены страницы пейджинга, страница автора, из-за настроек мета тега robots

Но есть в этом списке страница, которой не должно быть. Я выделила url голубым цветом.

Статус NOT_CANONICAL. Название говорит само за себя. Неканоническая страница. На любую страницу сайта можно установить мета тег canonical, в котором указать канонический URL.