Добрый день, 27 мая, Яндекс наконец-то склеил один мои сайт и определил главное зеркало, на всё это понадобилось почти 2 месяца. В этом посте я хочу описать всё что я делал для этого.

В начале Апреля я приобрёл себе сайт - pozitiv.16mb.com. Но мне не понравилось доменное имя, да и привязано оно было к хостингу, то есть владельцем домена была Хостинг компания. Поэтому я решил перенести сайт на интернациональный домен.

Зарегистрировал домен сайт и перекинул на него сайт. Чтобы они были идентичными.

Подготовление к склейки сайтов

Многие советуют, что правильно клеить сначала для Яндекса, после того как он склеит можно начинать склеивать для Google. Потому что у этих поисковых систем отличаются методы склейки. Для Google используется 301 редирект, а Яндекс выявляет главное зеркало через директиву host в robots.txt. Но такой способ меня не устраивал, я хотел сразу склеить сайты для двух поисковиков одновременно, чтобы не терять время.

Первым делом, надо перенести сайт на новый домен так, чтоб всё было идентично старому сайту.
После этого следует заняться настройкой под склеивания в Google. Для этого на старом сайте(pozitiv.16mb.com), я установил 301 редирект в файле.htaccess, выглядит он вот так:

Options + FollowSymLinks RewriteEngine on RewriteRule (.* ) http: //сайт/$1

После этого в Панели "Вебмастер Google" для старого домена указал новый адрес:

Вот и всё, настройки для склеивания сайта под Google закончены. А дальше самое интересное, настроить сайт так, чтобы Яндекс смог выявить главное зеркало, в данном случае домен сайт.

Определяем главное зеркало сайта для Яндекса

Напомню ещё раз, Яндекс для склейки сайтов использует файл robots.txt и то, что я поставил 301 редирект, по идеи считается не правильно, так как бот зеркальщик, когда будет заходить на сайт и смотреть файл robots.txt, редирект его будет перенаправлять на новый домен. Поэтому выход один, отключить редирект для файла robots.txt, чтобы бот Яндекса смог без проблем загружать его.

И так, первым делом надо добавить директиву host в файле robots.txt на старом сайте. У моего старого сайта pozitiv.16mb.com, файл robots.txt выглядит вот так:

User- agent: Yandex Host: p0zitiv. ru

Важно! Для кириллических доменов в директиву Host домен необходимо писать в punycode (пуникодом)

< FilesMatch "robots.txt$" > RewriteEngine off

Теперь при запросе ботом Яндекса файла http://pozitiv.16mb.com/robots.txt, редирект не перенаправляет его на новый домен и Яндекс сможет увидеть файл robots.txt на старом сайте и прочитать какое у него главное зеркало.

Данный способ одновременной склейки для Яндекса и Google, подходит лишь в том случае, если вы согласны чтобы старый домен не индексировался Яндексом. Ведь бывают случаи, чтоб оба(или более) зеркал были доступны для Пользователей, тогда клеют сайты только для Яндекса с помощью файла robots.txt, а 301 редирект не используют.

Склеиваем домены с www и без www

Сначала необходимо сделать редирект всех ссылок на новый домен.
Для этого надо установить 301 редирект в файле.htaccess, например этот код будет перенаправлять все на домен БЕЗ WWW (не забудьте поменять домен сайт на свой):

Options + FollowSymLinks RewriteEngine On RewriteCond % { HTTP_HOST} ^www\. p0zitiv\. ru$ [ NC] RewriteRule ^(.* ) $ http: //сайт/$1

То есть полное перенаправление со всех страниц на новый домен сайт.
После этого в Панели "Вебмастер Google" и в панели "Яндекс.Вебмастер" необходимо указать основное зеркало сайта.

Вот и все настройки для склеивания доменов с www и без www закончены. А чтобы Яндекс смог выявить главное зеркало, в данном случае домен сайт, надо будет проделать трюк (описывал выше) с файликом robots.txt. На всякий случай напомню:

После того, как указали главное зеркало, надо отключить редирект для robots.txt, отключается он в файле.htaccess, вот этим кодом:

< FilesMatch "robots.txt$" > RewriteEngine off

Нюансы

Так же у меня возникла проблема - как добавить сайт в панель вебмастер Яндекса и Гугла?

Ведь надо подтвердить права на сайт, путём размещения файлов в корень сайта. Для этого, им тоже требуется отключить редирект чтобы проверяющие боты Яндекса и Google не уходили на новый домен. С помощью FilesMatch как в случае с robots.txt, у меня не получилось отключить редирект для файлов - подтверждалок, а заработала вот такая конструкция:

RewriteRule ^(google495dea0554e801b5\. html| yandex_748544efecfe9337\. html) $ - [ L]

Проверить на склейку в обоих ПС можно сервисом от xseo.in

Вывод

Google склеил сайт примерно за две недели, трафик с Google сохранился полностью. Яндексу на определение главного зеркала, потребовалась приблизительно два месяца, после этого я получил вот такое письмо в "Панель Вебмастер":

Трафик с Яндекса после того как поставил 301 редирект упал практически до нуля и вот после 27 мая (день склейки) начал потихоньку восстанавливаться:

На этом всё, спасибо за внимание.

Склейка – это своеобразное объединение двух и более доменных имен. После такого «склеивания» они ведут на один и тот же сайт. У сайта, на который они ведут, имеется основной домен, а дополнительные становятся его зеркалами.

Поисковики в таких случаях переносят трафик и другие показатели на основной домен. У зеркал при этом показатели не забираются. Иначе говоря, у зеркал показатели сохраняются и остаются такими же, как у базового домена. Но их использование невозможно, так как дополнительные сайты становятся своего рода отражением главного.

Для чего нужна склейка доменов

Чтобы это понять, следует рассмотреть некоторые типичные ситуации.

1. Объединение двух доменов одной компании: была поставлена задача купить домен com.ua скажем, в последующем компания получила ТМ и уже может позволить себе домен.ua. Склеив их не получим оттока клиентов.

2. Следующее происходит с теми сайтами, на которых продаются ссылки. Если проект попадает в бан у Яндекса и при этом его ссылки не раскупаются, то домен бросать не стоит. Забаненный домен можно склеить с незабаненным, перенеся PR (в данный момент не актуально) и тИЦ на него. На новом домене после этого может продолжаться продажа ссылок.

3. В некоторых случаях склейка становится результатом неправильных действий оптимизаторов. Например, сайт для продвижения – site1.ua. Оптимизатор приклеивает свой домен site2.ua к домену продвигаемому и занимается продвижением своего домена. Поскольку site2.ua является зеркалом site1.ua, в топе можно увидеть сайт номер 1. Если за продвижение заказчик платить отказывается, то оптимизатор просто снимает склейку и продвигаемый ранее сайт впадет в немилость, в то время как сайт номер 2 будет оставаться в топе.

4. Это может быть способом маскировки приемов, используемых для продвижения. Например, оптимизатор нашел способ накрутки тИЦ или просто хочет утаить от конкурентов источники ссылок. Снова идет проставление ссылок на site2.ua и склейка с site1.ua. При мониторинге бэк-линков site1.ua конкуренты увидят только то, что оптимизатор пожелает им показать.

5. Иногда склейку инициируют сами поисковые машины. Самая распространенная причина – дублирование сайтов.

Принципы склейки

Чтобы нужные показатели были перемещены с одного домена на другой, и именно этот другой был показан в топе, получив ТИЦ и PR, накопленные на старом, применяется склейка. Она осуществляется несколькими способами.

Могут быть использованы коды ответа сервера 301 и 302, или директива Host. Когда код 301 получен (страница перемещена), автоматически старый адрес в браузере меняется на новый. Но в этом кроется подвох. Разрыв во времени между удалением старого и добавлением нового домена в поисковик. Команда исключения страницы по старому адресу выполняется мгновенно, а команда «добавить страницу с новым адресом» может выполняться неделю или месяц. Все это время сайт не будет виден в результатах выдачи. К тому же эта команда может примениться не ко всем страницам сайта, и он может частично не попадать под индекс.

Склейка через редирект 302 тоже используется. Он аналогичен 301-му, но говорит о временном перемещении страницы.

Также применяется директива Host, которая не исключает страницы из индекса, а только говорит на какой домен следует ориентироваться для конкретного сайта. Этот способ не только наиболее безопасный, но и ненадежный. Дело в том, что эта директива носит рекомендательный характер, то есть поисковики попросту могут не учитывать ее.

Универсального способа эффективной и безопасной склейки доменов нет. То есть подстраиваться придется по ситуации под каждый поисковик отдельно.

Поисковики могут распознавать зеркала. В таком случае они просто оставляют одно имя домена в выдаче. Зеркалами считаются сайты, полностью или частично копирующие основные.

При склейке образуются зеркала, только одно из которых индексируется. Поисковики выбирают тот сайт, который считается главным зеркалом. Но как убедиться в том, что выбран для индексации будет именно нужный?

Для выбора основного сайта применяются алгоритмы. Например, робот Яндекса использует анализ доменного имени – чем оно короче, тем лучше. Выбирая между сайтами с дефисом в имени и без него, робот выберет второй вариант.

Объединение пары сайтов под один поисковый индекс называют склейкой доменных имен. Такое действие может понадобится, например, если нужно перенести ресурс с одного домена на другой и не потерять вес входящих ссылок при этом или повысить тИЦ основному зеркалу. Возможно, кто-то и найдет еще причины, но по крайней мере у меня фантазия ограничилась этими двумя случаями. А теперь к делу. Я расскажу Вам как склеить домены правильно.

Склейка домена

Web-сайт, с адреса которого происходит редирект, называют зеркалами web-ресурса. Во время склеивания доменных имен абсолютно весь вес домена, который ссылается, будет перемещен к домену, на который человек будет перенаправляться. Я настоятельно рекомендую ознакомиться с данной информацией тем, кто только недавно создал блог для себя.

Когда склейка доменов является обязательной?

Склейка обязательно проводиться:

• В процессе замены доменного имени. И когда весь трафик, позиции сайта, показатели PR, ссылочную массу сайта, а также тИЦ.
• Когда нужно сделать так, чтоб в выдаче поисковой системы был всего лишь один вариант домена, то есть, с www или без.
• Когда сайт обладает несколькими ресурсами-зеркалами. И их нужно объединить, дабы аудитория сайта и все его показатели были на одном ресурсе.
• Когда на один web-сайт ссылается несколько имен, которые созвучны с основным именем.

Как правильно провести склейку домена?

Существует всего два метода склейки доменов. И чаще всего данные методы используются вместе. Для Yahoo и Google домены склеивают с помощью 301 редиректа, а для Yandex нужно найти главное зеркало, используя директиву “код”, которая размещается в Robots.txt. Если Вы хотите склеить домены Вам нужно склеить домен для всех поисковых роботов, а для этого нужно использовать все эти методы вместе. Стоит также знать, что можно зарегистрировать доменное имя бесплатно.

Склеить несколько веб-сайтов в Яндексе можно только, если пользоваться hot директивой в Robots.txt . Этот файл размещен в корневой папке Вашего web-ресурса. Хочется подметить, что даже тогда, когда Вы полностью уверенны в том, что Ваш сайт в единственном экземпляре - воспользуйтесь директивой hot. Почему? Да потому что любой сайт имеет два зеркала: с www и без. А чтобы сайт успешно продвигался, требуется, чтобы вес ссылок, которые оставляют пользователи, так или иначе, аккумулировался у Вас на ресурсе. Не важно, поставят они www или не поставят.

Существует и второй способ. Способ для переадресации - редирект под номером 301. Этот документ целиком перенесен на другой url. А для того, чтоб использовать этот редирект, нужно использовать.htaccess. Если Вы не нашли данного файла в корневой папке web-сайта, то создайте его. Сделать это можно с помощью обычного блокнота. Обратите внимание на то, что.htaccess – название файла, а не расширение.

Код редиректа чаще всего имеет такой вид:

RewriteEngine On
RewriteCond%{HTTP_HOST}^www.website.ru$
RewriteRule^(.*)$http://website.ru/

Как проверить удалась ли склейка доменов?

Проверить склеились ли домены или нет можно парой способов. Например, достаточно будет вбить в строку поиска Google запрос “info: имя сайта” ну или посетить свой аккаунт на веб-master Яндекс и посмотреть там, какое зеркало считается главным. Еще можно проверить это с помощью специального анализа web-сайтов.

Вот например, web-сервис pr-cy.ru . Стоит также знать, что Google склеивает домены, примерно, за 14 дней, сайт сохраняет весь трафик, Yandex занимается склеиванием доменов намного дольше.

Оставь комментарий, нажми «Мне нравится » («Like ») и «Сохранить », а я напишу для тебя еще что-нибудь интересное:)

Что такое "Склейка доменов"?

Итак, что такое склейка доменов?

Склейка доменов это термин, используемый поисковыми системами, чтобы объяснить владельцам сайтов и оптимизаторам необходимость настройки сайтов таким образом, чтобы избежать появления дублей сайтов, которые еще называют зеркалами .

Есть несколько способов правильной склейки сайтов. Представим себе, что у вас есть два схожих сайта на разных доменах site1.ru и site2.ru, а основной сайт и контент, который Вы хотите представить пользователям, располагается только на site1.ru. В этом случае технически склейка доменов может быть представлена так:

1. В специальном файле robots.txt сайта site2.ru укажем «host: site1.ru». В этом случае поисковые системы склеют эти домены в пользу site1.ru


2. В файле.htaccess сайта site2.ru укажем переадресацию 301 редиректом:

   RewriteEngine on
   RewriteCond %{HTTP_HOST} ^site2.ru$
   RewriteCond %{HTTP_HOST} ^www.site2.ru$
   RewriteRule ^(.*)$ http://site1.ru/$1

Поисковая система Яндекс рекомендует первый пункт для того, чтобы указать основной домен (site2.ru будет определяться системой Яндекс как зеркало); второй пункт – редирект уровня сервера , и всех пользователей, а также ботов мы редиректим с site2.ru на аналогичные страницы site1.ru.

Склейка доменов представляет собой процесс передачи основных параметров одного домена другому.

Зачем же нужна склейка домена? Рассмотрим некоторые ситуации.

Чем грозит склейка доменов?

Для того чтобы все «показатели качества» переместились со старого на новый домен, и именно он показывался на нужных позициях в поисковиках, и получил ТИЦ и PR, накопленные старым доменом, применяется склейка доменов. Существует несколько способов, чтобы ее осуществить.

Можно использовать код ответа сервера 301 или 302 (так называемые 301-й и 302-й редирект), а также директиву Host. Получив код 301 («страница перемещена»), браузер меняет автоматически старый адрес на новый, и открывает по нему страницу. Но есть один подвох - временной разрыв между удалением старого домена из индекса поисковика и добавлением нового. Команда «исключить страницу по старому адресу» выполняется моментально, а для команды «добавить страницу по новому адресу» могут потребоваться дни, недели, а может и месяцы (зависит от загрузки поискового робота).

Следовательно, в течение такого времени ваш сайт не будет показываться в поисковых машинах. К тому же, поисковый робот может первую команду отработать для всех страница сайта, тогда как вторую - только для некоторых, и часть сайта выпадет из индекса совсем.

Зеркалами считаются сайты, которые являются полными либо частичными копиями.

Иногда используется склейка доменов через 302-й редирект, который полностью аналогичен 301-му, но говорит, что страница на новый адрес перемещена временно, а не насовсем. Проблема в том, что поисковые системы не совсем знают, как обрабатывать 302 редирект.

Также, иногда меняют адрес сайта, применяя в файле robots.txt директиву Host. Она не исключает ничего из индекса, а указывает, на какой домен надо ориентироваться для данного сайта. Директива Host самый безопасный, но, к сожалению, ненадежный способ сменить домен. Она имеет не обязательный характер, а рекомендательный, и поисковик может и не принять ее во внимание.

Таким образом, нет универсального способа, чтобы склейка доменов угодила всем поисковым машинам одновременно. Поэтому на практике необходимо "удовлетворять" каждый поисковик по отдельности.

Как избежать склейки доменов?

Склейка доменов представляет собой процесс передачи основных параметров одного домена другому. Чаще всего этот процесс выполняется при переносе сайта в другую доменную зону, при полном переносе содержания.

Поисковики распознают "зеркала" и оставляют только лишь одно доменное имя в выдаче. Зеркалами считаются сайты, которые являются полными либо частичными копиями. Копии могут определяться роботом-поисковиком по совпадению содержимого на страницах с одинаковыми web адресами. Также сайты являются зеркалами, если со страниц одного из сайтов настроена переадресация на соответствующие страницы второго сайта.

рис: Склейка зеркал необходима для правильной индексации

Робот-склейщик склеивает зеркала, а затем из них индексируется и, следовательно, участвует в поиске лишь один из сайтов, тот, который является главным зеркалом. Как же избежать нежелательной склейки доменов или добиться того, что после склеивания Ваш сайт оставался главным зеркалом?

В общем случае робот-склейщик выбирает главное зеркало согласно своего алгоритма. В Яндексе, например, обычно робот пользуется простым методом - чем короче будет домен, тем лучше. Поэтому, осуществляя выбор между доменами с дефисом или без, робот Яндекса остановится на последнем. Но роботу можно указывать на сайт, который ему нужно считать главным.

Для этого используется директива Host. Директива Host не дает гарантии выбора указанного главного зеркала, но тем не менее, робот-склейщик при принятии решения будет учитывать ее с очень высоким приоритетом.

Другие материалы

Приветствую вас, дорогой читатель! Вы решили сменить домен на более красивый и полностью хотите сохранить всю ссылочную массу старого сайта? Ваш сайт попал под фильтр и вы хотите знать, как правильно склеить два сайта? Тогда вы попали по адресу!

Итак, давайте разберем 7 пунктов, после выполнения которых вы научитесь правильно склеивать два сайта!

Как правильно склеить сайты?

Задача: склеить два домена: oldsite.ru (старый сайт) и newsite.ru (новый сайт).
1. Регистрируем новый домен newsite.ru
2. Клонируем сайт на новый домен.
3. Запрещаем к индексации роботам поисковой системы Google новый домен, но разрешаем для Yandex:
a) На oldsite.ru в файле robots.txt прописываем директиву Host:newsite.ru для поискового робота Яндекса.
Пример:

5. Ждем апдейт «зеркальщика» Яндекса, после чего проверяем склейку сайтов. Нужно, чтобы сайт newsite.ru стал главным зеркалом и на него перетек ТИЦ старого сайта (если таковой был).
Важно: внимательно проверяйте склейку!

Как проверить склейку сайта?

Чтобы проверить сайт на склейку, введите следующий url в строку адреса вашего браузера, только перед этим измените oldsite.ru на адрес своего сайта:

http: //bar-navig.yandex.ru/u?ver=2&url=http://oldsite.ru&show=1

6. Если склейка прошла удачно и теперь newsite.ru — главное зеркало, то:
а) на сайте newsite.ru в файле robots.txt разрешаем индексацию всем поисковым ботам;
б) ставим 301 редирект со всех страниц oldsite.ru на соотвествующие страницы сайта newsite.ru
т.е. в файле.htaccess прописываем:

< FilesMatch "robots.txt$" > RewriteEngine off RewriteEngine On RewriteCond % { HTTP_HOST} ^oldsite. ru$ [ NC] RewriteRule (.* ) http: //newsite.ru/$1 RewriteCond % { HTTP_HOST} ^newsite. ru$ [ NC] RewriteRule ^(.* ) $ http: //newsite.ru/$1

Очень часто новички не вникают полностью в суть проблемы и совершают очень грубую ошибку — они делают 301 первый редирект, упуская одну очень важную деталь.
Как только вы установите редирект, Яндекс не сможет склеить зеркала, так как будет считать сайты разными и просто будет думать, что один сайт переправляет пользователя на другой. Чтобы склеить два сайта , у робота Яндекса должна быть возможность индексации обоих зеркал. В этом случае сайт, на котором стоит редирект не может быть идентичным сайту без редиректа. Поэтому НЕ ЗАБЫВАЙТЕ о первых трех строчках, которые делают доступным файл robots.txt для посковиков, даже когда на всем сайте стоит 301 редирект.

Если очень невтерпеж, можно клеить 301-м редиректом сразу после того, как новый сайт войдет в индекс и пойдет трафик по НЧ запросам. Но лучше всего это делать после склейки зеркал Яндексом.

Как только вы выполняете 6-й пункт, 301-й редирект перекинет всех пользователей, весь статический вес, Page Rank, весь траст и прочую бредятину со старого домена на новый.

Таким образом прописанный выше код оповещает гуглу, что пора клеить домены, а первые три строчки указывают боту Яндекса, чтобы он склеил оба домена.

Поисковый бот Google хорошо понимает предназначение 301 редиректа, поэтому с ним не нужно трепать нервы, прописывая зеркала в файле robots.txt

Также после выполнения пункта 6 в панели вебмастера Google можете указать, что сайт переехал на новый домен. Это ускорит решение задачи.

7. Смотрим на результат и не забываем отписываться в комментариях!
P.S. Кстати, не забудьте продлить старый домен, чтобы не потерять все пузомерки (ТИЦ и PR), вес и посетителей.