Склеиваем домены (зеркала). Как склеить домены с www и без нужно ли это вам

17.05.2019


Что такое "Склейка доменов"?

Итак, что такое склейка доменов?

Склейка доменов это термин, используемый поисковыми системами, чтобы объяснить владельцам сайтов и оптимизаторам необходимость настройки сайтов таким образом, чтобы избежать появления дублей сайтов, которые еще называют зеркалами .

Есть несколько способов правильной склейки сайтов. Представим себе, что у вас есть два схожих сайта на разных доменах site1.ru и site2.ru, а основной сайт и контент, который Вы хотите представить пользователям, располагается только на site1.ru. В этом случае технически склейка доменов может быть представлена так:

  1. В специальном файле robots.txt сайта site2.ru укажем «host: site1.ru». В этом случае поисковые системы склеют эти домены в пользу site1.ru

  2. В файле.htaccess сайта site2.ru укажем переадресацию 301 редиректом:

    RewriteEngine on
    RewriteCond %{HTTP_HOST} ^site2.ru$
    RewriteCond %{HTTP_HOST} ^www.site2.ru$
    RewriteRule ^(.*)$ http://site1.ru/$1

Поисковая система Яндекс рекомендует первый пункт для того, чтобы указать основной домен (site2.ru будет определяться системой Яндекс как зеркало); второй пункт – редирект уровня сервера , и всех пользователей, а также ботов мы редиректим с site2.ru на аналогичные страницы site1.ru.

Склейка доменов представляет собой процесс передачи основных параметров одного домена другому.

Зачем же нужна склейка домена? Рассмотрим некоторые ситуации.

Чем грозит склейка доменов?

Для того чтобы все «показатели качества» переместились со старого на новый домен, и именно он показывался на нужных позициях в поисковиках, и получил ТИЦ и PR, накопленные старым доменом, применяется склейка доменов. Существует несколько способов, чтобы ее осуществить.

Можно использовать код ответа сервера 301 или 302 (так называемые 301-й и 302-й редирект), а также директиву Host. Получив код 301 («страница перемещена»), браузер меняет автоматически старый адрес на новый, и открывает по нему страницу. Но есть один подвох - временной разрыв между удалением старого домена из индекса поисковика и добавлением нового. Команда «исключить страницу по старому адресу» выполняется моментально, а для команды «добавить страницу по новому адресу» могут потребоваться дни, недели, а может и месяцы (зависит от загрузки поискового робота).

Следовательно, в течение такого времени ваш сайт не будет показываться в поисковых машинах. К тому же, поисковый робот может первую команду отработать для всех страница сайта, тогда как вторую - только для некоторых, и часть сайта выпадет из индекса совсем.

Зеркалами считаются сайты, которые являются полными либо частичными копиями.

Иногда используется склейка доменов через 302-й редирект, который полностью аналогичен 301-му, но говорит, что страница на новый адрес перемещена временно, а не насовсем. Проблема в том, что поисковые системы не совсем знают, как обрабатывать 302 редирект.

Также, иногда меняют адрес сайта, применяя в файле robots.txt директиву Host. Она не исключает ничего из индекса, а указывает, на какой домен надо ориентироваться для данного сайта. Директива Host самый безопасный, но, к сожалению, ненадежный способ сменить домен. Она имеет не обязательный характер, а рекомендательный, и поисковик может и не принять ее во внимание.

Таким образом, нет универсального способа, чтобы склейка доменов угодила всем поисковым машинам одновременно. Поэтому на практике необходимо "удовлетворять" каждый поисковик по отдельности.

Как избежать склейки доменов?

Склейка доменов представляет собой процесс передачи основных параметров одного домена другому. Чаще всего этот процесс выполняется при переносе сайта в другую доменную зону, при полном переносе содержания.

Поисковики распознают "зеркала" и оставляют только лишь одно доменное имя в выдаче. Зеркалами считаются сайты, которые являются полными либо частичными копиями. Копии могут определяться роботом-поисковиком по совпадению содержимого на страницах с одинаковыми web адресами. Также сайты являются зеркалами, если со страниц одного из сайтов настроена переадресация на соответствующие страницы второго сайта.


рис: Склейка зеркал необходима для правильной индексации

Робот-склейщик склеивает зеркала, а затем из них индексируется и, следовательно, участвует в поиске лишь один из сайтов, тот, который является главным зеркалом. Как же избежать нежелательной склейки доменов или добиться того, что после склеивания Ваш сайт оставался главным зеркалом?

В общем случае робот-склейщик выбирает главное зеркало согласно своего алгоритма. В Яндексе, например, обычно робот пользуется простым методом - чем короче будет домен, тем лучше. Поэтому, осуществляя выбор между доменами с дефисом или без, робот Яндекса остановится на последнем. Но роботу можно указывать на сайт, который ему нужно считать главным.

Для этого используется директива Host. Директива Host не дает гарантии выбора указанного главного зеркала, но тем не менее, робот-склейщик при принятии решения будет учитывать ее с очень высоким приоритетом.

Другие материалы

Склейка доменов - процесс объединения нескольких доменных имен. После его выполнения выделяется один, который будет ранжироваться поисковыми роботами - главное зеркало.

Что такое зеркала

Для того чтобы понять, как происходит склеивание доменов и зачем оно нужно, стоит разобраться, что такое зеркала. Это сайты, которые являются полными копиями друг друга. У них совпадает контент на страницах с одинаковыми адресами (например, example.com/page.html и example1.com/page.html).

Индексирование зеркал

Поисковые роботы обычно склеивают сайты-копии. Индексируется и участвует в поиске только один из них, который и является главным зеркалом.

Зачем нужна склейка

Склейку применяют при наличии дублей сайта, например локальной версии, попавшей в индекс, а также при переезде сайта или переходе на защищенный протокол (SSL протокол, HTTPS-версия), который должен определяться поисковыми роботами как главное зеркало прежнего домена.

Значение склейки для продвижения сайта

На такие меры можно идти, если ресурс еще не очень прокачен. Когда сайт имеет хорошие позиции и переезжает на другой домен, склейка может навредить. В любом случае при склеивании доменов настраивается 301-редирект.

Как проверить, является ли сайт зеркалом

Для этого можно добавить сайт «Яндекс.Вебмастер». Если он будет опознан как неглавное зеркало, то сервис автоматически добавит его вместе с главным. Если у сайта нет зеркала, он будет отображаться в сервисе отдельно.

Способы проведения склейки доменов

С помощью директивы Host

Простой способ, позволяющий склеить одноименные и разноименные домены. Например, необходимо разместить сайт на адресах сайт.рф и resurs.ru, сделав его доступным по ссылкам с www. Порядок действий следующий:

  • определить главное зеркало, которое будет продвигаться в будущем. Пусть это будет сайт.рф;
  • настроить склеиваемые домены таким образом, чтобы они возвращали одинаковый контент. Недопустима ситуация, когда обновление данных идет только на одном сайте;
  • на каждом домене во всех файлах robots.txt прописать директиву Host и указать адрес главного зеркала. В примере с кириллическим доменом запись выполняется в формате Punycode и выглядит следующим образом: Host: xn--80aswg.xn--p1ai;
  • проверить, чтобы на всех адресах содержались одинаковые указания на главное зеркало. Проверять нужно не только resurs.ru/robots.txt и сайт.рф/robots.txt, но и www. resurs.ru/robots.txt, www.сайт.рф/robots.txt;
  • зайти в «Яндекс.Вебмастер», в раздел «Сообщить о новом сайте», и добавить сайт.рф. Если указанное доменное имя ни с кем не склеено или уже является главным зеркалом, то появится сообщение о добавлении на индексирование. Если система сообщает, что сайт является неглавным зеркалом другого ресурса, то придется подождать переклейки, прежде чем домен начнет участвовать в поиске.

Если склейка осуществляется в паре имен с www и без www, то директиву прописывать не обязательно. Для этого в «Яндекс.Вебмастер» обычно используют инструмент «Главное зеркало».

Склейка и переклейка осуществляются при обновлении поисковых систем. Если домены разноименные, процесс может занять до 6 недель. Обратите внимание, что «Яндексу» для склейки зеркал достаточно директивы Host, а поисковая система Google ее не видит.

Северный редирект с HTTP -кодом 301

Этот способ подходит и для Google, и для «Яндекса». Редирект 301 (Moved Permanently - «перемещен навсегда») уведомляет поисковые системы о переезде страницы или сайта на новый адрес. Использование данного метода позволяет суммировать показатели обоих ресурсов и в полном объеме перенести ссылочный вес.

Порядок склейки:

  • В корне сайта находят файл с расширением.htaccess и в нем прописывают код редиректа 301 для каждой страницы.
  • Удаляют страницу mysite.ru/index.php с помощью команд RewriteCond %{THE_REQUEST} ^{3,9} /index.php HTTP/ и RewriteRule ^index.php$ http://mysite.ru/ .
  • Задают отображение нового доменного имени. Чтобы адрес отображался без www, используют команду RewriteCond %{HTTP_HOST} ^www.site.com$ и RewriteRule ^(.*)$ http://site.com/$1 . Чтобы домен отображался с www, прописывают команды RewriteCond %{HTTP_HOST} ^site.com$ и RewriteRule ^(.*)$ http://www.site.com/$1 .

После склеивания информация о переезде ресурса на новый домен поступает в поисковые системы.

При работе с редиректом 301 стоит учесть следующие рекомендации:

  • для поисковых систем наличие слеша и аббревиатуры www имеет большое значение. Необходимо выбрать версию с www/без www, со слешем/без слеша, с HTTP/HTTPS и настроить для них HOST и редирект;
  • стоит избавиться от всех дублей страниц /index.php;
  • ссылочный вес перейдет на новый домен только в том случае, если редирект 301 будет постраничным.

Типичные ошибки, мешающие правильной склейке

  • На сайтах размещен разный контент.
  • На всех склеенных доменах разная директива Host. В этом случае выбор главного зеркала для робота не очевиден.
  • Не обо всех доменах было сообщено. Робот не индексирует неизвестные адреса.
  • Одно или несколько доменных имен запрещены к индексированию в robots.txt.

Приветствую вас, дорогой читатель! Вы решили сменить домен на более красивый и полностью хотите сохранить всю ссылочную массу старого сайта? Ваш сайт попал под фильтр и вы хотите знать, как правильно склеить два сайта? Тогда вы попали по адресу!

Итак, давайте разберем 7 пунктов, после выполнения которых вы научитесь правильно склеивать два сайта!

Как правильно склеить сайты?

Задача: склеить два домена: oldsite.ru (старый сайт) и newsite.ru (новый сайт).
1. Регистрируем новый домен newsite.ru
2. Клонируем сайт на новый домен.
3. Запрещаем к индексации роботам поисковой системы Google новый домен, но разрешаем для Yandex:
a) На oldsite.ru в файле robots.txt прописываем директиву Host:newsite.ru для поискового робота Яндекса.
Пример:

5. Ждем апдейт «зеркальщика» Яндекса, после чего проверяем склейку сайтов. Нужно, чтобы сайт newsite.ru стал главным зеркалом и на него перетек ТИЦ старого сайта (если таковой был).
Важно: внимательно проверяйте склейку!

Как проверить склейку сайта?

Чтобы проверить сайт на склейку, введите следующий url в строку адреса вашего браузера, только перед этим измените oldsite.ru на адрес своего сайта:

http: //bar-navig.yandex.ru/u?ver=2&url=http://oldsite.ru&show=1

6. Если склейка прошла удачно и теперь newsite.ru — главное зеркало, то:
а) на сайте newsite.ru в файле robots.txt разрешаем индексацию всем поисковым ботам;
б) ставим 301 редирект со всех страниц oldsite.ru на соотвествующие страницы сайта newsite.ru
т.е. в файле.htaccess прописываем:

< FilesMatch "robots.txt$" > RewriteEngine off RewriteEngine On RewriteCond % { HTTP_HOST} ^oldsite. ru$ [ NC] RewriteRule (.* ) http: //newsite.ru/$1 RewriteCond % { HTTP_HOST} ^newsite. ru$ [ NC] RewriteRule ^(.* ) $ http: //newsite.ru/$1

Очень часто новички не вникают полностью в суть проблемы и совершают очень грубую ошибку — они делают 301 первый редирект, упуская одну очень важную деталь.
Как только вы установите редирект, Яндекс не сможет склеить зеркала, так как будет считать сайты разными и просто будет думать, что один сайт переправляет пользователя на другой. Чтобы склеить два сайта , у робота Яндекса должна быть возможность индексации обоих зеркал. В этом случае сайт, на котором стоит редирект не может быть идентичным сайту без редиректа. Поэтому НЕ ЗАБЫВАЙТЕ о первых трех строчках, которые делают доступным файл robots.txt для посковиков, даже когда на всем сайте стоит 301 редирект.

Если очень невтерпеж, можно клеить 301-м редиректом сразу после того, как новый сайт войдет в индекс и пойдет трафик по НЧ запросам. Но лучше всего это делать после склейки зеркал Яндексом.

Как только вы выполняете 6-й пункт, 301-й редирект перекинет всех пользователей, весь статический вес, Page Rank, весь траст и прочую бредятину со старого домена на новый.

Таким образом прописанный выше код оповещает гуглу, что пора клеить домены, а первые три строчки указывают боту Яндекса, чтобы он склеил оба домена.

Поисковый бот Google хорошо понимает предназначение 301 редиректа, поэтому с ним не нужно трепать нервы, прописывая зеркала в файле robots.txt

Также после выполнения пункта 6 в панели вебмастера Google можете указать, что сайт переехал на новый домен. Это ускорит решение задачи.

7. Смотрим на результат и не забываем отписываться в комментариях!
P.S. Кстати, не забудьте продлить старый домен, чтобы не потерять все пузомерки (ТИЦ и PR), вес и посетителей.

Здравствуйте, друзья!

Сегодня будем клеить домены! 🙂 Вернее я поделюсь с вами «инфой»: Как склеить домены с www и без и для чего это нам нужно?

Склеить домены означает объединить их в один вместе со всеми показателями: посещаемость, ТИЦ и PR. В итоге получаем основной домен и зеркало.

Почему у каждого сайта есть два имени?

По сути, если блог назван Vasia, его также можно называть www.vasia, причем это не ошибка.

Но каким образом это получается?

WorldWideWeb несколько десятилетий ранее была всего лишь частицей мирового интернет-пространства, а его сервера — очень слабенькими. Компьютерная индустрия была неразвитой, приходилось размещать сервера Apache (www.hotdog.com), FTP (ftp.hotdog.com) и почтовые сервера (mail.hotdog.com) порознь. Поэтому без «www» было не обойтись!

Сейчас это просто пережиток прошлого, атавизм. А нам с этим приходится мучиться! Хорошо, демагогию – в сторону! Приступим к делу! Разберем: что, зачем, и каким образом с ним бороться?

Зачем нужна склейка?

На это не стоило бы обращать внимания! Но эта чепуха, ой как, может повлиять на раскрутку сайта! А ведь это «бабки»! Вы прочувствовали тему?

Получается, что каждый из двух сайтов (Фу! Чушь какая! Покупал один сайт, а получил два! :)) набирает рейтинг в Гугле и Яндексе отдельно!

Кроме этого, еще такой казус: ваше отражение (в смысле домен с www) могут признать самозванцем, а контент – плагиатом! Я лично – в шоке! Типа: www.myhome.com своровал контент у myhome.com. Но я не могу никак уловить: если это так, то давайте же я размещу myhome.com на одном хостинге и закину туда один контент, а для www.myhome.com возьму другой хостинг, и там у меня будет совсем другая тема блога? А нет! Так, видите ли, нельзя! Ну, так если нельзя, зачем весь этот цирк? А скажу вам почему: потому что по-другому не умеем! Значит, будем жить по-старому и пользоваться дедовскими инструментами.

В результате, если не принять меры, то www-сайт может, вообще, выпасть из индекса как дубликат. Поэтому, лучше «подсказать» поисковикам, что они видят один сайт в двух изображениях: оригинал и зеркальное отражение.

Рассмотрим такой пример. Допустим, что веб-площадка mytipe.com достигла популярности, и масса пользователей ссылаются на нее. Но, получилось так, что когда сайт начал индексироваться, Яндекс первым нашел www.mytipe.com . Поэтому mytipe.com становится двойником (вернее, вором контента). А это означает, что второй домен может, вообще, выпасть из индекса!

Такие чудеса бывают только в интернете, наверное, плюс еще в сказке! Это словно, как если бы вам вручили два паспорта: один – на фамилию, а другой – на ваше имя. А теперь докажите, что Александр Сергеевич и Пушкин – это одно и то же лицо! Забавно? Это не то слово! Давайте теперь ломать голову: что же нам делать с этой катавасией?

Склеиваем зеркала

Для Яндекса нужно дать информацию: если мы имеем два домена, то какой будет считаться основным, а какой – зеркалом? Давайте сделаем на примере сайта sasha.ru , используя файл robots.txt (ищите его в корне сайта). Если вы его там не нашли, тогда создайте файл robots.txt (в обычном текстовом редакторе называете файл robots с расширением txt) сами и скопируйте туда этот текст:

User-agent: Yandex

Мы указали данные отдельно для Яндекса, чтобы не вводить в заблуждение других поисковиков непонятными для них фразами.

Когда мы задаем секцию "User-agent ", то по правилам мы должны вписать не меньше одной директивы "Disallow ".

Спустя время, когда Яндекс все это «переварит» (этот процесс может тянуться месяц), сделайте редирект. Только раньше — не делайте!

Проверка склейки домена осуществляется просто: в адресной строке браузера введите страничку своего блога с www, к примеру я ввиду www.сайт.

При переходе у меня приставка www отбрасывается и остается сайт . Таким образом у меня домен склеин с www при помощи и главным зеркалом является домен сайт . Смысл уловили?

Также можно посмотреть склейку домена в панели вебмастера Яндекс:

Вариантов сделать редирект есть несколько, Простейший из них – это способ с файлом .htaccess.

Открываем .htaccess в или создаем его, если его там нет. Давайте следующие строки добавим в файл (для редиректа с www.sasha.ru на sasha.ru):

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.sasha\.ru$

RewriteRule^(.*)$ http://sasha/$1

Обратная наклонная черта в 3-й строке обязательна!

Теперь ваше имя и фамилия – в одном паспорте, т.е. www.sasha.ru и sasha.ru являются одним интернет-ресурсом, но показываться будет только один, который вы определили в качестве основного.

В robots.txt – это «Host: sasha.ru», а в.htaccess – «RewriteRule^(.*)$ http://sasha/$1 ».

Для регистрации домена могу подсказать дешевый вариант – это 2domains.ru . Помните рекламу по телевизору: «…если все одинакового же качества, то зачем платить больше?»

На этом сервисе меня привлекли доступные тарифы на доменные имена, особенно в зоне «ru». Все основные способы оплаты задействованы: , карточки банков и т.д. Тут присутствует отзывчивая техподдержка. Зарегистрировал и работай, что еще нужно?

В добрый путь – к успеху!

Надеюсь, что вы все верно сделаете, и ваши веб-ресурсы «порвут» Всемирную паутину! Наших коллег уже много собралось в группе VK, заходите вы к нам тоже! Если у вас возникла своя особенная проблема, вы можете в комментариях об этом поведать, и я вам обязательно отвечу! Развивайтесь и идите вперед, друзья!

С уважением, Александр Сергиенко

Всем, без исключения, пользователям сети интернет приходилось и неоднократно встречаться с таким явлением как склейка доменов. Большинство пользователей не понимают сути процесса, но полезность и необходимость его неоспорима. Очень часто с помощью склейки можно решить проблемы крупных и не очень сайтов.

Иногда случаются ситуации, когда необходимо объединить несколько сайтов в один, этот процесс называется склейкой. Практически всегда ресурсы, с которых производится перенаправление, бывают копиями или зеркалами сайта. При склейке производится перевод веса ссылающегося домена тому домену, на который, собственно и был перенаправлен посетитель.

В каких случаях требуется склейка домена?

Склейку сайтов производят в некоторых случаях, например, если некий сайт, используя свободные домены, сменил доменное имя , для того, чтобы не потерять свою аудиторию, а также высокое положение в выдаче, всю свою ссылочную массу, а также показатели ТИЦ и PR. Используя свободные домены, можно создать несколько фактически одинаковых сайтов-зеркал, но их аудиторию необходимо объединить. Также склейка используется, когда нужно, чтобы в выдаче остался один вариант написания домена из нескольких. Также это проводится, когда на один сайт ссылается не одно доменное имя, созвучное с основным.

Как правильно склеить домены?

Существуют два способа склейки, но используются они обычно совместно. Склейка с помощью 301-го редиректа производится для Google и Yahoo, а поисковая система Яндекс находит основной вариант сайта с помощью директивы «код», которая прописывается в файле . Поэтому, если необходимо склеить домен для всех систем, оба эти метода должны использоваться совместно.

Для Яндекса любые два сайта можно склеить с помощью директивы host в Robots.txt . Этот файл находится в корневой директории в Вашем сайте. Даже в том случае, если Вы уверены, что Ваш сайт единственный, директивой host воспользоваться необходимо. Так как даже в таком случае у Вас существуют два зеркала – одно с www,а другое – без. А для того, чтобы сайт успешно развивался и продвигался просто необходимо, чтобы весь объём ссылок, проставляемых пользователями, концентрировался на Вашем сайте, и не зависел от того, поставят они ссылку с www или без.

Существует ещё один метод переадресации, когда редирект производится при помощи кода состояния «301». Требуемый документ перенесён на другой url. Для того, чтобы использовать этот редирект необходимо наличие файла ht access. Если Вы не смогли найти подобный файл в корневом каталоге Вашего сайта, то его необходимо создать с помощью блокнота. Не надо забывать, что ht access – не является расширением файла, именно его именем, начинающимся с точки.
Сам код редиректа выглядит так:

RewriteEngine On RewriteCond%{HTTP_HOST}^www.site.ru$ RewriteRule^(.*)$http://site.ru/$1

Так как существуют свободные домены, и практически каждый может их зарегистрировать, то иногда появляется необходимость проверить домены на склейку. Существуют разные способы такой проверки. Можно просто ввести в строку поиска Google запрос « info:имя сайта », или проверить в web-мастер Яндекс, какое основное зеркало он определил. Как альтернатива – можно использовать сервисы анализа сайтов.

Как пример: pr-ci.ru. Google может произвести склейку приблизительно за 2 недели. Весь трафик при этом сохраняется. Яндексом склейка производится на много дольше.