Привет, друзья. Пора бы мне уже довести до логического завершения тему про управление индексацией сайта. Я вам напомню, какие методы управления индексацией вообще существуют: файл robots.txt, мета-тег robots, заголовок X-Robots-Tag, ну и 301-редирект здесь можно упомянуть, как метод борьбы с дублями, что так же является неотъемлемой частью качественной индексации. И обо всем этом я вам уже рассказывал, но есть еще один очень важный и интересный способ борьбы с дублями, в чем-то альтернатива редиректу, это атрибут rel="canonical" , который присваивается тегу link и располагается в части
любой html-страницы.Выглядит это как-то так:
Что немаловажно – данный тег поддерживается всеми поисковыми системами , в том числе нашими любимыми Яндекс и Google.
Итак, сегодня я вам расскажу, как и для чего нужно использовать тег rel canonical , в каких ситуациях он действительно эффективен, а заодно убедимся в этой самой эффективности на реальном эксперименте. Приготовьтесь:)
Для начала напомню вам о тех постах, что я затронул в начале:
Сперва стоит пройтись по теории, чтобы понять для чего данный атрибут вообще был создан, какие цели преследовались и узнать, что же рекомендуют поисковики.
Привожу ссылки на официальную позицию поисковых систем: Google об атрибуте rel="canonical" и Яндекс про атрибут rel="canonical" тега . Разумеется, и mail.ru тут как тут – про значение canonical в теге — не могли же они отстать от Яндекса, но это и хорошо, все под копирку, нам же проще.
Что такое каноническая страница? Это рекомендуемый экземпляр из набора страниц с очень похожим содержанием.
Зачем нужно указывать каноническую страницу? Если поисковая система видит, что страницы очень похожи или одинаковы, то согласно алгоритмам в результатах поиска появится только одна предпочтительная страница, которая, по мнению поисковой системы, лучше всего отвечает на запрос пользователя.
А как мы знаем, поисковик не всегда угадывает наши желания, потому лучше перестраховаться и указать нужную страницу самостоятельно. Сделать это можно добавив ссылку rel="canonical" в раздел
неканонических версий всех страниц HTML.Еще оказывается, можно указывать каноническую ссылку для не HTML содержимого , а, например, для pdf, doc или других файлов при помощи заголовков. Типа как X-Robots-Tag HTTP header, только тут будет Link HTTP header. Но это уже совсем для гик-маньяков, так что рассказывать об этом не буду.
Что будет, если атрибут rel="canonical" указывает на несуществующую страницу? А если каноническими назначено несколько страниц набора? В этом случае поисковая система просто проигнорирует данные правила и будет поступать, как и раньше — вычислять подходящий экземпляр из набора страниц согласно алгоритмам.
Можно ли использовать атрибут rel="canonical" для указания канонического URL на другом домене? Можно, но не нужно. Важно понимать, что атрибут canonical это всего лишь подсказка или рекомендация, а не строгое правило в отличие от редиректа, который и стоит использовать в данном случае.
На основании всего вышенаписанного, а так же по информации из других официальных источников (блоги поисковых систем и блоги их сотрудников) можно сделать выводы о том, что тег link rel="canonical":
Все, с теорией покончено, теперь я вам расскажу, зачем и для чего я использую тег rel="canonical" на своих сайтах. Главное и основное – это борьба и предупреждение появления дублей. В основном это дубли, связанные с параметрами или метками в url. Не всегда уместно бороться с этими проблемами . Метки иногда очень важны, например, когда ведется кампания в контексте и в метках передаются важные статистические сведения, да и много еще чего можно отслеживать метками. Закрывать такие адреса в robots.txt мне не по душе, использовать мета роботс не получится, а редирект уничтожит все данные.
Классический пример использования канонических адресов это интернет магазины с кучей сортировок по еще большей куче различных параметров товаров – мне кажется, ради этого и придумали данный атрибут.
Это все понятно. Но вот только о самом главном для нас seo’шников нигде не сказано – а как дела обстоят с передачей ссылочного веса? Что если на неканонический адрес стоят ссылки, что же будет с канонической страницей, получит ли она от этого бонусы? А если сперва появилась ссылка, а rel="canonical" был указан позже? А что будет, если все наоборот?
Вопросов много, а официальных комментариев нет. На вопросы кто виноват и что делать, ответ один – надо ставить эксперимент! Хотел я такой эксперимент поставить, но оказалось, что его уже не так давно провел Игорь, автор блога bakalov.info , за что ему огромное спасибо.
Вот цитата с его блога о том, какова цель, какие варианты развития событий и ожидаемый результат:
Цель эксперимента: выяснить, будет ли передан «вес ссылки» со страницу А на страницу С, в том случае, если страница А ссылается на страницу Б, а на странице Б стоит rel="canonical", который указывает, что канонической страницей является страница С.
Вариант №1. Страница А ссылается на страницу Б и эта ссылка проиндексирована поисковыми системами. Через некоторое время на странице Б устанавливается rel="canonical", который указывает, что канонической является страница С, что в итоге приводит к исключению страницы Б из индекса.
Вариант №2. На странице Б устанавливается rel="canonical", который указывает, что канонической является страница С, что приводит к исключению страницы Б из индекса. Через некоторое время после этого со страницы А на страницу Б устанавливается ссылка.
Необходимо выяснить в каком из двух вариантов будет передан «вес ссылки» со страницы А на страницу С. Под «весом ссылки» я понимаю так называемый «анкорный вес», т.е. если страница акцептор ищется по тексту стоящей на нее ссылки, то считаем, что «вес ссылки» передается, если не ищется, то не передается.
Полное описание и ход эксперимента .
Я же сообщу результаты эксперимента и выводы:
Для Яндекса не имеет значения, что появилось раньше – rel="canonical", или внешняя ссылка – в любом случае «вес ссылки» будет передан с неканонического URL на канонический.
Для Google на самом деле все аналогично, хотя в посте Игоря говорится иначе: если канонический адрес был указан и страницы уже склеились, а потом появилась внешняя ссылка, то вес передается, а если внешняя ссылка появилась раньше, чем каноникал, то вес не перетекает.
Просто «перетекание» веса во втором случае заняло несколько больше времени, ведь согласно комментарию на блоге сказано, что каноническая страница все же ищется по анкорному тексту.
Короче, все работает!
В очередной раз обобщая всю информацию изложенную в посте, хочу сказать, что использовать тег link rel="canonical" нужно . В первую очередь это отличный способ предотвратить дублирование контента (особенно это касается ошибок и недоработок большинства CMS) и наложение санкций за это со стороны поисковых систем.
Удачи вам, друзья! Оставляйте комментарии и задавайте вопросы.
Чтобы осуществлять правильное продвижение страниц сайта в поисковых системах, необходимо сообщать роботам, какие URL более предпочтительны для попадения в индекс. Это задаётся с помощью специальных тегов.
Остановимся подробнее на теге rel=»canonical». Его основная цель - борьба с дублями страниц и неинформативными страницами (например страницами пагинации), а также повышение качества индексации с помощью прописывания приоритетного адреса.
У меня был сайт с ограниченным краулинговым бюджетом. То есть по факту там было тысяч 10 страниц, но в индексе могли быть только 2 тысячи (потому что сайт был молодой и не трастовый). В итоге те страницы, которые мне были нужны в индексе, часто туда не попадали. Помог каноникал — проставление со страниц пагинации каноникала на основные URL позволило четко дать поисковикам понять, какие страницы должны быть в индексе.
Тег canonical будет чрезвычайно полезен, если на вашем сайте есть страницы-дубли, которые имеются в доступе по различным адресам. С помощью него необходимо прописать приоритетный канонический URL для восприятия поисковиками.
Что важно - будет также передаваться ссылочный вес и прочие характеристики страницы (PageRank и др.).
Этот атрибут указывается внутри тега
на URL-дубликатах с указанием предпочитаемого URL. Оформляется он таким образом:При наличии похожих страниц в индексации поисковиками участвуют все они одновременно. В итоге ни одна из них в полной мере не продвигается по причине того, что внутренние ссылки имеются на обе страницы. Поисковик не знает, какой из них нужно отдать приоритет.
То же самое касается и внешних ссылок - продвигается не один URL, а несколько, а вес также распределяется между ними. И сайт находится на более низких позициях, чем мог бы быть.
Благодаря каноникал в индексе поисковиков будет предпочитаемый канонический URL.
Например, у вас на сайте есть печатная версия страницы. Или отдельный урл для мобильной версии. И вы ставите каноникал с них на основную страницу, в итоге эта основная страница получает больший вес и плюс при ранжировании, а из индекса убирается куча мусора.
Нужно проставить rel canonical со страниц пагинации (site.ru/category/page/2) на первую из них (site.ru/category).
Мнения о настройке пагинации разнятся - некоторые специалисты говорят о необходимости закрытия от поисковиков всех страниц пагинации, другие - о том, что лучше их оставить в доступе роботов поисковых систем.
Яндекс рекомендует со всех страниц пагинации настраивать каноническую ссылку на первую из них. Как итог - яндекс-робот воспримет, что именно первую страницу необходимо индексировать. Про индексацию товаров уточняется, что по другим ссылкам Яндекс всё равно будет переходить.
Специалисты Google склоняются к следующим вариантам:
А вот видос Деваки, где он подробно поясняет за пагинацию:
Есть также и другое мнение — типа страницы пагинации закрывать не надо, что они наоборот должны получать дополнительный трафик. И тут важны два момента:
Можно прописать пагинацию этими тегами, а каноническую ссылку оформить на первую или на главную страницу - в зависимости от особенностей ресурса.
Вот допустим один из блогов (Sawynih или как-то так, уже не помню) писал о кейсе, когда страницы пагинации давали дополнительный трафик.
Если на разных URL представлен похожий товар, навигацию можно задать следующими способами:
(купить|заказать|приобрести) юбки в (саратове|ростове|астрахани) (по низкой цене|выгодно|дешево) со скидкой (в магазине|в интернет магазине)
Будут созданы уникальные значения метатегов.
Важно осуществить эту работу один раз индивидуально для каждого URL. Параметры будут зафиксированы поисковиками.
Многие плагины для WordPress прекрасно работают с данным тегом.
Большинство из них просты в применении - активируем плагин, а канонические ссылки прописываются автоматически. В других SEO-плагинах достаточно установить галочку возле этого параметра в настройках. Если какая-то статья относится одновременно к разным категориям, то каноническая ссылка фиксируется самостоятельно.
При использовании плагина Yoast SEO и расположения поста в разных категориях, поисковик будет видеть только одну страницу.
Важно подчеркнуть следующие моменты:
В данном случае каноникал проставлен на чёрную овцу
Преимущества, связанные с умением правильно настраивать индексацию с помощью тега canonical:
Link rel=canonical — атрибут тега , который используется для обозначения канонических страниц на сайте. Что такое канонические страницы? Каноническая страница — это страница сайта адрес которого является каноническим (предпочитаемым), в группе схожих по сердержимому страниц. Проще говоря канонический URL страницы — это адрес, который будет индексироваться при наличии страниц-дублей.
Характерный пример — страница сайта доступна по нескольким адресам:
Site.ru/page?id=3 site.ru/blog/seo/yandex site.ru/blog/yandex
Допустим, что предпочитаемым (каноническим) URL адресом является — /blog/seo/yandex. Значит в коде страниц:
Site.ru/page?id=3 site.ru/blog/yandex
необходимо отразить адрес канонической страницы:
Site.ru/blog/seo/yandex
Каноническая страница — это оригинальная страница или первоисточник . Каноническая ссылка (с атрибутом rel=canonical тега link) — не является строгой дерективой. Это значит, что указание страницы как канонической может как учитываться так и игнорироваться поисковыми роботами. Поисковые системы негативно относятся к дублированому контенту, будь это кража контента с дргого сайта или дубликаты страниц на одном сайте.
Часто дублирование контента происходит из-за некорректной или плохо настроенной CMS. Организация канонических страниц как существенная часть позволяет избежать индексирования страниц-дублей. Кроме того, что это может снизить нагрузку на сайт, удаление ненужных страниц оптимизирует расход ресурсов, которые тратят поисковые системы на индексацию. Поисковые роботы будут быстрее находить новые страницы и другие изменения на сайте.
Правила, которые определяют корректное восприятие rel=canonical поисковыми системами:
Канонические ссылки (атрибут тега link rel canonical) позволяет указать какую именно страницу из группы похожих или одинаковых страниц нужно индексировать. Полезность данного инструмента сложно переоценить и глупо игнорировать. Ведь именно к правильному толкованию страниц сайта поисковыми системами, в значительной степени и сводится SEO сайта. Тем более, что канонические ссылки поддерживаются практически любой современной CMS вроде Joomla или WordPress.
Пишите в комментариях используете ли вы каннонические ссылки на своем сайте.
Делайте репосты статьи. Подписывайтесь на наш .
Не дублируйте контент и ставьте правильные ссылки!
Атрибут rel=canonical позволяет бороться с дублями страниц. Когда одно и то же содержимое доступно по разным URL, канонические ссылки указывают главную страницу. Эта страница (приоритетная) как раз и будет находиться в индексе поисковых систем и весь вес со страниц дубликатов будет перетекать на основную страницу.
Атрибут canonical прописывается на страницах дублей с указанием наиболее приоритетной страницы в разделестраницы вот так:
Данный тег прекрасно понимают все основные поисковые системы и канонические ссылки являются для некоторых типов страниц неотъемлемыми с точки зрения SEO оптимизации. Об этом всем мы с вами поговорим сегодня.
Когда на один и тот же контент можно попасть с помощью разных URL’ов, в индексе поисковых систем начинает участвовать сразу несколько страниц. В итоге ни одна страница толком не продвигается, так как внутренние ссылки идут то на одну страницу, то на другую.
Тоже самое касается внешних ссылок. Невозможно сосредоточиться максимально на продвижении одной страницы, а это в итоге не раскрывает потенциал страницы полностью. Или же, к примеру, покупаются ссылки на одну страницу, а на самом деле в индексе совершенно другая страница.
В результате чего сайт будет занимать позиции ниже, чем мог бы. Атрибут rel=canonical как раз позволяет нам оставить в индексе только самую приоритетную страницу. Также весь ссылочный вес передается на нее.
Чтобы в индексе была только одна страница, нужно прописать на страницах дубликатах в разделеканоническую ссылку на приоритетную:
Если для удаления дублей, можно воспользоваться , я рекомендую в первую очередь обратить внимание на него. Если же 301 редирект не помогает или его использование неуместно, то на помощь можно позвать канонические ссылки, только будьте аккуратными.
Когда реализуете партнерскую программу, часто много ссылок c “хвостами” начинают ссылаться на вас. Получается, что-то вроде этого: site.ru/?partner=id777. С подобных страниц тоже нужно прописывать атрибут canonical, чтобы они не попали в индекс.
Как вы уже поняли, чтобы в индексе был только 1 вариант страницы, нужно со всех дублирующихся страниц проставить атрибут canonical. Вот как он должен выглядеть
Данный тег должен находиться внутри.
Каноническая страница – это та страница, которая рекомендуется поисковикам для индексации среди всех дублей. Какую же лучше выбрать?
Но будьте аккуратны, можете “наломать дров”, лучше использовать полный URL, с указанием вашего домена.
Запомните: rel=canonical передает вес входящих ссылок .
Почитайте еще эти статьи (официальные руководства от Яндекса и Google):
Меня не раз спрашивали, можно ли ставить каноническую ссылку саму на себя? Такое обычно происходит при автоматической генерации с помощью разных плагинов или силами CMS. Ответ – да, можно, ничего в этом плохого нет.
Многие вебмастера хотят сделать rel=canonical со страниц пагинации (site.ru/category/page/2) на первую страницу (site.ru/category). Это неправильно, как я считаю. Все-таки здесь встречаются не полные дубли, такие страницы пагинации лучше закрыть с помощью:
Многие SEO плагины для WordPress очень хорошо дружат с атрибутом rel=canonical. Мой любимый и, как я считаю, вообще ничего не требует. Просто достаточно его активировать и необходимые канонические URL сами прописываются.
В некоторых других SEO плагинах в настройках нужно просто поставить галочку напротив “Канонические страницы” (или еще что-то подобное).
То есть по умолчанию, если статья на моем блоге присвоена сразу к нескольким категориям, то автоматически прописывается каноническая страница..html у меня прописан следующий атрибут rel=canonical (обратите внимание, это другой URL):
По умолчанию, благодаря плагину Yoast SEO, если пост располагается сразу в нескольких категориях, в индекс же попадает только один вариант.
Я надеюсь, что вполне понятно, смог объяснить, что такое атрибут rel=canonical и как им пользоваться. Настоятельно рекомендую ознакомиться вам еще с этим уроком: . Все эти действия с rel=canonical, 301-ым редиректом, meta name robots, файлом robots.txt позволят сделать выдачу вашего сайта “чистым”.
Я за “чистый” индекс без дублей, служебных страниц и пр. ненужных вещей. Благодаря чистоте SEO продвижение сайта будет проще и правильнее.
И еще: чтобы не было подобных заморочек я рекомендую будущие ваши сайты создавать без указания категорий в URL статей/товаров. То есть пусть будет что-то вроде:
Отдельное спасибо за ретвиты и репосты, мои друзья. Обязательно жду ваших мыслей в комментариях.
На данный момент, устранение проблемы дублированных страниц является одной из самых важных при оптимизации сайта. В большинстве случаев для решения этой проблемы лучше всего использовать .
Но, когда мы или не можем использовать 301 редирект, или нам необходимы страницы для просмотра пользователями, то нам на помощь приходит атрибут rel= «canonical».
С помощью этого атрибута можно довольно быстро устранить проблемы дублирующего контента.
Чтобы для текущей страницы указать ее каноническую ссылку, то в секции
нужно прописать следующее:< link rel= "canonical" href= "http://site.com/canonical-link.html" /> |
Очень важно прописать именно в секции HEAD, так как если вы случайно пропишите данный атрибут не в этой секции, то данная инструкция будет проигнорированная поисковыми системами.
Для каждой страницы в xml-карте сайта вы можете прописать её каноническую ссылку. Но, в данном случае, поисковые системы могут проигнорировать данные рекомендации.
Link: |
Link:
Но, следуют учесть, что на данный момент Google поддерживает данный элемент заголовка только для Веб-поиска.
Если вы четко понимаете причину возникновения похожих или очень схожих страниц у вас на сайте и, при этом, каждая такая страница должна существовать на сайте, то желательно определиться какая из этих страниц серии является основной и со всех других страниц проставить канонические ссылки на эту одну главную.
В общем лучше всего использовать 301 редирект, но если это довольно сложно или долго реализовывать, то можно воспользоваться и атрибутом rel=”canonical”. По заявлениям Google, передаваем вес через канонические ссылки абсолютно идентичный весу, который передает 301 редирект.
Если у вас в интернет магазине есть серия товаров, которая отличается, например, только цветом, то лучше выбрать один товар в качестве главного (типичного) и на него проставить канонические ссылки с других продуктов.
Если на вашем сайте товары можно сортировать разными способами и параметр сортировки указывается в урле:
Для одной страницы должна быть одна каноническая страница. Если указанно несколько страниц, то в таком случае будет учтена только первая инструкция.
Следите за тем, чтобы всегда указывать одни и те же канонические страницы при разной реализации (например, через xml-карту сайта и через rel=”canonical” на самой странице).
В общем случае, при указании канонических ссылок всегда желательно прописывать абсолютные ссылки
Тогда поисковые системы будут просто игнорировать данные инструкции.
После того, как вы настроили все канонические ссылки у себя на сайте, то желательно сделать проверку всего сайта на то, как будут видеть эти все инструкции поисковые роботы. Для этого лучше всего воспользоваться программой Screaming Frog SEO Spider.
После индексации вашего сайта эта программа в удобном для вас виде предоставит вам полную информацию по всем страницам
Вся эта информация будет на вкладке Directives
Следует не забыть провести некоторые дополнительные настройки:
1. Убедиться, что на вкладке Basic выставлена галочка напротив Crawl Canonical