В этой статье мы расскажем, почему Яндекс может не индексировать конкретную страницу на сайте, раздел или весь проект целиком. Описанные проблемы могут повлиять и на индексацию в Google, и в любых других поисковых системах. Выпадение страниц из индекса – серьезная проблема, поскольку напрямую влияет на потенциальное количество переходов, которое может получить ресурс из поисковых систем.
1. Яндекс не индексирует сайт полностью
Если у вас новый сайт, то он появится в поисковой системе не сразу – может пройти от 2-3 недель до месяца. Как правило, Google быстрее находит и индексирует новые проекты, Яндекс – медленнее.
Если 2-3 недели прошло и все равно Яндекс не индексирует сайт – возможно, он просто о нем не знает:
- Добавьте ссылку на сайт в специальную форму: http://webmaster.yandex.ru/addurl.xml
- Добавьте сайт в сервис Яндекс.Вебмастер: http://webmaster.yandex.ru
- Добавьте на сайт Яндекс.Метрику
- Разместите на сайт ссылки из социальных сетей и блогов (роботы поисковых систем активно индексируют новый контент в социальных сетях и блогах);
1.2. Старый сайт частично или полностью выпал из индекса
Данную проблему вы заметите, сравнив число страниц на сайте и количество страниц в индексе поисковой системы (можно посмотреть через сервис Яндекс.Вебмастер).
Если из индекса выпало большинство страниц, и осталась только главная страница или главная и несколько внутренних – проблема скорее всего в наложенном фильтре АГС . Яндекс посчитал контент вашего сайта неуникальным или мало привлекательном для пользователей. Необходимо переработать содержание сайта.
Помимо наложения фильтров, Яндекс может не индексировать сайт по следующим причинам:
- Случайно запретили индексацию в файле Robots.txt . Проверьте его содержание.
- Робот не может получить доступ к сайту по причине нестабильной работы хостинга или IP-адрес робота случайно забанили (например, сайт отражал DDOS-атаку и робота поисковой системы приняли за атакующего).
2. Яндекс не индексирует страницы на сайте
Данная проблема встречается чаще, чем выпадение всего сайта из индекса. Из типичных проблем, при которых Яндекс может не индексировать страницу, можно выделить:
- Робот поисковой системы не доходит до страницы из-за запутанной структуры сайта или высокого уровня вложенности. Постарайтесь сделать так, чтобы на любую страницу сайта можно было попасть, сделав два щелчка мышкой. Создайте карту сайта.
- На странице мало уникального, интересного контента, и поисковая система не считает ее полезной для посетителей. Проверьте уникальность текста, доработайте его, сделайте более полезным.
- Количество страниц на сайте превышает лимит, выделенный поисковой системой для проекта. Например, Яндекс готов взять в индекс с вашего сайта 10 тысяч страниц, а на вашем проекте – 15 тысяч страниц. В любом случае 5 тысяч страниц в индекс не попадут. Старайтесь развивать проект, чтобы повысить лимит – и закрывайте от индексации ненужные, служебные страницы, чтобы освободить место в индексе для продвигаемых страниц.
- На страницу нет ссылок – соответственно, поисковая система не может ее найти.
- Страница запрещена к индексации в файле Robots.txt . Проверьте содержание файла.
- Страница содержит атрибут noindex в мета-теге robots, поэтому не индексируется поисковыми системами. Проверьте код страницы.
- Меню сайта сделано на флеше, который поисковые системы не обрабатывают. Соответственно, Яндекс не индексирует страницы сайта, ссылки на которые спрятаны во флеше. Необходимо сделать альтернативное меню, ссылки в котором будут доступы для роботов поисковых систем.
Всем привет! Сегодня пост о SEO. Нередко бывают случаи, когда оптимизируется одна страница сайта, а в поисковой выдаче появляется другая. Вам знакомы такие ситуации? Как же так происходит, что работа ведется над одним документом, а в серпе появляется другой? Одни начинают винить в этом поисковую систему, которая не правильно определила страницу. Вторые перекидываются на продвижение другой (более релевантной, по мнению поисковика). Третьи пытаются понять причины сего действия. Вот об этих причинах и пойдет речь в статье.
Вообще, ситуация с выбором поисковой системой не той страницы в результатах поиска - довольно частое явление. Вроде стараешься, затачиваешь документ под продвигаемые запросы, а поисковик выбирает совершенно другое. Обычно это происходит на более менее масштабных ресурсах со смежными целевыми запросами. Например, когда случайная карточка товара в интернет-магазине вытесняет категорию, которая находится в продвижении.
Чтобы без паники принять нужное и правильно решение, необходимо разобраться в причинах нахождения в поисковой выдаче не той страницы. Их несколько.
Полные и неполные дубли чреваты постоянной сменой целевой страницы в поисковой выдаче. Также из-за них вы можете неправильно выбрать продвигаемый документ, основываясь результатами внутреннего поиска по сайту.
Например, недавно искал статью в блоге Деваки про 301-редирект. В Яндексе получил такие результаты:
Посмотрел урлы и сначала подумал, что это одна и та же страница, но на разных местах. Как выяснилось позже, на одном URL был слэш ("/") на конце, а на другом не было. Это, видимо, такая особенность CMS. Надеюсь, что Сергей не будет на меня ругаться за эту информацию .
Получается, что какой-то слэш и уже появилась копия по другому адресу. Причем, CMS создает стандартные урлы со слэшем, а в выдаче выше показывался урл без него. Как раз ситуация по теме поста.
Необходимо следить за дублированным контентом, искать его и удалять из индекса. Полезная ссылка для этого пункта " ".
2. Релевантность
Иногда оптимизаторы берутся за продвижение заведомо проигрышных страниц со слабой релевантностью (контент документа слабо отвечает на запросы пользователей). Например, по незнанию, не анализируя выдачу, или по желанию заказчика. Пытаясь продвинуть нерелевантную или слабо оптимизированную страницу, они сталкиваются с определенными трудностями.
Другая сторона медали - переоптимизация. Хотел как лучше, а получилось как всегда . Несмотря на то, что оптимизация всеми возможными тегами уже не в моде, некоторые все же стараются максимально оптимизировать контент. Это грозит падением позиций страницы по продвигаемым запросам.
В современных реалиях SEO продвигаемый документ не должен пестрить выделенными ключевыми словами тегом strong, многочисленным перечислением поисковых запросов в title и по тексту, словами, поставленными в неестественных формах ("продвижение сайтов москва").
Если вы продвигаете существующую страницу проекта, то старайтесь выбрать наиболее релевантную (запрос к поисковику "site:domen.ru ключевое слово"). Если нужно какую-то определенную (например, по требованию заказчика), то необходимо сделать так, чтобы именно она встала на первое место в выдаче при внутреннем поиске по ресурсу (). Если создаете и затачиваете контент специально под продвижение, старайтесь его оптимизировать, но в разумных рамках. Полезность, легкое восприятие, человечность - все это на приоритетное место.
3. Внутренние ссылки
Бывает, что продвигаемую страницу вытесняет та, которая имеет бОльший внутренний ссылочный вес. Говоря простым языком, на нее больше ссылаются внутренние документы. Определить, сколько ссылок внутри ресурса ведет на ту или иную страницу можно, например, с помощью программы или благодаря внутреннему поиску CMS. Например, в wordpress, если зайти на страницу записи в административной панели и в окно поиска ввести URL, то движок выдаст статьи, в которых есть ссылки на него.
Этот метод, правда, не учитывает линки с плагинов (например, похожие записи), а также сквозных элементов (например, категории). Но, как правило, именно изменением количества ссылок из постов можно изменить ситуацию - уменьшить для нежелательного документа, направив их на желательный .
Чуть не забыл. В Гугл Вебмастер есть подобная подробная информация.
4. Внешние ссылки
Здесь по аналогии с 3-м пунктом только для внешней ссылочной массы. Документы, имеющие бОльшее количество обратных линков, обычно увереннее чувствуют себя при ранжировании.
Бывают случаи, что при смене "продвиженцев" меняются и целевые страницы. Если первые создавали ссылочную массу на одни документы, то при смене приоритетов на другие, могут появиться проблемы в серпе (старые могут не сдаваться).
Определить внешние линки можно из данных Яндекс.Вебмастер (Индексирование сайта -> Входящие ссылки - можно скачивать в виде архива) и Google Webmaster Tool (Поисковый трафик -> Ссылки на ваш сайт -> Ваши страницы, на которые чаще всего ссылаются -> Дополнительно -> Загрузить больше ссылок для примера).
5. Социальные сигналы
Ссылки с социальных сетей могут выступать сигналами для поисковых систем, по которым алгоритмы могут принимать решения в ту или иную сторону. В большинстве случаев при прочих равных условиях может выиграть тот документ, который собирает больше соц. сигналов. Безусловно, там свои алгоритмы и формулы подсчета, но это опустим.
Помочь определить количество лайков и расшариваний помогут социальные кнопки со счетчиками, а также сервисы для отслеживания подобной статистики (например, ).
6. Неправильный выбор уровня вложенности
Случается и такое, что, например, для продвижения конкурентного запроса выбирается карточка товара в интернет-магазине. Из этого вытекает слабый внутренний вес (идет пересечение с 3-м пунктом).
В идеале, конечно, для продвижения высококонкурентных ключевиков выбирать главную, для среднеконкуретных - категории/разделы, для низкоконкурентных - карточки товаров/посты/топики. Но это не всегда возможно . Чем конкурентнее продвигаемое ключевое слово, тем ближе должен располагаться документ, на котором оно содержится.
7. Ошибка поисковой системы
И такое тоже возможно и реально. Вы можете подумать, что я набил еще один пункт, но это не так. Сейчас я постараюсь донести главный посыл этого пункта. Алгоритмы поисковиков не идеальны, поэтому они могут содержать ошибки или неточности. Как правило, их устраняют через короткий промежуток времени.
Чтобы не стать жертвой такой ошибки, нужно отслеживать закономерности, а не кидаться после каждого апдейта Яндекса на исправление ситуации. Например, вы обнаружили, что в поисковой выдаче поменялась целевая страница, которая до этого считалась наиболее релевантной уже долгое время (к примеру, год). Необходимо сначала подождать 2-3 апейдта Яндекса или 2-3 недели для Гугла. Возможно, все вернется на свои места.
Если же не вернулось, то нормализуйте релевантность, внутренние и внешние ссылки, социальные сигналы, удалите дубли при их наличии. После этого наблюдайте за выдачей не меньше месяца. Если принимать решения, то только взвешенные, обдуманные, основанные на статистике.
Как часто вы сталкиваетесь с проблемой нахождения в поисковой выдаче не той страницы, которую вы продвигаете? Каким путем обычно решаете эту задачу? Жду от вас отзывы и комментарии к посту .
Каждый опытный вебмастер хотя бы раз в своей практике встречается с такой проблемой, что страницы сайта выпадают из индекса поисковых систем. Если вы с этим тоже столкнулись, то в этой статье мы разберем причины возникновения такого явления . Д ля начала нам нужно собрать все страницы которые были исключены с индекса и поддать их следующему анализу по следующим критериям:
10 основных причин выпадения страниц сайта из индекса Яндекса
Давайте разберем подробно причины выпадения из индекса поисковых систем страниц сайта. Почему это произошло и как поступить в сложившейся ситуации. Анализ можно провести самостоятельно и так же самостоятельно исправить выявленные проблемы.
Некачественный контент
Неуникальность . Конечно, если вы написали сами вполне внятный текст, проверяли на уникальность при публикации, и не постили где-нибудь еще, то тут может быть только одна причина – статью скопировали, разместили на стороннем ресурсе и скорее всего поисковые системы посчитали что первоисточник не вы.
Что делать? Проверьте текст на уникальность. Как это делать вы можете почитать в статье. Если вы нашли дубликаты в сети, то советуем проверить, как Яндекс относится к вашему тексту. Выберите один абзац не уникального текста, скопируйте и вставьте в поисковую строку Яндекса, возьмите этот кусочек текста в кавычки.
Если ваш сайт в выдаче находится первый, то волноваться нечего — ваш текст Яндекс считает первоисточником и ранжирует выше копий.
Если же наоборот – то надо обращаться с жалобой к владельцу сайта и хостинговой компании с просьбой удалить сворованный контент. При составлении письма советуем изучить закон об авторском праве и меры наказания за его нарушение.
Плохое качество контента. Что тут имеется ввиду? Это может быть грубый рерайт, размноженный текст с помощью синонимайзеров и прочих программ. Что делать? Переписать или дописать статью, так как плохой контент по сути никому не интересен.
Переоптимизация контента. Проверьте статью, которая выпала из индекса на количество вхождений ключевых слов. Сделать это можно любым сервисом http://advego.ru/text/seo/ или http://istio.com/rus/text/analyz/ . Тут обращайте внимание на максимальный процент по слову. Он должен быть максимум до 4%, или же ориентируйтесь по ТОПу выдачи, какой процент вхождения используют конкуренты, статьи которых занимают первые позиции. Так же обратите внимание как у вас прописаны метатеги: Title, Disсription, заголовок H1 и другие подзаголовки с тексте. Возможно вы перестарались и слишком много употребили ключевых слов.
Технические проблемы
Если сайт постоянно недоступен для ботов Яндекса, то поисковая система может посчитать, что данная страница уже не существует и исключить из поисковой выдачи. Иногда такие косяки бывают со стороны хостинга. Если он постоянно подводит, сайт часто становится недоступным, то надо переносить свои сайты на другой более качественный хостинг.
Так же проверьте, закрыта ли страница для индексации (проверьте запрещающие директивы файла роботс, и наличие атрибута noindex в metarobots. Вы могли не корректно настроить какой-нибудь плагин или CMS и случайно закрыть доступ роботам к индексации данного урл адреса.
За нарушение закона
Контент, размещенный на данной странице может нарушать закон об авторском праве. Или не соответствовать нормам, правилам и действующему законодательству РФ.
Что делать? Изучать более детально закон под действие которого попал ваш сайт. Если есть ошибки со стороны поисковой системы то это стоит решить в частной переписке со службой поддержки, если все по закону то удалить все нарушающие закон материалы и больше так не делать
Много исходящих ссылок с страницы
Проверьте количество исходящих ссылок, обратите внимание так же на количество расположенной рекламы. За агрессивную продажу ссылок Яндекс может посчитать страницу (или весь сайт) спамным, не соответствующим критериям качественного сайта.
Что делать? Убрать максимально возможное количество внешних ссылок, ведущие на сторонние ресурсы или закрыть их от индексации атрибутом rel=nofollow.
Дубли страниц внутри сайта
Очень частая мера при нахождении роботом в индексе страниц дублей это удаление лишних на усмотрение робота, и не редко бывает что удаляются совсем не те страницы которые нужно.
Что делать? Если у вас в индексе 24000 страниц а уникального контента всего 300 страниц, то будьте готовы к внезапному удалению 23500-23600 страниц или же, если лишние страницы не приносят вам трафик, пропишите корректные правила индексации в файле robots.txt и закройте все страницы не имеющие полезного уникального содержания.
Плохое качество сайта
У вас может быть изумительный контент, но если он будет подан на сломанной верстке или на совсем не естественной цветовой гамме то среднестатический пользователь вряд ли будет ее читать а скорее всего перейдет к конкурентам. Накопление статистики плохих поведенческих факторов может привести к наложению фильтра на ваш сайт.
Санкции в поисковых системах
Не стоит упускать такой момент, как фильтры поисковых систем. Как правило они накладываются уже за очень грубое и систематическое нарушение описанных здесь причин и если вы получили АГС или Бан тогда вам стоит пересмотреть все предыдущие пункты и найти конкретную причину за который вы получили санкции.
Глюк Яндекса
Если вы все проверили, но грубых нарушений не обнаружили, то это может быть обычный глюк Яндекса. Такое периодически бывает, и как правило восстанавливается в следующие 1-2 апдейта.
Массовое выпадение посадочных страниц из индекса поисковых систем, а следовательно и из поиска, черевато падением позиций сайта и снижением объема органического трафика.
Можно отметить несколько основных и часто встречающихся причин, почему поисковые системы выкидывают страницы сайта из своего индекса и перестают их учитывать в ранжировании.
Причины выпадения страниц из индекса
- Страницы, которые перенаправляют 301 или 302 редиректом на другие страницы или сторонние сайты, либо содержат слишком большое кол-во исходящих на сторонние ресурсы ссылок. Иначе их можно назвать дорвейными страницами .
- Страницы которые отдают контент для поисковых систем отличный от того что видит пользователь, так называемый клоакинг .
- Размещение на странице скрытого для пользователя контента, это может быть использовано программно (ошибки в коде или умышленно), а также с помощью разметки текста (очень маленький шрифт или цвет под фон)
- Не уникальный или малополезный контент, а также страницы с дублирующимся контентом с других страниц сайта.
- Страницы с большим количеством рекламных блоков, созданных преимущественно или исключительно, для заработка на рекламе.
- Избыточное количество ключевых фраз на странице – переоптимизация.
- Накрутка поведенческих факторов путем имитации действий пользователей
- Использование на сайте технологии кликджекинга - размещением на сайте невидимых пользователю элементов, взаимодействие с которыми осуществляется без его ведома или создание на сайте невидимых пользователю элементов поверх кнопок, форм, видеороликов и т.п.
- Ошибочное закрытие раздела сайта или страницы в файле robots.txt или мета-тегом robots.
- Заражение сайта вредоносным кодом с точки зрения ПС.
- Сбои в работе хостинга или CMS из-за чего страница длительное время не доступна для роботов ПС.
Как определить выпавшие из индекса Яндекса страницы
В Яндекс Вебмастере имеется достаточно удобный инструмент по анализу страниц, которые поисковая система посчитала не соответствующими необходимым критерия качества. Владея этой информацией Вы сможете устранить допущенные ошибки для возврата возврата необходимых страниц в индекс поисковой системы Яндекс.
Резюме:
Чтобы избежать выпадения страниц сайта из индекса ПС следует следить за техническим состоянием ресурса и своевременно устранять возникающие ошибки. Не злоупотреблять рекламными блоками для информационных проектов, а для E-commerce проектов вообще от них отказаться. Не использовать запрещенных поисковыми системами техник, таких как клоакинг, дорвеи и кликджекинг. А также наполнять свой ресурс качественным и уникальным контентом полезным не только для SEO , но и для пользователей.
С поисковыми системами нужно быть крайне осторожным, их алгоритмы совершенствуются постоянно, что приводит неопытных вебмастеров к серьезным проблемам.
Сделав одно не правильное действие, можно не то что попрощаться с ТОПом выдачи, но и вообще придти к исключению сайта из неё.
Почему страницы выпали из индекса? Для всех новичков мы уже рассказывали, . Делать это нужно постоянно, чтобы быстро определять проблемы.
Чем быстрее вы их выявите, тем проще будет всё исправить. Удаление страниц из поисковой выдачи может быть связано с различными причинами, попробуем в этом разобраться.
Страницы выпадают из индекса Яндекса, что делать?
Самая распространенная причина удаления страниц из списка проиндексированных – это попадание сайта под фильтры .
У поисковых систем создано несколько фильтров, под которые попадают ресурсы за нарушение разных правил. К примеру, под Минусинск попадают площадки, чьи владельцы покупали ссылки.
В одной из наших статей рассказывалось, . А вообще, сначала нужно отправить сообщение в тех. поддержку поисковых систем, чтобы выяснить, какой именно фильтр наложен и по какой причине.
Если речь идет о Google, то при ручных санкциях вебмастерам отправляются уведомления о наложении санкций. Автоматическое добавление под фильтры не сопровождается этим уведомлением.
На практике встречаются самые разнообразные факторы, из-за которых выпали страницы из индекса в Яндекс. К примеру, это может быть переспам ключевыми словами .
Если вы ещё не зарегистрированы в специальных сервисах для вебмастеров, обязательно это сделайте:
Это необходимо для сбора статистики, получения уведомлений и так далее. Даже если ваша площадка попадает под фильтры, вы сразу это заметите.
Если же вы не имеете представления, за что ваши страницы пропали из индекса, читайте, (это тех. поддержка Яндекса).
Общие причины попадания под фильтры
Чтобы вы не думали, что вашу площадку по ошибке добавили под фильтры, рассмотрите основные причины наложения санкций поисковыми системами и проанализируйте свою деятельность за последние месяцы.
Возможно, вы сами создали проблемы, если:
- использовали высокую плотность ключевых слов;
- покупали не качественные ссылки;
- публиковали на сайте копипаст;
- продавали ссылки (добавляли слишком много внешних ссылок);
- применяли запрещенные методы продвижения;
- пытались скрыть контент или подменить его;
- размещение слишком коротких статей (до 500 символов).
Дайте поисковой системе хотя бы один повод добавить вас под фильтры и санкции 100% будут наложены. Лучшее думать об этом заранее, так как вывести площадку из-под них не так просто. Для начала потребуется устранить проблему, а потом продолжать развивать проект.
Выпала страница из индекса, но фильтры не наложены
Бывают проблемы связанные с индексацией, которые не указывают на наложение санкций. Возможно, вы устанавливали какой-нибудь плагин или редактировали код, что может привести к закрытию страницы.
Хорошо, что в интернете есть профессионалы, готовые помочь и после создания темы на одном из популярных сервисов, выяснилось следующее.
Начало
