В статье мы расскажем все об индексации страниц сайта в поисковых системах, опишем, что это такое и как происходит процесс. Без успешного сканирования ресурс не попадет в выдачу и не займет выгодные позиции в топе, которые влияют на получение органического трафика. Проблемы с индексом могут возникнуть из-за наличия технических ошибок, а также из-за размещения некачественного контента в разделах. Поэтому прежде чем приступать к продвижению площадки, стоит провести тщательный техаудит и сделать анализ контентных блоков.
Что такое индексирование
Это размещение информации о веб-сайте в базе данных поисковых систем. Благодаря этому ресурс становится доступным для пользователей в выдаче. Только после индексирования веб-площадка начинает участвовать в ранжировании и конкурировать за хорошее место в топе поисковиков. Если у нее есть проблемы в сканировании, и роботы ее не обходят, тогда SEO-продвижение будет бессмысленным. Для начала необходимо исправить все ошибки, а затем приступать к раскрутке.
За обход веб-страниц отвечают боты, то есть краулеры. Это специальные алгоритмы, которые ходят по площадкам и проверяют их, а затем обрабатывают информацию.
- текстовый блок;
- изображения;
- видео;
- мета-теги;
- ссылки;
- таблицы;
- различные формы заявок, кнопки.
Если при обходе роботы не обнаружили проблем, страничка проиндексируется – это значит, что ее увидят пользователи в поисковой выдаче. Даже при обнаружении ошибки ресурс может попасть в базу данных, однако в поиске он будет отсутствовать до тех пор, пока все найденные недочеты не будут устранены.
Как проходит обход
Специальные роботы переходят на продвигаемую площадку, и первым делом они обращаются к файлу robots.txt. Там расположены разрешающие и запрещающие директивы, которые значат, что какие-то страницы должны индексироваться, а другие нет. Помимо этого, в данном файле можно прописать правило, которое совсем закроет контент от индекса. Если такого запрета нет, то боты приступят к сканированию.
Они переходят по каждой ссылке, анализируют контент, оценивает тексты, изображения, видео, мета-теги, корректность url, техническую оптимизацию. Затем у текстовых блоков проверяются: уникальность, наличие переспама, содержание, релевантность продвигаемым запросам.
Если после обхода краулеры не обнаружили каких-либо проблем на платформе, через время она появится в выдаче и будет готова к SEO-продвижению.
На каждый ресурс поисковые системы выделяют краулинговый бюджет – это число урлов, которое боты смогут обойти в рамках одного посещения.
Как разные поисковики будут индексировать сайты
Точные алгоритмы индексирования неизвестны никому, так как эта информация является коммерческой, ее строго охраняют и не раскрывают. Однако точно можно сказать, что Яндекс при обходе площадки обращает внимание на robots.txt, а Google на sitemap.xml (карта, где собраны все полезные url, которые нужно просмотреть). Теперь поговорим более подробно об особенностях каждой поисковой системы.
Первоначально поисковик сканирует мобильную версию ресурса. Если она отвечает всем требованиям, то попадут в индекс и десктопные страницы. Если же роботам покажется, что на смартфонах контент недостаточен, а функционал ограничен, то вероятнее никакая версия платформы не будет отображаться в выдаче. Чтобы у вас не возникло проблем с индексацией, важно, чтобы контент корректно и удобно отображался не только на десктопах, но и на мобильных устройствах.
Помимо этого, Google также подтверждает наличие краулингового бюджета для каждого интернет-ресурса. Однако способы его увеличения также не раскрываются представителями компании. Есть предположение, что он зависит от возраста домена и частоты публикации контента. Чем эти показатели выше, тем больше урлов обходят роботы.
Яндекс
В отличие от Google, здесь предпочтение отдают десктопной версии. Боты Яндекса анализируют ее корректность, качество и наполненность полезным контентом. Однако про мобильную версию тоже не стоит забывать, так как она тоже приносит дополнительный трафик, особенно если подключить для них функционал турбо (облегченные страницы для смартфонов).
Яндекс быстрее проиндексирует контент у той площадки, у которой наиболее высокая посещаемость. То есть если большое количество пользователей переходят на сайт, значит, он полезен и удобен для них. Следовательно, этот ресурс качественный и его следует придержать в топе.
Как управлять индексацией в поисковиках
Для контроля над индексированием нам необходимо создать robots.txt. В нем мы сможем задать правила для поисковых систем, какие странички нужно обходить, а какие – игнорировать. Если на веб-сайте нет такого файла, тогда краулеры будут сканировать весь контент.
В robots.txt можно прописать запрет не только на индексацию мусорных и малополезных разделов, но и указать директиву для закрытия всего ресурса:
User-agent: *
Disallow: /
Если вы не хотите, чтобы боты обходили фильтры, их следует закрыть с помощью правила, например:
User-agent: *
Disallow: /filter*
- данные пользователей;
- корзину;
- поиск;
- фильтрацию в интернет-магазинах;
- версии для печати;
- дубли;
- малополезные странички.
Однако бывают случаи, когда для одной поисковой системы необходимо закрыть страницы, а для другой, наоборот – открыть.
Например, если вы внедрили на площадку AMP. Чтобы избежать дублирования, эти урлы необходимо скрыть от ботов Яндекса, а для Google оставить открытыми. В таком случае в robots.txt нужно прописать отдельное правило для Yandex:
User-agent: Yandex
Disallow: */amp/
Также если вам нужно, чтобы краулеры проиндексировали, например, странички пагинации, указывает разрешающую директиву:
Allow: */pagen*
Ускорить индексацию страниц сайта: что это значит
Поторопить роботов в сканировании ресурса можно несколькими способами:
- sitemap.xml;
- Яндекс.Вебмастер;
- Google Search Console.
Разберем подробнее каждый метод.
Sitemap
С помощью различных плагинов автоматически генерируется карта, куда входят ссылки на все полезные урлы. К этому файлу обращаются боты, чтобы понять, какие страницы нужно проиндексировать в первую очередь при обходе. Поэтому важно в setmap.xml указывать приоритетность страничек и даты обновления контента.
Наличие карты позволяет краулерам лучше ориентироваться в структуре ресурса, что не только улучшает, но и ускоряет индексирование.
Яндекс.Вебмастер
Сервис имеет инструмент, который позволяет отправить странички на переобход. Для каждой площадки есть ограничение по добавлению url для обхода. Вероятно, число ссылок зависит от краулингового бюджета сайта. Чтобы воспользоваться данным инструментом, необходимо зайти в Яндекс.Вебмастер в разделы:
Индексирование => Переобход страниц
Далее добавляете список url в специальное окно и кликаете на кнопку «Отправить», через некоторое время отобразится статус обхода.
Читайте также
Коммерческие факторы ранжирования: что это в SEO и какими они бывают
Google Search Console
Аналогичный инструмент есть и в Вебмастере Google. Однако сразу добавить список ссылок на переобход у вас не получится, их следует добавлять по одной. Вам необходимо кликнуть на кнопку «Проверка URL» и добавить в строку Url-адрес. Это означает, что ее будут индексировать.
Затем вы сможете отправить ее на переобход, кликнув на кнопку «Запросить индексирование».
Как еще запретить сканирование ресурса
Помимо использования файла robots.txt, закрыть от индексации некоторые странички можно с помощью мета-тега Noindex:
<meta name=»robots» content=»noindex» />
Данную строку необходимо разместить в коде сайта в пределах тегов <head>…</head>. Делать это можно как вручную с помощью технических специалистов, так и с использованием различных плагинов.
Как проверить, присутствует ли площадка в поиске
Посмотреть, просканировали ли роботы ваш ресурс, можно несколькими способами:
- вебмастер Google;
- запросить в поисковике;
- через бесплатные плагины.
Разберем каждый метод подробнее.
Google Search Console
В данном сервисе можно посмотреть, проиндексирован ли отдельный url. Для этого вам необходимо найти инструмент и добавить адрес страницы в специальную строку:
Если раздел в индексе, отобразится такая информация:
Если же по какой-либо причине боты его не просканировали, вы увидите следующие сведения:
Как проверить индексированный контент по поиску
В поисковую строку необходимо ввести url странички, которую хотите проанализировать, но перед адресом следует указать оператор:
site:ссылка
Если страница присутствует в выдаче, значит, она в индексе.
Бесплатные плагины
Для проверки сканирования следует скачать для браузера специальное расширение. Наиболее удобное – RDS Bar. С помощью данного сервиса можно не только сделать за индексом, но и узнавать:
- ИКС;
- количество ссылок;
- наличие robots и sitemap;
- информацию о вебархиве.
Чтобы проверить, как и какие разделы будут просканированы поисковыми системами, достаточно кликнуть на соответствующую информацию:
После этого вам отобразятся все-все странички, которые присутствуют в выдаче и находятся в индексе.
Читайте также
SEO-тренды на 2023 год: актуальные методы продвижения
Сайт не индексируется: что это означает
Первое, что необходимо сделать в такой ситуации – проанализировать robots.txt на наличие в нем запрещающей директивы: Disallow: / . Если она есть, ее необходимо убрать, и ресурс попадет в индекс. Однако это самая безобидная причина, встречаются гораздо серьезнее. Разберем их подробнее.
Технические
- Неверные коды ответа сервера. Странички могут быть проиндексированы в том случае, если они будут отражать 200 ОК. Если код ответа у всех полезных разделов иной – это техническая ошибка, которую следуют решать через техподдержку сайта.
- Мета-тег noindex. Если в кодировке страницы присутствует строка <meta name=»robots» content=»noindex» /> , это означает, что она закрыта от индекса. Открыть ее можно, убрав данный тег.
- Очень медленная загрузка. Проверить скорость можно через сервис Pagespeed от Google. Если ресурс находится в красной зоне, его необходимо оптимизировать, если в зеленой – то все хорошо.
Контентные
- Малоценные и малополезные странички. Если в каком либо разделе будет очень мало контента, Яндекс исключит его из индекса. Если пользователи на него не переходят, следовательно, он бесполезный и держать его в выдаче нет смысла. Поэтому к наполнению площадки следует относиться с особым вниманием.
- Неуникальный контент. Это размещение информации с низкой уникальностью, из-за этого могут возникнуть проблемы в индексировании. Чтобы их разрешить, достаточно переписать текстовые блоки и удалить старые.
- Дублирование. Поисковые системы негативно относятся к дублям, поэтому при обнаружении дублирующей информации они стараются его убрать из индекса.
Другие
- Наложение фильтра. Сайт может выпасть из выдачи из-за различных санкций. Например, «Фильтр для взрослых». Если вы столкнулись с такой проблемой, но на страницах нет запрещенного контента, тогда смело пишите в техническую поддержку Яндекса или Google и выясните причину, возможно, произошел сбой на их стороне.
- Наличие вирусов на площадке. Нередко она подвергается взлому, где хакеры могут разместить вредоносный код или совсем сломать ресурс.
- Не продлили домен. Чтобы избежать такую проблему, необходимо следить за своевременным продлением доменного имени, если не уложиться в сроки, странички пропадут из индекса.
Специалисты студии SEMANTICA перед началом выполнения работ по продвижению всегда проводят технический аудит сайта, чтобы на начальном этапе выявить все ошибки, связанные с индексацией. Такие задачи выполняются на основе специальных регламентов, которые ежемесячно дорабатываются и актуализируются самими же сотрудниками. Внесение таких изменений позволяет сохранять актуальность критериев качеств, что впоследствии приносит нашим клиентам хорошие результаты по трафику.
Заключение
В этой статье мы рассказали про индексирование страниц, описали, что это такое, как поисковые системы индексирую веб-проекты и что значит ускорение и управление индексом сайта. Сканирование ресурса – это важный процесс, который нужно отслеживать, если вы хотите продвигать площадку в ПС и получить органический трафик.
