Каждый 5-й вопрос в нашу службу поддержки по теории и практике поискового продвижения связан с проблемой медленной индексации нового сайта или новых страниц на сайте. Часто слышим такие жалобы, что сайт создан, открыт для поисковых роботов, но проходит день-два, неделя-две, а поисковики никак не желают принимать сайт в свою базу или не хотят показывать вашу новую статью в своей выдаче.
В этой статье вы узнаете об основных способах попадания вашего сайта в индексную базу поисковых систем, а также бонусом – про хорошие методы скорейшего попадания ваших новых статей в выдачу. Итак, начнем...
Что такое индексация? Это процесс изучения вашего сайта роботами поисковых систем, вследствие которого роботы добавляют информацию о нем в свою поисковую базу. Если ваш сайт проиндексирован, значит, он может участвовать в поисковой выдаче.
Действенными способами ускорения индексации нового сайта считаются:
- Добавление сайта в поисковики.
- Настройка файла robots.txt и создание XML-карты сайта.
- Настройка вебмастеров поисковых систем.
- Правильная настройка HTML-карты сайта.
- Внутренняя перелинковка.
- Регистрация сайта в каталогах, справочниках и рейтингах.
- Интеграция сайта с социальными сетями.
Теперь о каждом пункте подробнее.
1. Добавление сайта в поисковики
Все этапы будем рассматривать на основных поисковых системах, в индекс которых нужно стараться попасть в первую очередь. Как вы уже догадались, это Яндекс и Google. Под добавлением в поисковую систему подразумевается сообщение поисковым системам о том, что появился новый сайт или новая страница. Среди вебмастеров часто используется слово «аддурилки».
3. Настройка вебмастеров поисковых систем
Начнем с Яндекса. Для начала необходимо авторизоваться в системе Яндекс или, если у вас ещё нет такой учётной записи, завести её. После того как авторизовались в Яндекс, идём по ссылке и нажимаем «Добавить сайт».
Перед нами появляется такая страница:
Шаг 1. Вводим адрес сайта и нажимаем «Добавить сайт».
Шаг 2. Необходимо подтвердить права на владение сайтом. Для этого есть несколько способов, которые подробно описаны на этом этапе, поэтому проблем у вас не возникнет.
Шаг 3. Смотрим общую информацию о сайте.
Теперь сайт добавлен в панель вебмастера Яндекс, и уже точно начался процесс индексации поисковыми роботами.
Также в вебмастере Google есть очень полезная функция для быстрой индексации сайта. Для того чтобы воспользоваться этой функцией, в списке сайтов выбираем необходимый, далее в левом меню заходим в «Сканирование» → «Просмотреть как Googlebot».
С подробной инструкцией по использованию этой функции вы можете ознакомиться в поддержке Google .
4. Правильная настройка HTML-карты сайта
Эта тема также широко раскрыта в предыдущих статьях нашего блога. О том, как правильно настраивать HTML-карту сайта, можете почитать .
5. Внутренняя перелинковка
Одним из самых важных пунктов не только для лучшей индексации, но и для продвижения сайта, является грамотная внутренняя перелинковка сайта. Вот несколько советов, как сделать естественную перелинковку, которая будет полезна не только для оптимизации, но и для удобства пользователей:
Желательно, чтобы на каждой странице сайта было по 2-3 ссылки на главную страницу. Можно дублировать главное меню внизу страницы, сделать вспомогательные ссылки с внутренних страниц на главные разделы сайта.
6. Регистрация сайта в каталогах, справочниках и рейтингах
Регистрируйтесь в каталогах сайтов и статей . Внешние ссылки на ваш сайт позволят поисковым систем быстрее узнать о вашем сайте. Также с помощью внешних ссылок можно не только ускорить индексацию, но и сделать её более глубокой, если эти ссылки будут вести на внутренние страницы сайта.
Подайте заявку в основные каталоги поисковых систем, такие как Яндекс.Каталог и DMOZ .
Также ускорению индексации способствует и добавление сайта в популярные рейтинги, например, Рамблер ТОП100, ТОП Mail.ru, LiveInternet.
7. Интеграция сайта с социальными сетями
Настройте интеграцию сайта с вашими аккаунтами в социальных сетях. Например, делайте анонсы новых статей со ссылкой на полную версию на Google+, ВК, Facebook и Twitter. Аккаунт Google+ можно прикрепить к самому сайту, то есть сделать отдельную учётную запись специально для конкретного сайта.
Вместо десерта
Как и обещали, в виде бонуса несколько способов скорейшего попадания новых страниц вашего сайта в индекс поисковых систем:
- RSS-трансляция материалов. Настройте RSS-трансляцию новых материалов вашего сайта и разместите её в различных RSS-каталогах.
- Социальные новости. Размещайте ваши статьи в сервисах социальных новостей.
- Платное размещение своих статей на сайтах такой же тематики, как у вас. Такие сайты можно найти на различных форумах, которые на этом специализируются, например, SearchEngines .
P.S. Мы можем вам помочь практически со всеми указанными в статье работами. Для уточнения деталей
Как ускорить индексацию сайта - этот вопрос часто можно встретить на форумах вебмастеров. От индексации зависит очень многое: позиции сайта в поисковиках, количество посетителей с них, популярность ресурса, и, в конечном итоге, прибыль с сайта. Я собрал способы, которые я опробовал при продвижении сайтов и которые действительно эффективны для улучшения и ускорения индексации сайта поисковыми системами.
По направленности все способы можно разделить на две категории - внутренняя оптимизация сайта и работа с внешними факторами. По финансовым затратам - бесплатные и платные способы.
Как ускорить индексацию сайта - бесплатные способы
1. Создайте карту сайта для Google (sitemap) в формате xml. Для создания html и xml карт для своего сайта воспользуйтесь онлайн-генератором XML-Sitemaps.com , который бесплатно обрабатывает до 500 страниц. После генерации сохраняете sitemap в корне своего сайта в формате xml. Для того, чтобы скормить xml-карту поисковой систему Google, нужно зарегистрировать аккаунт в Сервисе Google Webmaster , и затем в меню Sitemap добавить ссылку на вашу xml-карту вида ваш_сайт/sitemap.xml. После регистрации в этом сервисе можно настроить русский язык интерфейса. По моим наблюдениям, после добавления sitemap в Google робот этой поисковой системы начинает чаще заглядывать на ваш сайт и лучше его индексировать . Кроме того, сервис Google для вебмастеров предлагает много полезных опций.
2. Создайте html карту сайта в 1 клике от главной страницы, на которой находятся ссылки на все страницы вашего сайта. Если страниц очень много, то разбейте карту сайта на несколько страниц. Разместите ссылку на карту сайта на всех страницах.
3. Зарегистрируйтесь в сервисе Яндекс.Вебмастер и добавьте свой сайт, что позволит отслеживать индексацию страниц сайта Яндексом, а также пользоваться другими полезнымыми функциями.
4. Регистрация в каталогах - если вы еще не регистрировали сайт в каталогах, то советую сделать это. Подробнее о регистрации в каталогах читайте тут: " ". Можно регистрировать сайт вручную. Искать каталоги можно, набрав запрос "каталог сайтов" в любом поисковике. Это очень долгий и трудоемкий процесс. Можно купить программу Allsubmitter с базами каталогов, которая значительно облегчает регистрацию в каталогах. Можно заказать прогон по каталогам (например, у , или на форуме forum.searchengines.ru). Можно использовать специальные сервисы регистрации в каталогах:
1ps.ru
autoreg.ru
uhuhu.ru .
5. Организуйте RSS-трансляцию материалов с вашего сайта и зарегистрируйте вашу RSS-ленту в RSS-каталогах. Это позволяет публиковать анонсы ваших материалов на других сайтах.
Feedburner.com
Feedreader.ru
LiveRSS.ru
Newsread.ru
Rssreader.ru
Plazoo.com
7. Грамотная внутренняя перелинковка очень важна для ускорения индексации сайта. Все страницы должны иметь 2-3 ссылки на главную. Продублируйте меню. Например, если у вас горизонтальное меню в верхней части сайта, то продублируйте его в нижней части. Сделайте дополнительные ссылки на основные разделы меню на всех страницах сайта.
Разместите список из самых популярных материалов сайта (например, в WordPress это решается плагином Most Popular, который вы можете найти в моей статье " "), а также список последних записей. В конце каждой статьи сделайте несколько ссылок на похожие материалы. Кроме улучшения индексации, это увеличит количество просматриваемых страниц на вашем сайте (если у вас стоит WordPress, то воспользуйтесь плагином Related Articles, который вы можете найти во все той же статье " "). Старайтесь в тексте каждой страницы ссылаться 1-2 раза на другие статьи вашего сайта.
8. Правило трех кликов. Сделайте навигацию на сайте так, чтобы любая страница вашего сайта была доступна не далее, чем в 3 клика от главной.
9. Старайтесь не делать выпадающие меню на скриптах и flash, это затрудняет индексацию сайта поисковыми системами.
10. Добавьте сайт в формы добавления поисковиков:
Добавить сайт в Яндекс
Добавить сайт в Google
Добавить сайт в Рамблер
Добавить сайт в Апорт
Добавить сайт в MSN
Добавить сайт в Gogo
В Mail.ru нет смысла добавляться, так как используется поисковая база Яндекса.
11. Добавьте сайт в рейтинги:
Добавить сайт в Рамблер Топ 100
Добавить сайт в Рейтинг Mail.ru
12. Добавьте сайт в каталоги:
Добавить сайт в Dmoz - выбираете подходящую категорию, и ищете ссылку "Предложить URL" в правом верхнем углу.
Добавить сайт в Каталог Mail.ru - выбираете подходящую категорию, и внизу ищете ссылку "Добавить сайт".
13. Добавьте сайт в социальные закладки (подробнее о социальных закладках вы можете прочитать в моей статье ). Большой плюс социальных закладок в том, что в них можно добавлять внутренние страницы сайта. В каждом сервисе необходимо зарегистрироваться.
memori.ru
moemesto.ru
bobrdobr.ru
rumarkz.ru
myscoop.ru
mister-wong.ru
100zakladok.ru
bookmark.searchengines.ru
Для облегчения добавления страниц сайта в социальные закладки воспользуйтесь сервисами SEndez.ru , а также установите кнопки добавления в закладки в конце каждой статьи вашего сайта от сервисов Однакнопка или Как-так . Это позволит вашим посетителям самостоятельно добавлять ваши статьи, которые им понравились, в свои социальные закладки. Подобные англоязычные сервисы - AddThis.com и SocialPoster.com . Я рекомендую добавлять каждую стоящую статью с вашего сайта в сервисы социальных закладок.
14. Напишите интересную статью на вашем сайте, и разместите ее в сервисы социальных новостей. В каждом сервисе необходимо зарегистрироваться.
news2.ru
news2.by
Вебмастера часто сталкиваются с проблемой, когда страницы неделями не попадают в индекс поисковой системы. Особенно актуальна она в Яндексе - новые страницы в нем появляются значительно позже, чем в Google. А в последнее время Яндекс еще и редко делает текстовые апдейты - 2-3 раза в месяц. В этой статье мы рассмотрим, что влияет на индексацию сайта, как ее можно ускорить и как следить за ней.
Что влияет на частоту индексирования сайта поисковым роботом
— Загруженность сервера, на котором находится сайт (качество хостинга)
Если на сервере находится много других ресурсов, а технические характеристики сервера не позволяют оперативно справляться со всеми запросами робота, робот начинает посещать такой сайт реже. Соответственно, ему потребуется больше времени для включения страниц в результаты поиска.
— Частота обновления сайта в целом
Поисковые роботы анализируют частоту обновления контента на сайте, в результате чего определяют, как часто будут посещать тот или иной сайт.
Чем чаще на сайт добавляется новый контент, тем чаще роботы ПС посещают его.
— Интерес посетителей к сайту (ПФ)
Поисковый робот может пересмотреть политику планирования и посещать сайт чаще, если на сайт регулярно добавляются новые материалы, интересные пользователям (например, новости, статьи):
- пользователи задерживаются на сайте;
- переходят по внутренним страницам;
- добавляют сайт в закладки;
- делятся материалом в соц. сетях и т.д.
Как улучшить индексацию сайта
Поисковый робот за один визит индексирует определенное количество страниц согласно выделенной квоте, которая зависит от множества параметров сайта. Т.е. даже если робот посетил ваш сайт, это еще не значит, что он проиндексирует и включит в свою базу все страницы сайта. Поэтому очень важно, чтобы робот-индексатор не только посетил ваш сайт, но и включил в свою базу все новые и измененные страницы сайта.
Ниже в статье мы рассмотрим, как заставить робота ПС чаще посещать ваш сайт и при этом увеличить количество страниц, которое за раз может проиндексировать робот ПС, - краулинговый бюджет .
1. Проанализируйте сайт на наличие дублей
Данный пункт поставили первым, так как дубли страниц - одна из основных проблем, которая ухудшает индексацию сайта поисковыми роботами.
Когда на сайте есть дубли, краулинговый бюджет тратится на бесполезные страницы вместо новых страниц или страниц с обновленным материалом.
О том, как найти на сайте дубли, подробно написано в статьях нашего блога:
2. Настройте сервер на выдачу правильного HTTP-статуса
Корректная настройка кодов статуса HTTP очень важна для правильной индексации сайта.
Когда робот ПС запрашивает страницу сайта, код статуса предоставляет ему информацию о сайте и конкретной странице:
- существует страница или нет,
- настроена ли переадресация,
- нет ли на стороне сервера ошибки.
Например, код http «404 Not Found» сообщает, что страница по запрашиваемому адресу не существует, а код http «OK 200» сообщает, что страница доступна.
Заголовок Last-Modified информирует робота ПС о дате последнего изменения документа. Таким образом, робот-индексатор проверяет на обновление только документы, действительно изменившиеся со времени предыдущего обхода, или новые страницы, не тратя при этом краулинговый бюджет на страницы, которые не менялись.
Подробно о заголовке Last-Modified .
3. Мониторьте время отклика сервера и скорость загрузки страниц
Время ответа сервера на запрос браузера напрямую влияет на индексацию сайта.
С учетом сетевых задержек оно должно быть не более 300 мс.
Сервисы по измерению отклика сервера:
Увидеть, есть ли недочеты, можно с помощью сервиса Google PageSpeed .
4. Грамотно организуйте структуру сайта
Чем понятней для поискового робота выглядит структура сайта, тем он лучше будет его индексировать.
— Уровень вложенности страниц
Любая продвигаемая страница должна быть не дальше, чем в 3 кликах от главной. Это очень важно для индексации, так как поисковому роботу потребуется гораздо меньше времени на индексацию простого и неглубокого сайта, чем на сложный ресурс с запутанной системой навигации.
— Реализуйте на сайте хабовые страницы
Хабовые страницы - это страницы, которые содержат ссылки на разделы и подразделы, служащие для навигации пользователей по сайту.
Для того чтобы улучшить индексацию, хабовые страницы необходимо реализовать в один клик от главной страницы сайта.
Что нам даст реализация хабовых страниц:
А. Уменьшит уровень вложенности
Б. Ускорит индексацию страниц поисковым ботом
В. Поможет пользователям легче найти нужный материал
— Выводите анонсы на новые страницы на главную сайта
Поисковый робот чаще всего посещает главную страницу сайта. Если на ней будут размещены ссылки на новые страницы или страницы с обновленным контентом, есть большая вероятность, что робот их проиндексирует.
Например:
— Реализуйте виджет в сайдбаре последних статей
Еще один хороший способ связать между собой страницы сайта:
— Не делайте меню на скриптах и flash
Главным недостатком использования меню на скриптах и flash является то, что поисковые роботы его не видят.
5. Настройте файл robots.txt
Корректно составленный robots.txt позволит исключить возможные проблемы, возникающие при сканировании сайта роботом. Это может значительно ускорить индексацию ресурса в целом.
В файле robots.txt нужно прописать инструкции для роботов поисковых систем: какие страницы сайта индексировать, а какие - нет. В таком случае поисковикам потребуется меньше времени для сканирования сайта.
Например, в robots.txt можно закрыть:
- служебные файлы и папки CMS;
- внутренние и внешние дубли (если есть);
- формы ответа на форуме;
- технические страницы;
- файлы, которые не несут пользу для пользователя (например, статистика посещений, страницы с результатами поиска).
Как создать правильный robots.txt?
1. Создайте файл robots.txt в текстовом редакторе.
3. Проверьте файл в сервисе Яндекс.Вебмастер — > Анализ robots.txt .
Скриншот из Яндекс.Вебмастера:
4. Если проверка прошла успешно и ошибок не обнаружено, загрузите файл в корень сайта.
- Зарегистрируйте сайт в трастовых каталогах, справочниках и рейтингах (например, Яндекс.Каталог , DMOZ и Каталог Mail.ru);
- Размещайте свои статьи на платной основе на сайтах такой же тематики;
- Общайтесь на тематических форумах (о крауд-маркетинге подробнее );
- Интегрируйте сайт с социальными сетями;
- Создайте RSS-трансляцию на сайте;
- Размещайте статьи в сервисах социальных новостей;
- Работайте с социальными закладками.
7. Пишите качественный и уникальный контент
Качество контента также влияет на скорость индексации сайта. Плохой контент, который не дает полный ответ на запрос пользователя, в котором есть грамматические ошибки, большая плотность ключевых слов, индексируется хуже.
При написании текста важно учитывать, что:
- Тексты должны содержать только наиболее важную информацию, полезную посетителям.
- Материал должен давать полный ответ на запрос, после прочтения которого пользователь перестанет искать информацию на эту тему.
- Акцентируйте внимание на важных нюансах, убирайте «воду» и рассуждения ни о чем.
- Тексты должны быть грамотно структурированы (используйте заголовки, подзаголовки, делите текст на абзацы, делайте списки, когда они уместны, и т. д.)
- Тексты должны содержать ключевые слова, но в умеренном количестве - избегайте переспама.
- Желательно, чтобы уникальность текстов была не ниже 70%, согласно сервису https://advego.ru/plagiatus/ или https://www.etxt.ru/antiplagiat/ .
Как следить за индексацией сайта
Добавьте сайт в сервис Яндекс.Вебмастер и Google Search Console
Если сайт еще не добавлен в панели вебмастеров поисковых систем, настоятельно рекомендуем добавить. С их помощью вы сможете легко анализировать индексацию проекта. Например:
- когда робот последний раз посещал ваш ресурс;
- сколько страниц он загрузил в свою базу;
- включена ли определенная страница в базу поиска;
- какие ошибки обнаружил робот;
- время загрузки страницы.
Также вы можете сообщить ПС о новых или удаленных страницах и мониторить другие параметры сайта, не связанные с индексацией. Например, внешние ссылки, ведущие на сайт, запросы, по которым пользователи переходят на сайт, и т.д.
Только полный анализ сможет помочь вовремя выявить и исправить ошибки индексации сайта.
Зарегистрировать сайт в вебмастере Яндекса и Google просто.
Для этого нужно выполнить процедуру в 3 шага, которые сопровождаются , в Я.Вебмастер:
Добавление сайта в Google Search Console также сопровождается инструкцией :
Как сообщить роботу ПС об изменениях на сайте
— Создайте карту сайта
Чтобы помочь поисковому роботу найти новые страницы на сайте, рекомендуем создать карту сайта в двух форматах: xml и html.
Карту в формате html нужно выложить на сайт в качестве отдельной страницы. При сканировании сайта робот попадает на данную страницу - она должна содержать ссылки на все страницы сайта, а это поможет ему найти их.
Карту в формате XML (Sitemaps) нужо добавить в панель инструментов для вебмастеров Google и Яндекса.
— Карта сайта должна автоматически генерироваться и обновляться при добавлении на сайт новых URL или удалении старых.
— В карту сайта не должны попадать закрытые от индексации страницы.
— После создания файла необходимо убедиться, что в нем нет ошибок. Сделать это можно при помощи специальных инструментов поисковых систем:
Также в карте XML (Sitemap) можно указать:
- приоритет индексации -
при помощи тега
; - частоту обновления конкретной страницы -
при помощи тега
.
После того как карта сайта будет создана, информацию о ней нужно добавить в панель инструментов для вебмастеров Google и Яндекса.
— Напишите скрипт «Ловец ботов»
Для крупного проекта можно применить следующую методику - в момент прихода робота ПС на сайт специальный скрипт показывает роботу ссылки на не проиндексированные страницы сайта.
Недостаток использования методики - сложная техническая реализация.
— Используйте « Add URL » поисковых систем
Это наиболее «традиционный» способ ускорения индексации новых страниц на сайте. С помощью « Add URL» поисковой системе можно сообщить как о новом сайте, так и о новой странице на сайте.
Чтобы сообщить о новой странице ПС Яндекс, используйте форму add url Яндекс :
Чтобы сообщить о новой ПС Google, используйте форму add url Google :
Недостаток использования этого инструмента - добавление страниц в данные формы не дает гарантий, что страница сразу же окажется в базе поисковой системы.
— Для быстрой индексации новых страниц в Google используйте инструмент «Посмотреть как Googlebot»
Воспользоваться данным инструментом можно после того, как сайт будет добавлен в Google Search Console (вебмастер).
Google Search Console — > Раздел Сканирование — > Посмотреть как Googlebot — > Вводим нужный URL — > Кнопка «Сканировать» — > Кнопка «Добавить в индекс», после чего появится надпись «URL отправлен на индексирование»:
Также с помощью данного инструмента можно узнать время загрузки страницы и данные по процессу сканирования.
Единственный недостаток - необходимо каждый раз при добавлении нового материала адрес вводить вручную.
— Плагин-пингер для ускорения индексации новых страниц в Яндекс
Повысить приоритет индексирования новых страниц сайта можно с помощью специальных POST-запросов. Подробнее .
Если ваш сайт построен на основе популярных CMS, например, WordPress, Joomla, Drupal - установите специальный плагин Пингер. Он автоматически будет сообщать Яндексу о появлении новых страниц на вашем сайте.
Что для этого необходимо сделать:
А. Установите :
Б. Установите и настройте плагин в соответствии с инструкцией :
После публикации новой страницы зайдите в настройки плагина, в окне «Сообщение о статусе плагина» должно появляться сообщение «Плагин работает корректно» и выводиться последний добавленный адрес.
Другие возможные статусы и их значения можно посмотреть .
— Специальные формы ПС для ускорения индексации блога «Пинг»
Если у вас блог с подпиской на RSS, для ускорения индексации новых страниц вы можете использовать специальную форму ПС «Пинг».
«Пинг» - это оповещение поисковых систем об изменениях на вашем сайте.
Для добавления новой записи в ПС Google нужно использовать форму « Blog Search» по адресу :
Для добавления новой записи в ПС Яндекс нужно использовать форму «
Отправить пинг»
по адресу :
Для ускорения индексации новых документов используйте бесплатные сервисы пингования, например, https://seo-ng.net/seo-instrumenty/ping_services.html :
Важно! Сервисы пингования используйте только при наличии свежего материала на сайте. Также не стоит один и тот же сайт пинговать в разных сервисах.
Подведем итоги - чтобы ускорить индексацию сайта в целом, необходимо:
1. Провести техническую оптимизацию сайта.
2. Организовать грамотную структуру сайта.
3. Регулярно добавлять новый качественный материал на сайт.
4. Добавляя новые страницы, нужно сообщать о них ПС.
5. Привлекать на сайт роботов ПС с помощью внешних ссылок.
Подписаться на рассылкуБольшую часть трафика (посетителей) многие сайты получают с поисковых систем. Но чтобы этого добиться, сайт как минимум должен быть ими проиндексирован. Назревает вопрос: что такое индексация сайта
? Это процесс сканирования и добавления сайта и всех его страниц роботом поисковой системы в базу данных для того, чтобы он стал доступен для поиска. То есть если ваш сайт не будет проиндексирован поисковиком, то он не будет появляться в его выдаче при поиске, а соответственно посетителей с поисковых систем можете и не ждать.
Своим клиентам и людям, которые далеки от интернета, но тоже хотят, так сказать, приобщиться, на вопрос о том, что такое индексация сайта, я отвечаю просто — это процесс запоминания сайта поисковой системой. Может быть, звучит не совсем верно, но зато более или менее понятно. Если им сказать точное определение, то сразу возникнет масса вопросов про базу данных, роботов и так далее. Ведь некоторые даже не слышали про поисковики, и им приходится говорить примерно следующее: «Ну ведь про яндекс и гугл слышали что-нибудь?» Если они отвечают положительно, то остается лишь добавить: «Ну вот это и есть поисковики (поисковые системы).» И тогда все становится на свои места. На самом деле в этом нет ничего страшного, что люди плохо осведомлены в данной теме. Хорошо, что они хотя бы интересуются и хотят узнать об этом.
Вебмастеров же волнует более серьезный вопрос: как ускорить индексацию сайта? Тема на самом деле очень важная, но весьма простая в освоении. Изучив мои советы и применив их на практике, позже вы будете все это делать на автомате. Но для начала давайте определимся с тем, как долго индексируется сайт . Я знаю, что это волнует большую часть начинающих сайтостроителей. Не раз встречал вопросы на форумах об этом. Многие вебмастера, создав сайт и набив его минимальным количеством контента, уже через 3-5 дней бьют тревогу, почему он все еще не проиндексировался. Хочу успокоить вас. Это нормально, особенно в случае с яндексом. У меня был сайт, который целый месяц никак не мог залезть в индекс. Сказать честно, я для этого ничего особенного и не делал, так как для меня тогда это было не в приоритете. Но потом он благополучно проиндексировался, и впредь проблем с этим не возникало.
Пока сайт молод и не оброс внешними ссылками, доверие к нему со стороны поисковых систем находится на очень низком уровне. Не ждите, что новые страницы сайта будут влетать в индекс моментально, не ждите и высоких позиций в выдаче. Всему свое время. Если будете хорошо развивать свой ресурс, то спустя несколько месяцев поток посетителей с поисковых систем вам обеспечен.
Как ускорить индексацию сайта?
Итак, переходим к главному. Быстрая индексация сайта интересует всех вебмастеров. Это вполне реально, и добиться этого, кстати, можно бесплатными способами. Сразу хочу сказать, все, что связано с оптимизацией сайта под поисковые системы, включает в себя внутренние и внешние факторы. Работать необходимо как над теми, так и над другими. Начинать нужно именно с внутренней оптимизации. Порой ее бывает достаточно.
Ускорение индексации сайта — внутренняя оптимизация
- Структура сайта .
- Внутренняя перелинковка сайта .
- Файл robots.txt .
- Карта сайта .
- Качество контента .
- Частота обновления сайта .
Здесь работает правило трех кликов, то есть каждая страница сайта должна находиться не далее чем за три клика от главной. Продумайте меню. Если имеются страницы, на которые вообще не ведет ни одна ссылка, то обязательно исправьте это.
Без этого никуда. Грамотная внутренняя перелинковка может не только ускорить индексацию сайта, но и улучшить его позиции в выдаче поисковых систем. Иногда лишь ее достаточно, чтобы занять топовые места в выдаче по низкоконкурентным запросам.
Сделайте блоки с ссылками на популярные последние и похожие посты. Расположить их можно в сайдбаре (боковой колонке), под статьей или в любом другом удобном на ваш взгляд месте. Ссылайтесь в новых постах на старые. Также не помешает зайти в некоторые старые посты и проставить в них ссылки на новые. Не лишними будут и ссылки на следующую и предыдущую новости в статье. С каждой страницы 1-2 ссылки должны вести на главную. Таким образом все страницы вашего сайта будут связаны между собой ссылками. Это ускорит индексацию, а также исключит в будущем вылетание страниц из индекса. Ведь и такое бывает.
При помощи данного файла можно указать поисковому роботу, какие страницы индексировать можно, а какие нельзя, путь до карты сайта, главное зеркало и другие моменты. Подробно об этом я писал в статье. Правильно составленный robots.txt может заметно ускорить индексацию сайта. Поисковому роботу не придется индексировать различный мусор (с точки зрения поисковиков), который не должен находиться в индексе, а потом самостоятельно исключать его. Роботу будет сразу указано на это, и таким образом ему потребуется гораздо меньше времени на индексацию сайта.
Создать карту сайта можно как при помощи специального плагина для конкретной CMS (для — это Google XML Sitemaps), так и при помощи онлайн сервисов, таких как этот или этот . После того как карта в формате xml будет создана, помещаем ее в корень сайта и сообщаем о ней поисковикам. Дальше дело за поисковыми роботами.
Кто бы что ни говорил, но с большим аппетитом поисковики поглощают качественный и уникальный контент. Естественно в индекс влетает и копипаст (ворованный контент), и рерайт, но все же предпочтение отдается тому контенту, который человек написал сам.
Если вы хотите, чтобы новые страницы влетали в индекс в несколько раз быстрее, то регулярно обновляйте сайт. Чем чаще вы будете его обновлять, тем больше поисковые роботы будут на него заходить.
К примеру, яндекс обновляет свою поисковую базу апами (посмотреть их частоту можно ). То есть примерно 1-2 раза в неделю яндекс добавляет в выдачу новые страницы, учитывает новые ссылки, изменяет результаты выдачи. Подробную информацию по апдейтам можно смотреть . Если вы будете обновлять свой сайт каждый день, то через некоторое время на нем поселится быстроробот. Каждая новая страница будет индексироваться им в течение нескольких часов. У меня, к примеру, есть сайт, который обновляется ежедневно да еще и по несколько раз, так быстроробот сжирает (по-другому и сказать нельзя) все новые страницы в течение часа, а иногда и 20-30 минут. Таким образом с каждым апдейтом количество проиндексированных яндексом страниц увеличивается.
У гугла вообще другой подход. Новые страницы могут влетать в индекс чуть ли не каждый день. Информации по апдейтам поисковой выдачи нет, потому как она является динамической и постоянно меняется. Если будете обновлять свой сайт регулярно, то и индексироваться он будет быстро.
На этом основные приемы внутренней оптимизации для ускорения индексации сайта заканчиваются. Серьезно и внимательно отнеситесь к каждому из пунктов, так как, в принципе, и их будет вполне достаточно, чтобы сайт хорошо индексировался. Если же он никак не хочет лезть в индекс или новые страницы индексируются не так быстро, как вам хотелось бы, то стоит прибегнуть к внешней оптимизации.
Ускорение индексации сайта — внешняя оптимизация
- Добавление сайта в поисковые системы .
- Покупка внешних ссылок .
- Ссылки с twitter
Об этом уже выше упоминалось. В обязательном порядке добавьте сайт в поисковые системы Яндекс и Google , также не помешает добавить его в другие поисковики. Более того, с появлением на сайте каждой новой страницы сообщайте о ней яндексу . Он, конечно, и сам неплохо справляется со своей задачей, но все же сообщать ему о новых материалах на сайте лишним не будет точно.
Покупать ссылки на совершенно новый сайт я не советую, так как это будет выглядеть слишком неестественно для поисковиков. Подумайте сами, сайту без году неделя, о нем никто не знает, но зато внешние ссылки появляются. Если же ваш сайт уже долгое время не может проиндексироваться, то можете купить одну ссылочку с главной страницы какого-нибудь трастового (с высоким уровнем доверия со стороны поисковиков) и регулярно обновляющегося сайта. Многие ресурсы предоставляют такую услугу. На таких сайтах поисковые роботы, как правило, разгуливают постоянно. Увидев на главной странице исходящую ссылку на ваш сайт, они непременно перейдут по ней. У меня, кстати, есть такой сайт, и если возникали проблемы с индексацией других ресурсов, то я временно ставил на них ссылки с главной страницы.
Другая ситуация, если ваш сайт уже давно в индексе, но какая-нибудь новая страница упорно отказывается туда лезть. В это случае нужно закупить на нее пару-тройку ссылок с других сайтов. Для этого рекомендую воспользоваться биржами вечных ссылок GoGetLinks и RotaPost . Слишком много ссылок не потребуется, но внимательно отнеситесь к подбору площадок. Они должны регулярно обновляться и иметь хорошую индексацию.
Лично убедился в том, что ссылки с твиттера являются очень даже полезными и результативными. Дело в том, что поисковые роботы там просто кишат, и каждая новая ссылка, которая появляется на стене того или иного аккаунта, не остается без внимания. Конечно, больший эффект оказывают ссылки с популярных аккаунтов, так как есть возможность получить еще и ретвиты. Если у вас таких нет, то можете воспользоваться сервисом
Всем хочется, чтобы опубликованные материалы мгновенно попадали в индекс и сразу же приводили посетителей. Особенно это актуально при продвижении в Яндексе, которому порой требуется несколько апдейтов для индексации новой страницы. А что если за это время истечет актуальность статьи? Получается, что вы зря потратили ресурсы на ее создание. Если вы хотите, чтобы статьи уже спустя пару часов после публикации были доступны в поиске, следуйте представленным ниже советам.
Почему не индексируется сайт?
Проблемы с индексацией сайта бывают трех типов:
- страницы долго индексируются (зачастую причина - в низкой частоте обновления контента на сайте, и робот просто реже его посещает; также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом);
- страницы не индексируются ни Яндексом, ни Google (в этом случае нужно убедиться, что не установлен запрет на обход площадки роботами в robots.txt , настройках хостинга или в мета-тегах robots);
- страницы не индексируются только одним поисковиком (стоит проверить сайт на фильтры поисковых систем).
Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.
Способы ускорения индексирования сайта поисковиками
1. Улучшите внутреннюю SEO-оптимизацию
Сделайте внутреннюю перелинковку
В теле статей ставьте ссылки на другие страницы сайта. Также добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре). Не делайте более 3-4 уровней вложенности - страницы на 5 и 6 уровне индексируются хуже.
Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий » описаны все самые эффективные подходы.
Пишите полезные и уникальные тексты
Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте .
Чаще публикуйте записи и обновляйте страницы
Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.
Как поддерживать актуальность сайта:
- публикуйте новые записи не реже 1 раза в неделю;
- добавляйте ссылки со старых страниц на новые материалы;
- актуализируйте и обновляйте информацию на сайте;
- настройте заголовки Last-Modified и If-Modified-Since (так поисковики будут обходить старые страницы только после внесенных на них изменений).
Устраните дубли на сайте
Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:
- явными (URL со слешем в конце и без него, с WWW и без WWW, с HTTP и HTTPS, с GET-параметрами);
- неявными (дубли страниц с комментариями, страницы товаров со схожими описаниями, страницы пагинации).
Устраняются они путем настройки 301 редиректа , указания канонических страниц , с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?» .
2. Используйте инструменты для вебмастеров
После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.
После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» - «добавить URL»).
В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».
«Аддурилка» Яндекса
До изменения в 2018 году интерфейса Search Console в Google был инструмент, который позволял добавлять любую страницу для переобхода. До сих пор в сети «висит» масса статей со ссылками на этот инструмент и описанием его работы, но он больше не поддерживается .
Старая «аддурилка» Google
Новые страницы в Google уже не нужно куда-то добавлять для индексации - достаточно того, чтобы они были в sitemap.xml. А вот старые страницы, на которых вы изменили контент, можно переиндексировать быстрее. Для этого перейдите в новый интерфейс Search Console в раздел «Проверка URL», введите адрес интересующей страницы и нажмите кнопку «Запросить индексирование». Это сигнал роботу обойти страницу вне очереди.
Данные действия - не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.
Loading...