Как устроены поисковые системы: crowler, индекс, SERP, релевантность, индекс цитирования.

 Как создать
      успешный сайт  Как создать
      успешный сайт

  О проекте     Основной курс     Глоссарий     Карта сайта  

 Разделы 

Основной курс

Как устроены поисковые системы

Структура поисковых систем

Не вдаваясь в ненужные подробности, можно сказать, что ПС устроена таким образом

• Паук (робот поисковой системы, crowler). Программа, которая ходит в Интернете по ссылкам. Период обхода может составлять от нескольких дней до нескольких недель. Отсюда запаздывание изменений в SERP по отношению к изменениям на сайте и в числе внешних ссылок.
• Индекс. Список сайтов и страниц, которые обнаружил паук или были добавлены вручную. Ручное добавление сайта в индекс, видимо, будет сказываться в SERP после:
  1. Очередного обхода паука, который найдет связанные страницы.
  2. После очередного цикла работы подсистемы определения рейтинга. Рейтинг сейчас в большинстве поисковых систем расчитывается на основе индекса цитирования, т.е. на основе внешних ссылок на сайт или страницу.
• База данных. Хранилище информации о сайтах, которые обошел паук. Содержит тексты страниц и некоторую дополнительную информацию. Обновляется периодически во время обходов паука.
• Система ранжирования сайтов. Состоит, по крайней, мере из двух подсистем:
  1. Подсистема определения рейтинга страницы или сайта. Рейтинг определяется по количеству ссылок с других сайтов, причем ссылки с разных сайтов имеют разный вес. Эта система периодически пересчитывает рейтинги, используя информацию из БД. Периодичность может составлять несколько недель, отсюда запаздывание в SERP по отношению к изменениям в числе внешних ссылок.
  2. Подсистема определения релевантности (соответствия) сайтов введенному запросу. Работает во время обработки запроса, на лету определяя релевантность сайтов из индекса на основании информации в БД.
• Интерфейсная система. Принимает запросы и выводит результаты. Обычно ПС выводит содержимое тега title и несколько строк из текста страницы.

Снимок Интернета.

Из сказанного следует важный вывод: выдача поисковой системы формируются по некоторому «снимку» Интернета, запечатленному в базе данных ПС и может отставать от реального состояния Интернета на несколько дней или недель. В том числе и наши усилия по оптимизации проявятся не сразу и не на всех ПС одновременно.

Статистика запросов.

Для подбора хороших ключевых слов необходимо знать статистику запросов, сколько и каких запросов было сделано за определенный промежуток времени. Такой информацией обладают только сами ПС, некоторые из которых позволяют ей пользоваться через специальные сервисы, работающие следующим образом: пользователь вводит поисковую фразу; сервис сообщает ему количество запросов этой поисковой фразы за месяц. Некоторые сервисы выводят еще и список более узких поисковых фраз, содержащих данную, с числом запросов для каждой.

Например:
Окна 413000
Пластиковые окна 107137
Окна пвх 30363
Деревянные окна 19727

Дополнительные возможности поиска

Все ПС предоставляют при поиске дополнительные, более сложные инструменты, среди которых могут быть:

• расширенный язык запросов;
• географические сортировки;
• сохраненные версии документов;
• поиск в рамках сайта;
• поиск похожих документов;
• поиск через форму "расширенного поиска".

Однако посетители поисковых систем крайне редко используют расширенные возможности поиска. Обычно они меняют запрос и проводят новый поиск.

Каталоги

Сайты ведущих поисковых систем содержат также и каталоги сайтов, рассортированные в разделы и подразделы по тематике. Внутри разделов сайты отсортированы по ссылочному рейтингу или по рейтингу посещаемости. Ссылки из таких каталогов учитываются при ранжировании страниц и имеют хороший вес. Некоторые ПС при прочих равных условиях отдают предпочтение сайтам из своего каталога. Сайты помещаются в каталог вручную их авторами или SEO-специалистами.

Общая тенденция.

Главное назначение поисковых систем — помочь обычному посетителю найти то, что ему нужно в Интернете. Обычный посетитель с этим вполне согласен и хочет, только чтобы поисковые системы делали это хорошо.

SEO-специалисты, и люди, продвигающие свои сайты, хотят от поисковых систем другого, чтобы они хорошо находили именно их сайты. И пытаются добиться этого это с помощью различных приемов, некоторые из которых признаются разработчиками ПС допустимыми (белыми), а некоторые — недопустимыми (черными). На сайтах некоторых ПС даже публикуются рекомендации по "белой" оптимизации сайтов.

В силу этого поисковые системы развиваются одновременно в двух направлениях:

• Совершенствуются алгоритмы оценки уважаемости и релевантности сайтов, определения тем, которым посвящен их контент. И, в конечном итоге, стараются, чтобы поисковая выдача давала посетителю то, что он ищет.
• Совершенствуются алгоритмы «отстройки» от разного рода поискового спама, которым оптимизаторы пытаются воздействовать на поисковые системы. Некоторые из этих алгоритмов являются весьма сильнодействующими, как например, знаменитая «песочница» Google.

Кроме того, алгоритмы поиска и ранжирования полностью не раскрываются, чтобы оптимизаторам труднее было манипулировать результатами поисковой выдачи.

В сложных случаях (например, противоречивые советы по оптимизации) надо ориентироваться на интересы посетителя, так как поисковые системы развиваются именно в этом направлении.

 Новости 

---

 По теме страницы 

---

Опубликовано 07.08.2007, исправлено 14.11.08   0257