22  

Уэс Бойд, президент организации MoveOn.org(11)

Однажды компания Google заявила, что секрет потрясающей эффективности ее поисковика кроется в использовании обычных серых голубей, что на поверку оказалось очередной первоапрельской шуткой.

Подсчитано, что на протяжении 2007 года система Google обрабатывала за месяц 37 миллиардов запросов, тогда как Yahoo! – 8,5 миллиарда запросов, a Microsoft – 2,2 миллиарда. Сегодня абсолютное большинство людей для поиска информации обращается к Интернету, и зачастую по многу раз на дню. Тем не менее мало кто представляет себе, как работает поисковая машина.

В упрощенной форме алгоритм ее работы выглядит примерно так.

Шаг 1. Вводим слово или набор слов в строку поиска, и машина отыскивает их в созданной ею базе данных, устанавливая связь с ними. С самого начала Ларри и Сергей ставили цель сохранить в своей базе данных все странички Всемирной паутины. Компания и по сей день добивается этого, а также охватывает и множество других источников информации.

Шаг 2. Машина приступает к поиску, при этом поисковый движок использует три своих ключевых элемента. Вот они.

1. Так называемый «ползун» (crawl), который на самом деле никуда не ползет. Вместо того он рассылает на тысячи веб-страниц поисковый запрос по ключевым словам. Обычно его называют «пауком», потому что он постоянно сидит во Всемирной паутине.^[6]

2. Индекс – огромная база данных, где хранятся и отыскиваются все слова.

3. Система обработки запросов, которая выдает пользователю их результаты.

Понятно, что приведенная грубая схема не объясняет, как именно работает уникальная поисковая технология Google. Это – ревностно охраняемая компанией профессиональная тайна. Правда, Ларри Пейдж, автор оригинальной идеи, все же дает нам кое-какие ключи для понимания сути.

Вскоре после того, как он обосновался в Стэнфорде, Ларри начал регулярно консультироваться по поводу своей докторской диссертации с научным руководителем Терри Виноградом, обсуждая направление исследований. «Мы остановились на изучении того, как действует система ссылок в Сети, – рассказывает Пейдж. – Задачу мы видели в том, чтобы собрать все ссылки и проанализировать их, а потом уже решать, нельзя ли найти этому какое-нибудь применение. В результате мы набрели на способ ранжировать вебстраницы по степени важности, отталкиваясь от количества ссылок на них, присутствующих на других страницах. И тогда поняли, что на основе этого принципа можно создать более эффективную систему поиска. Взяли и сделали это»(12).

На страничке Google можно найти более подробное объяснение:

Как уже говорилось, программу, которая делает поисковую систему Google уникальной по сравнению со всеми остальными, Ларри назвал своим именем. Идея, лежащая в ее основе, аналогична той, которая действует в академических исследованиях. Суть в том, что значимость научной публикации определяется тем, сколько раз на нее ссылаются солидные академические издания. Чем чаще коллеги ссылаются в своих работах на данную публикацию, тем больше значимости и релевантности она приобретает.

А на корпоративной странице Google объяснено, каким образом этот процесс усложняется:

PageRank полагается на демократическую природу Сети, используя систему ссылок как индикатор ценности отдельной страницы. Вместо того чтобы подсчитывать прямые ссылки, PageRank рассматривает ссылку со страницы А на страницу Б как голос в пользу страницы Б от страницы А. Затем по количеству полученных голосов PageRank определяет значимость данной страницы. PageRank оценивает также важность каждой страницы, принимающей участие в голосовании. При получении голосов от страниц с большей значимостью ссылка становится более ценной. Поисковая система Google, как и другие системы, также анализирует содержание страницы, на которой расположена та или иная ссылка. Поисковый движок Google анализирует не только все содержание страницы <…> но и содержание соседних веб-страниц, чтобы убедиться в том, что полученные результаты наиболее точно соответствуют запросу пользователя(14).

---

6

Автор описывает работу «паука» лишь отдаленно. На самом деле поисковый «паук» не занимается рассылкой поисковых запросов по Всемирной паутине, его задача – регулярная индексация всех веб-страниц Всемирной сети и сохранение в базе данных поисковика. Работа «паука» не зависит от числа поисковых запросов, ведь странички в сети обновляются постоянно, а значит, базу данных надо регулярно обновлять. Прим. научн. ред.

  22