Вам кажется, что поисковик за вами шпионит? В этом нет ничего удивительного, так как Google — чуть ли не единственная компания, которая так настойчиво отслеживает действия пользователей в Интернете. Поисковый гигант из Маунтин-Вью (Калифорния) знает, о чем вы пишете в отправляемых электронных сообщениях, какие видеоролики просматриваете, где находится ваш дом и как он выглядит, что вы ищете в Интернете. Но, несмотря на такую пугающую осведомленность, Google, по некоторым оценкам, является наиболее популярной поисковой системой. В чем же причина?

В рамках исследования были выполнены сотни типичных поисковых запросов от лица разных пользователей, проанализированы способы обработки и цели сбора данных, а для проверки удобства и дружественности интерфейса был привлечен эксперт в этой области — компания SirValUse Consulting. Мы стремились ответить на вопрос: насколько эффективным является поиск в Google на самом деле? Но вначале спросим об этом ее саму, введя словосочетание «поисковая система». Располагается ли Google вверху списка? Нет, сайт www.google.ru находится лишь на второй странице, на 17 месте, то есть далеко позади «Яндекса», «Апорта» и «Христианской поисковой системы». Для сравнения: «Яндекс» помещает Google на десятое место.

Можем ли мы после этого доверять результатам поиска, если Google не способна найти даже саму себя?

Поиск в Интернете: иголка в стоге сена

Конечно, «поисковая система» — это всего лишь один запрос из нескольких сотен миллионов, поступающих ежедневно. Каждый пятый — новый, отличающийся от предыдущих своей уникальной формулировкой. Релевантные результаты могут находиться на более чем 20 млрд веб-страниц, которые Google предстоит просмотреть в поиске соответствий. А пользователь хочет увидеть точное совпадение — иголку из стога сена — на первом месте или хотя бы на первой странице. По своей сложности это практически невыполнимая задача. Подобные ожидания обуславливают стремление Google «как можно быстрее привести пользователя к желаемой цели», поясняет Хессам Лави, бывший руководитель отдела качества поиска компании Google. Для этого поисковый гигант анализирует на веб-страницах более 200 факторов, которые являются частью тщательно оберегаемой формулы Google.

Релевантность определенной страницы зависит от степени известности сайтов, на которых содержатся ссылки на эту страницу, структуры данного ресурса, а также того, находятся ли искомые слова в тексте, URL или метаданных. Один или два раза в день Google изменяет значимость отдельных параметров или добавляет новые элементы в алгоритм с целью оптимизации поиска. Теоретически в этом случае наиболее важные результаты должны отображаться в числе первых. В действительности же нужные нам веб-сайты редко располагаются вначале, вместо них там обычно находятся наиболее крупные ресурсы, например «Википедия». Эти порталы известны практически всем, однако обнаружить множество хороших, но незнакомых сайтов с помощью Google очень трудно.

Оптимизация поисковой системы: благословение или проклятие

Повышение рейтинга страниц в Google привело к возникновению целой индустрии по оптимизации поисковых систем (Search Engine Optimization, SEO). Консультанты SEO с помощью комплекса мер постоянно работают над повышением эффективности обнаружения сайтов в Google. Это породило соперничество между веб-ресурсами за высокие позиции и, соответственно, максимальное количество посетителей. Нередко доля людей, которые попадают на сайт через Google, составляет более 50%. Преимущество высокого рейтинга налицо: в среднем пользователи открывают первый найденный ресурс в десять раз чаще, чем пятый. 12 из 13 пользователей просматривают не более трех первых страниц с результатами поиска.

Хессаму Лави, в настоящее время являющемуся свободным консультантом SEO, известны в том числе и запрещенные приемы, а также их последствия для владельцев сайтов: «Многие SEO-компании наносят ущерб обслуживаемому веб-ресурсу, предпринимая действия, которые Google немедленно пресекает карательными мерами. А владельцы сайтов и не подозревают, по каким причинам они вдруг оказались на последних строках поискового рейтинга». Интернет-магазины рискуют в этом случае оказаться на грани банкротства, так как доходность бизнеса резко снижается. От этого страдает и простой пользователь, поскольку он не может обнаружить веб-сайт с нужной ему информацией. Какие из мер поисковой оптимизации разрешены, а какие нет, указано в руководстве Google для веб-мастеров (www.google.ru/webmasters). Те, кто будет следовать рекомендациям, смогут избежать проблем. А вот те, кто разместит на веб-сайте скрытый текст, «позаимствует» материалы с других ресурсов или приобретет там ссылки, будут наказаны.

Компьютеры компании Google автоматически анализируют веб-сайты и в случае обнаружения нарушений снижают их рейтинг. В худшем случае ресурс удаляется из поискового индекса. Если владелец веб-сайта устранил нарушения, он может подать заявку на повторную индексацию своего ресурса. Подобный запрос о возврате (reinclusion request) должен быть хорошо обоснован, а его рассмотрение может длиться не один месяц.

Такие ограничивающие действия Google нацелены на максимальную защиту индекса. То же самое относится и ко взломанным веб-сайтам и ресурсам, которые заражены вредоносным кодом. Как пояснил нам Хессам Лави, Google обнаруживает их достаточно эффективно и удаляет из индекса. Подобные сайты доступны лишь очень непродолжительное время, но и его бывает достаточно, чтобы привлечь некоторое количество пользователей. Во второй половине 2009 года 13,7% результатов поиска по актуальным новостям приводили на зараженные ресурсы, сообщает компания Websense Security Labs. Сайты, которые стали жертвой хакерских атак, снова попадают в индекс, как только Google убедится, что с их страниц был удален вредоносный код.

Своевременная реакция на действия SEO и вредоносных программ составляет лишь часть комплекса мер по обеспечению качества поиска. Не меньшее значение для Google имеет возможность понять запрос пользователя, что, в свою очередь, должно обеспечить подходящий результат. При вводе слова «гольф» может подразумеваться как автомобиль, так и вид спорта. Google не знает, что именно имеется в виду, и выводит список совпадений по всем темам. После этого пользователю приходится уточнить запрос, введя, например, «фольксваген гольф».

Стремясь сократить количество неточных результатов, Google учитывает многочисленные данные о пользователе. Наибольшие отличия связаны с доменом, к которому тот обращается (например, UK, COM или RU): получаемый результат определяется спецификой соответствующей страны и языка. В 181 из 193 стран Google доступна по адресу с локальным доменным именем. При этом отличия могут заключаться даже в отдельных элементах алгоритма поиска.

Тест: качество поиска

Что влияет на результаты поиска? Позиции сайтов в списке результатов со временем меняются под воздействием различных факторов:

• Google — На результаты поиска влияют алгоритм, рейтинг, блокировка и закон
• Веб-сайт — На результаты поиска влияют SEO, актуальность контента, ошибки на странице
• Поль­зователь — На результаты поиска влияют активность аккаунта Google и файлы cookies на ПК

Пользователь, который, будучи авторизован в Google, часто переходит по какой-то ссылке, вскоре обнаружит ее вверху (см. скриншот).

Актуальная информация. Google быстро находит новый контент, однако прежде всего на крупных веб-сайтах. Эффективен поиск информации локального характера, например расписания поездов.

Результат семантического поиска. Результатом сложного запроса, например полноценных вопросов или многозначных понятий, зачастую является большое количество бесполезных ссылок. Но и здесь Google обеспечивает качественный результат, сравнимый с «Яндексом».

Влияние оптимизации веб-сайтов. При поиске с использованием таких распространенных ключевых слов, как «скачать фильм бесплатно», ощущается влияние оптимизации (SEO): среди результатов имеется множество ненужных.

Защита от спама и опасного ПО. Веб-сайты, содержащие спам и вредоносный код, не задерживаются в индексе Google.

Поиск с помощью мобильного телефона. Владельцы сотовых устройств осуществляют поиск несколько иначе, нежели пользователи персональных компьютеров: их обычно интересует, где находится ближайший автовокзал, заправка или аптека. И хотя Google также обеспечивает возможность локального поиска, однако специальные приложения — например, Places Directory для мобильных телефонов на базе Google Android — делают это лучше. Практичной, но требующей доработки программой является Google Goggles, которая позволяет выполнять поиск объектов по фотографии, сделанной с помощью мобильного телефона.