Каждую минуту пользователи Гугл вводят примерно 3,8 миллиона поисковых запросов, заставляя его алгоритмы выдавать результаты о ценах на отели, лечении рака молочной железы или последних новостях о президенте Трампе. Пожалуй, эти строчки компьютерного кода больше других влияют на глобальную экономику: они определяют, сколько людей получат доступ к информации, найденной в Интернете, и именно с них начинается торговля объемом в миллиарды долларов.

Двадцать лет назад основатели Гугл начали выстраивать этот исполинский проект, исходя из предпосылки, что его алгоритмы поиска смогут эффективнее прочесывать сеть в поисках полезной информации, чем люди. Руководители компании неоднократно заявляли — на частных встречах с внешними группами и в показаниях на слушаниях в конгрессе [США] - что алгоритмы являются объективными и, по сути, автономными, очищенными от людских предрассудков и деловых соображений.

В своем блоге компания Гугл сделала следующее заявление: «Сбор или сортировка результатов на странице не контролируется людьми». Компания также утверждает, что не может разглашать подробности о том, как работают алгоритмы, потому что вовлечена в долгосрочную борьбу с высокими ставками с теми, кто хочет получить прибыль, обманывая систему.

Но эти заявления часто противоречат тому, что происходит за кулисами. Газета «Уолл-стрит джорнал» (The Wall Street Journal) выяснила, что со временем Гугл стал перенастраивать алгоритмы и вмешиваться в результаты поиска в гораздо большей степени, чем это признают компания и ее руководители. Зачастую подобные меры - это ответная реакция на давление со стороны представителей бизнеса, внешних заинтересованных групп и правительств по всему миру. «Уолл-cтрит джорнал» обнаружил, что они резко участились после выборов 2016 года и роста количества дезинформации в Интернете.

В подходе Гугл к развитию наметился переход от первоначальной концепции «упорядочивания мировой информации» к стратегии, которая гораздо активнее определяет, как должна выглядеть эта информация. Газета «Уолл-стрит джорнал» провела 100 интервью и протестировала результаты поиска Гугл, и вот что удалось обнаружить:

Компания Гугл внесла изменения в алгоритмы поиска, так что предпочтение отдается крупным предприятиям перед более мелкими, и, по крайней мере, в одном случае внесла изменения от имени крупного рекламодателя, компании Ибэй (eBay Inc.), вопреки своей публичной позиции, что она никогда не предпринимает такого рода действий. Компания также поддерживает некоторые крупные веб-сайты, такие как Амазон (Amazon.com Inc.) и Фейсбук (Facebook Inc.), по словам людей, знакомых с этим вопросом.

Инженеры Гугл регулярно вносят скрытые коррективы в другую информацию, которую компания все чаще наслаивает на основные результаты поиска. Подобные функции - это, например, предложения по автозаполнению, рамочки, которые называются «панелями информации» и «выделенными фрагментами», и новости, которые не подчиняются политике компании, ограничивающей то, что инженеры могут удалять или изменять.

Хотя публично компания это отрицает, Гугл создает черные списки, чтобы убрать одни сайты или не дать появиться другим в определенных запросах. Эти меры действуют независимо от случаев, когда в соответствии с требованиями законодательства США или иностранного законодательства блокируются сайты, содержащие материалы жестокого обращения с детьми или нарушающие авторские права, и изменений, направленных на понижение рейтинга спам-сайтов, которые пытаются обмануть систему, чтобы она присваивала им более высокий рейтинг.

В режиме автозаполнения - функции, которая предсказывает условия поиска по мере того, как пользователь вводит запрос, инженеры Гугл разработали алгоритмы и черные списки, чтобы отсеять наиболее провокационные предложения по спорным вопросам, таким как аборты или иммиграция, по сути отфильтровывая накаляющие обстановку результаты по самым резонансным темам.

Сотрудники и руководители Гугл, включая соучредителей компании Ларри Пейджа (Larry Page) и Сергея Брина (Sergey Brin), не пришли к единому мнению о том, насколько необходимо вмешиваться в результаты поиска и в какой степени это можно делать. Сотрудники могут требовать внести изменения в конкретные результаты поиска, в том числе по таким темам, как прививки и аутизм.

Для оценки результатов поиска на Гугл работают тысячи низкооплачиваемых внештатных сотрудников, цель которых, по словам компании, заключается в том, чтобы оценить, насколько качественно алгоритмы ранжируют результаты поиска. Тем не менее, внештатные сотрудники, которых опросил наш журнал, говорили, что Гугл поддерживал с ними обратную связь, чтобы донести до них, что он считает правильным ранжированием результатов, и они пересмотрели свои оценки в соответствии с этим. Коллективные оценки внештатных сотрудников затем используются для корректировки алгоритмов.

Выводы газеты «Уолл-стрит джорнал» подрывают один из основных аргументов, которые Гугл приводил в свою защиту перед глобальными регламентирующими органами, обеспокоенными тем, как компания распоряжается своей огромной властью - что она якобы не осуществляет редакторский контроль над тем, что показывает пользователям. Вопросы, которые беспокоят эти регламентирующие органы, включают в себя практику нечестной конкуренции, политическую предвзятость и дезинформацию в Интернете.

Алгоритмы Гугл вовсе не являются автономными компьютерными программами, невосприимчивыми к внешнему давлению, они подвергаются регулярному вмешательству со стороны руководителей и инженеров, которые стремятся предоставлять релевантные результаты поиска, и в то же время пытаются удовлетворить интересы широкого круга влиятельных людей и принести материнской компании более 30 миллиардов долларов годовой прибыли. В настоящее время Гугл является самым посещаемым веб-сайтом в мире, который превышает 90% рыночной доли всех поисковых систем. Рыночная капитализация ее материнской компании Алфабет (Alphabet Inc.) составляет более 900 миллиардов долларов.

Гугл внес более 3 тысяч 200 изменений в свои алгоритмы в 2018 году, по сравнению с более чем 2 тысячами 400 в 2017 году и примерно с 500 в 2010 году, согласно самой компании и лицу, сведущему в этом вопросе. Представители Гугл утверждают, что 15% запросов на сегодняшний день - это слова или словосочетания, с которыми компания никогда раньше не сталкивалась, так что у инженеров появилось больше работы, ведь необходимо позаботиться о том, чтобы алгоритмы выдавали релевантные результаты.

Пресс-секретарь Гугл оспорила выводы газеты, заявив: «Мы делаем сегодня то, что делали все это время - предоставляем наиболее значимые результаты из самых надежных доступных источников».

Лара Левин (Lara Levin), пресс-секретарь Гугл, рассказала, что компания абсолютно прозрачна в том, что касается руководящих принципов для оценщиков и в том, с какой целью разрабатываются алгоритмы.

В рамках собственной экспертизы газета «Уолл-стрит джорнал» летом этого года в течение нескольких недель тестировала результаты поиска Гугл и сравнивала их с результатами двух конкурирующих поисковых систем, Бинг (Bing) от корпорации Майкрософт (Microsoft) и Дак-дак-Гоу (DuckDuckGo), компании, ориентированной на борьбу за конфиденциальность, которая строит свои результаты из объединенных данных других компаний, включая поисковик Яху (Yahoo) компании Веризон (Verizon Communications Inc.).

Проверка показала значительные расхождения в том, как Гугл обрабатывает запросы автозаполнения, и в том, что Гугл называет «естественными результатами поиска» - списке веб-сайтов, которые, по словам Гугл, алгоритмически сортируются по релевантности в ответ на запрос пользователя. (Читайте подробнее о методах анализа, использованных газетой.)

Левин, пресс-секретарь Гугл, отказалась прокомментировать конкретные результаты тестирования, проведенного газетой. Она сказала, что в целом их «системы нацелены на то, чтобы предоставлять релевантные результаты из авторитетных источников», добавив, что сами по себе естественные результаты поиска «не отражают всю информацию, доступную через поиск».

Газета протестировала функцию автозаполнения, которая, по словам Гугл, опирается на обширную базу данных поисковой информации, чтобы предсказать, какой запрос собирается вводить пользователь, а также на таких данных, как местоположение пользователя и история поиска. Тестирование показало, до какой степени Гугл склонен не предлагать определенные варианты по сравнению с другими поисковыми системами.

Если набрать «Джо Байден -…» или «Дональд Трамп -…», автозаполнение Гугл предсказывает гораздо более безобидные варианты, чем другие поисковые машины. Сходные результаты были получены и для других кандидатов в президенты, имена которых участвовали в тесте журнала.

Габриэль Вайнберг (Gabriel Weinberg), исполнительный директор Дак-дак-Гоу, сказал, что для определенных слов или фраз, введенных в поле поиска, например, тех, которые могут быть оскорбительными, Дак-дак Гоу решил заблокировать все свои предложения по автозаполнению, которые он получает по договору с Яху. По его словам, этот тип блокировки не был задействован, когда «Уолл-стрит джорнал» вводил поисковые запросы о Дональде Трампе или Джо Байдене.

Пресс-секретарь материнской компании Яху, Веризон Медиа, заявила: «Мы стремимся предоставить нашим пользователям и партнерам безопасный и надежный поиск, и мы усердно работаем над тем, чтобы поисковые предложения в системе Яху отражали наши намерения».

Представитель Майкрософт заявила: «Мы работаем над тем, чтобы наши результаты поиска были как можно более релевантными, взвешенными и надежными, и в целом мы, как правило, стремимся минимизировать вмешательство в нормальную работу алгоритмов».

В других областях, которые проанализировала газета, результаты Гугл по естественному поиску и новостям по ряду «горячих» терминов и имен политиков показали, что как консервативные, так и либеральные новостные агентства были широко представлены в выборке.

Алгоритмы - это по сути рецепты в форме кода, содержащие пошаговые инструкции о том, как компьютеры должны решать определенные задачи. Они управляют не только Интернетом, но и приложениями, которые наводняют телефоны и планшеты.

Алгоритмы определяют, какие друзья будут отображаться в новостной ленте пользователя Фейсбука, какие посты в Твиттере, скорее всего, станут вирусными, и сколько будет стоить поездка на Убере в час пик, в отличие от глубокой ночи. Банки пользуются ими для проверки заявок на кредиты, предприятия - для поиска лучших кандидатов на работу, а страховые компании - для определения ожидаемой продолжительности жизни человека.

Поначалу их возможности редко подвергались сомнению. В частности, инновационные алгоритмы Гугл ранжировали веб-контент инновационным и чрезвычайно прибыльным способом. Компания стремилась сделать Интернет полезным, полагаясь на то, что код сам по себе может сделать всю черную работу и определить, как ранжировать информацию.

Но нечистые на руку люди все чаще пытаются подтасовать результаты поиска, предприятия пытаются обмануть систему, а дезинформация расцвела пышным цветом на всех технологических платформах. Гугл внезапно столкнулся с давлением, подобным тому, которое испытал на себе Фейсбук, который долгое время заявлял, что просто объединяет людей, но был вынужден начать более агрессивно контролировать контент на своей платформе.

По словам одного из руководителей Гугл, который работает над улучшением поиска, внутреннее расследование 2016 года показало, что от десятой доли до четверти процента всех поисковых запросов выдают какую-то дезинформацию. Это было небольшое количество в процентном отношении, но, учитывая огромный объем поисковых запросов в Гугл, за год оно вылилось бы почти в два миллиарда запросов.

Для сравнения, Фейсбук столкнулся критикой со стороны конгресса из-за российской дезинформации, которую просмотрели 126 миллионов пользователей.

Левин из Гугл сказала, что это количество включает в себя не только дезинформацию, но и «широкий спектр другого контента, который можно отнести к низкокачественному». Она оспаривает количественную оценку поисковых запросов, которые были затронуты. Компания не раскрывает статистику поисковых запросов в Гугл.

Гугл собрал для работы над этой проблемой небольшую оперативную группу, которую внутри компании называли «Проект Сова». Инженеры использовали стратегию, которую раньше уже применяли для борьбы со спамом. Они старались сделать на странице упор на те факторы, которые являются показателями «авторитетности», эффективно понижая рейтинг страниц, которые не обладают этими признаками.

Другие технологические платформы, в том числе Фейсбук, используют более агрессивный подход, вручную удаляя проблемный контент и разрабатывая правила относительно того, что считать дезинформацией. Гугл, со своей стороны, заявил, что его функции заключаются в «индексации» контента, а не в его «размещении», которым занимается, например, Фейсбук - а значит, он не должен брать на себя более активную роль.

Один из руководителей Гугл по поиску сказал, что дать определение тому, что является дезинформацией - невероятно сложная задача и добавил, что компания не хочет идти по пути выяснения этого вопроса.

Примерно в то же время, когда компания Гугл начала решать проблемы, связанные с дезинформацией, она стала получать еще больше жалоб, и, по словам осведомленных лиц, вмешательство человека стало более привычным, так что компании пришлось выносить свое суждение в отношении некоторых из самых сложных проблем общества. Некоторые изменения в результатах поиска могли бы показаться разумными - например, продвижение надежных веб-сайтов, таких как Национальная линия предотвращения самоубийств, - но Гугл дает совсем немного информации о том, когда и по какой причине вносит такие изменения.

Компании, законодатели и рекламодатели обеспокоены честностью и справедливостью конкуренции на рынках, где Гугл является ведущим игроком, и в результате подвергают его операции тщательному анализу.

Ранее в этом году министерство юстиции США начало антимонопольное расследование, в центре которого, как ожидается, будет поисковая политика и практика компании Гугл. В прошлом году руководителей Гугл дважды вызывали для дачи показаний в Конгрессе из-за опасений по поводу политической предвзятости. В Европейском союзе за последние три года компания Гугл была оштрафована на более чем 9 миллиардов долларов за практику подрыва конкуренции, в том числе за использование своей поисковой системы для продвижения собственных продуктов.

В ответ Гугл заявил, что сталкивается с жесткой конкуренцией в динамичном секторе технологий, и что его действия направлены на то, чтобы помочь предоставить выбор потребителям, а не нанести вред конкурентам. В настоящее время компания обжалует решения, принятые против нее в ЕС, и опровергла заявления о политической предвзятости.

Гугл редко обнародует подробную информацию об изменениях в алгоритмах, и его действия приводят в замешательство компании и заинтересованные группы, которые считают, что работают по прихоти технического гиганта.

Одно из изменений, которое в Гугл горячо оспаривают, заключалось в том, что инженеры решили исказить результаты в пользу известных предприятий по сравнению с более мелкими, исходя из того, что клиенты с большей вероятностью получат то, что им нужно, в крупных магазинах. По словам информированных лиц, одним из последствий этого изменения стало повышение в рейтинге продуктов компании Амазон (Amazon), даже если они к тому моменту уже были сняты с продажи.

Эта проблема на протяжении многих лет неоднократно поднималась на собраниях, где руководители поисковых систем Гугл обсуждали изменения алгоритмов. Каждый раз они предпочитали не отменять эти изменения, по словам человека, знакомого с этим вопросом.

Инженеры Гугл говорят, что в компании существует широкое признание того, что поиск - это перетягивание каната: изменения, которые помогают поднять один результат, неизбежно опускают другой, часто оказывая значительное влияние на компании, которых это касается.

Левин сказала, что в рекомендациях Гугл по ранжированию нет указания на то, что крупные сайты сами по себе заслуживают большего доверия, чем маленькие. «Неверно полагать, что мы не занимались такими вопросами, как отображение снятых с продажи продуктов в верхних строчках списка результатов поиска», - добавила она.

Многие из изменений, внесенных Гугл, совпали с ее постепенным преобразованием из компании с инженерно-ориентированной, почти академической культурой в рекламного гиганта и одну из самых прибыльных компаний в мире. Доход от рекламы, включая рекламу в результатах поиска, а также в других продуктах, таких как карты и Ютуб (YouTube), в прошлом году составил 116,3 миллиарда долларов.

Некоторые очень крупные рекламодатели получили прямые рекомендации о том, как улучшить свои естественные результаты поиска, что, по словам осведомленных людей, недоступно для компаний, у которых нет контактов в Гугл. По их словам, в некоторых случаях эта помощь включала в себя отправку инженеров по поиску, которые помогали прояснить проблему.

«Если у них появится обновление [алгоритма], наши сотрудники могут связаться с ними по телефону, и они разберутся с этим», - сказал Джереми Корнфельдт (Jeremy Cornfeldt), исполнительный директор подразделения компании Дентсу (Dentsu Inc.) в Северной и Южной Америке, Айпроспект (iProspect), которое, по словам гКорнфельдта, является одним из крупнейших рекламных агентств - клиентов Гугл. Он сказал, что агентство не получает информацию, которую Гугл не готова раскрыть публично. Помимо прочего, Айпроспект представляет компании Леви Стросс (Levi Strauss & Co.), Алкон (Alcon Inc.) и Уолверин уорлд уайд (Wolverine World Wide Inc.).

Один из бывших руководителей компании Форчен 500 (Fortune 500), получивший подобную консультацию, сказал, что Гугл часто корректирует обход контента в Интернете и ранжирование страниц в рамках работы с конкретными крупными веб-сайтами. По словам осведомленного человека, Гугл обновляет индексацию некоторых сайтов, таких как Фейсбук и Амазон, чаще, и эта мера дает им возможность чаще появляться в результатах поиска. «Существует представление о том, что алгоритм поиска абсолютно нейтрален, он просто выходит в сеть, прочесывает ее, возвращается и показывает, что он нашел, и это полная чушь, - сказал один бывший топ-менеджер. - Гугл постоянно занимается особыми случаями».

Левин, представитель Гугл, заявила, что в практику сотрудников, занимающихся поиском, не входит давать особые указания владельцам сайтов. Она также сказала, что более быстрая индексация сайта не гарантирует, что он поднимется в поиске. «В приоритете - ответы на запросы, основанные на их влиятельности, а не на каких-либо коммерческих отношениях», - сказала она.

Онлайн-магазин Ибей долгое время полагался на Гугл, на который приходилась, ни много ни мало, треть его интернет-трафика. В 2014 году трафик неожиданно упал - что выразилось в снижении его прогнозируемого годового дохода на 200 миллионов долларов. Гугл сообщил компании, что принял решение снизить рейтинг значительного количества страниц Ибей, которые были серьезным источником трафика. Руководители Ибей подняли вопрос о том, чтобы в знак протеста перестать ежеквартально вкладывать около 30 миллионов долларов в рекламу на Гугл, но в итоге, по словам осведомленных людей, решили усилить лоббистское давление на компанию, когда сотрудники и руководители звонят инженерам по поиску или назначают им встречи. Подобный эпизод уже наносил удар по трафику компании несколькими годами ранее, и Ибей направила всю свою лоббистскую мощь на то, чтобы убедить Гугл дать ей совет, как решить проблему. При этом, по словам одного из этих людей, компания даже использовала связи бывшего сотрудника Гугл, который перешел на работу в Ибей.

На этот раз Гугл в конце концов согласился повысить рейтинг ряда страниц, которые он опустил, в то время как Ибей провела более широкую работу по переформатированию веб-сайта, чтобы, по словам этих людей, сделать страницы более «полезными и актуальными». Переформатирование стало трудной и дорогостоящей задачей, по словам одного из этих людей, и вдобавок Ибей позже пострадала от других понижений в рейтинге, с которыми Гугл уже не помог.

«В течение многих лет мы испытывали значительное и систематическое падение в SEO-оптимизации Гугл, что несоразмерно пагубно для тех малых предприятий, которые мы поддерживаем», - сказал представитель Ибей. SEO, или поисковая оптимизация, позволяет генерировать больше трафика для веб-сайта на основе поисковых систем.

Левин из компании Гугл отказалась комментировать ситуацию с Ибей. Компании, не связанные с Ибейтакже рассказали о своем опыте. Дэн Бакстер (Dan Baxter) может вспомнить точный момент, когда его сайт, Дил кэтчер (DealCatcher), столкнулся с изменениями алгоритмов Гугл. Было 6 часов воскресного вечера 17 февраля. Бакстеру из города Уилмингтон, штат Делавэр, который 20 лет назад основал сайт-купонатор, на следующее утро позвонил один из его 12 сотрудников. «Вы видели наш трафик?» - в отчаянии спросил рабочий, вспоминает Бакстер. Он внезапно упал на 93% без видимой причины. В ту субботу на Дил кэтчер пришла 31 тысяча посетителей из поисковика Гугл. Теперь было зарегистрировано около 2 тысяч 400. Сайт почти полностью исчез из результатов поиска Гугл. Бакстер сказал, что не знает, с кем из представителей Гугл можно связаться, поэтому он нанял консультанта, который должен был помочь ему определить, что могло произойти. Эксперт напрямую связался со своим знакомым из Гугл, но так и не получил ответа. Бакстер попытался написать комментарий на канале Ютуб, который вел «разработчик» из Гугл, задав ему вопрос, может ли это быть технической проблемой, но веб-мастер, похоже, отверг эту идею.

Месяц спустя после того, как упал трафик на его сайте, он неожиданно вернулся, и он до сих пор не знает, почему. «Вас словно бы оставили в полной темноте, вот в чем весь ужас», - сказал Бакстер. Левин из Гугл отказалась комментировать случай с сайтом Дил кэтчер.

(Газета «Уолл-стрит джорнал» принадлежит корпорации Ньюс (News Corp.), которая публично жаловалась на действия Гугл, направленные на то, чтобы понизить в рейтинге новостные сайты, которые взимают плату за подписку. Гугл прекратил эту политику после интенсивного давления со стороны Ньюз и других издателей, взимающих плату. Недавно Ньюз призвала организовать «совет по надзору за алгоритмами» для наблюдения за Гугл, Фейсбуком и другими техническими гигантами. Корпорация Ньюз заключила коммерческое соглашение о предоставлении новостей через Фейсбук, а Доу Джонс и компания (Dow Jones & Co.), издатель газеты «Уолл-стрит джорнал», заключили коммерческое соглашение о предоставлении новостей через сервисы Эппл (Apple). Левин из Гугл и корпорация Ньюз отказались от комментариев).

За последние месяцы Гугл провел дополнительную работу по разъяснению работы своих сервисов, обновив общую информацию на своем сайте. В конце октября было опубликовано новое видео под названием «Как работает поиск Гугл».

Джонатан Цитрейн (Jonathan Zittrain), профессор Гарвардской юридической школы и директор подразделения Интернет-общества Беркмана Кляйна, сказал, что Гугл дал скудное определение тому, как часто или в каких случаях компания вмешивается в результаты поиска. Аргумент компании о том, что она не может раскрыть эти детали, потому что борется со спамом, «кажется бредом сумасшедшего», считает Цитрейн.

«Этот аргумент, возможно, имел смысл лет 10 или 15 назад, но сейчас он неактуален, - утверждает он. - Это называется „безопасность через сокрытие" - отсылка к вышедшей из моды инженерной идее, что системы можно сделать более безопасными, ограничивая информацию о том, как они работают».

Левин из Гугл считает: «Время показало, что чрезмерная прозрачность помогает злоумышленникам таким образом, что это наносит ущерб нашим пользователям и владельцам сайтов, которые играют по правилам».

«Создать такой сервис - означает принять десятки тысяч действительно сложных человеческих решений, но люди представляют себе это иначе», - говорит Джон Бауэрс (John Bowers), научный сотрудник Центра Беркмана Кляйна.

С одной стороны, такие решения в Гугл принимаются самыми опытными и высокооплачиваемыми инженерами мира, чья работа заключается в том, чтобы превратить набор данных в миллионы строк сложного кода. С другой стороны - армия из более чем 10 тысяч внештатных сотрудников, которые работают из дома и получают почасовую оплату за оценку результатов поиска.

Рейтинги, предоставленные внештатными сотрудниками, которые работают на основе руководства Гугл, насчитывающего сотни страниц, могут косвенно повлиять на перемещение сайта выше или ниже в результатах, согласно осведомленным лицам. Руководители Гугл оценивают данные их коллективных ответов и используют их для воздействия на алгоритмы поиска.

Одним из таких оценщиков был Зак Лэнгли (Zack Langley), ныне 27-летний менеджер по логистике одной туристической компании из Нового Орлеана. Весной 2016 года Лэнгли заключил годовой контракт на оценку результатов поиска Гугл через Лайонбридж текнолоджис (Lionbridge Technologies Inc.), одну из нескольких компаний, которые Гугл и другие технические платформы используют для найма подрядчиков.

Лэнгли сказал, что за время работы внештатным сотрудником никогда не общался ни с кем из Гугл, и при этом ему не рассказывали, для чего будут использоваться результаты его работы. Как и все оценщики Гугл, он подписал соглашение о неразглашении. Он зарабатывал 13,50 долларов в час и работал до 20 часов в неделю из дома.

Лэнгли, который порой работал прямо в пижаме, присылали сотни реальных результатов поиска и велели на основе собственных суждений оценить их качество, репутацию и целесообразность, среди прочих показателей.

В какой-то момент, по словам Лэнгли, ему не понравились результаты поиска по запросу «лучший способ убить себя», которые приводили к ссылкам, похожим на пошаговые инструкции. Он сказал, что опускал в рейтинге все остальные результаты по самоубийствам до тех пор, пока Национальная линия предотвращения самоубийств не оказалась номером один в списке.

Вскоре после этого, по словам Лэнгли, Гугл отправил через Лайонбридж сообщение о том, что этой горячей линии должен быть присвоен самый высокий рейтинг среди всех результатов поиска, связанных с самоубийством, и что тогда коллективные рейтинги оценщиков помогут скорректировать алгоритмы. Он сказал, что так и не узнал, были ли его действия как-то связаны с этим обновлением.

Лэнгли сказал, что, похоже, Гугл хотел, чтобы он изменял результаты поиска, чтобы у Гугл появилось так называемое «основание для возражений» при принятии таких решений. Он сказал, что внештатные сотрудники могли получать от Лайонбридж указания, которые, как он полагал, приходили от Гугл, насчет «правильных» результатов других запросов.

По его словам, в конце 2016 года, по мере приближения выборов, чиновники Гугл стали активнее навязывать правильные результаты, хотя и не обязательно по вопросам, связанным с кампанией. «Раньше у них была политика невмешательства, а потом это, похоже, изменилось», - сказал он.

Левин, пресс-секретарь Гугл, сказала, что компания «давно наладила собственный подход к сбору отзывов по этим типам запросов, который помогает нам разрабатывать решения в области алгоритмов и функций в этой области». Она добавила, что «мы предоставляем сотрудникам обновления в наших руководствах по оценке для того, чтобы все оценщики следовали одной и той же общей схеме».

Лайонбридж не дал никаких комментариев в ответ на наши запросы.

Сотрудники Гугл регулярно используют внутренние форумы компании, а также форму «подходит/не подходит» (go/bad), чтобы добиться изменений в конкретных результатах поиска. (Это система отчетности, позволяющая сотрудникам Гугл указывать на проблемные результаты поиска).

По словам осведомленных лиц, одна из первых проблем с острыми вопросами текущей повестки дня возникла в 2015 году, когда некоторые сотрудники пожаловались на то, что запрос «как вакцины вызывают аутизм» распространяет дезинформацию, приводя пользователей на сайты антипрививочников.

По крайней мере один сотрудник пытался отстоять результаты поиска, написав, что Гугл должен «позволить алгоритмам решать», что показывать, по словам одного человека, знакомого с этим вопросом. Вместо этого, по словам осведомленных лиц, Гугл внес изменение, так что первым результатом поиска стал сайт howdovaccinescauseautism.com («как вакцины вызывают аутизм»), на главной странице которого было большими черными буквами написано: «Они этого не делают». (Эта фраза стала мемом в поисковике.)

Левин из Гугл отказалась от комментариев.

Осенью 2018 года консервативный новостной сайт «Брейтбарт ньюз нетворк» (Breitbart News Network) опубликовал просочившееся в сеть видео, на котором двумя годами ранее расстроенные руководители Гугл, в том числе Брин и генеральный директор Гугл Сундар Пичаи (Sundar Pichai), обращались к сотрудникам после того, как на пост президента выбрали Трампа. Группа сотрудников Гугл заметила, что видео появилось на 12-й странице результатов поиска запрос «Гугл слитое видео Трамп», так что создавалось впечатление, что Гугл его прячет. Они пожаловались на это на одном из внутренних форумов компании, по словам людей, знакомых с этим вопросом. Вскоре просочившееся видео стало появляться в результатах поиска выше.

«Когда мы получаем отчеты о том, что наш продукт работает не так, как ожидают люди, мы изучаем их, чтобы выяснить, есть ли там какая-либо полезная информация, которая поможет улучшить его», - сказала Левин.

С самого основания Гугл Пейдж и Брин знали, что ранжирование веб-страниц - дело вкуса. «Важность веб-страницы - это по сути своей субъективный вопрос, который зависит от интересов, знаний и взглядов [читателя]», - писали они в своей статье 1998 года, в которой представили алгоритм «Пейдж рэнк» (PageRank), основополагающую систему, которая запускала поисковую машину.

Они писали, что «Пейдж рэнк» будет измерять уровень человеческого интереса и внимания, но будет делать это «объективно и механически». Они утверждали, что система будет математическим способом измерять релевантность сайта по количеству ссылок, которые дают на него в сети другие соответствующие сайты.

Сегодня «Пейдж рэнк» обновлен и включает в себя более 200 различных алгоритмов, настроенных на сотни ранжирующих сигналов, которые теперь использует Гугл. (В 2005 году компания заменила «Пейдж рэнк» новой версией, которая рассчитана на то, чтобы лучше справляться с огромным трафиком, который привлекает сайт. Внутри компании его называли «Пейдж рэнк Эн-Джи» (PageRankNG), то есть «следующим поколением», по словам осведомленных людей. Публично компания по-прежнему обращается к «Пейдж рэнк» - и дает на своем веб-сайте ссылки на оригинальный алгоритм, опубликованный Пейджем и Брином - чтобы объяснить, как работает поиск. «Мы все еще используем в наших системах ранжирования первоначальную идею и понятие об использовании шаблона ссылки», - сказала Левин).

К началу 2000-х годов спамеры научились подавлять алгоритмы Гугл с помощью тактики, делающей их сайты более популярными, чем они на самом деле были, искажая результаты поиска. Мнения Пейджа и Брина о том, как решить эту проблему, разделились. Брин выступил против вмешательства человека, утверждая, что Гугл должен предоставлять результаты в точном соответствии с тем, что выдают алгоритмы, и что алгоритмы следует обновлять только в самых крайних случаях. По словам осведомленных людей, Пейдж возразил, что восприятие сайта пользователями ухудшается, когда пользователи сталкиваются со спамом вместо полезных результатов.

Гугл уже принимал, говоря языком компании, «ручные действия» против определенных веб-сайтов, которые пытались обмануть алгоритм. В ходе этой процедуры инженеры Гугл понижают рейтинг веб-сайта, изменяя его конкретный «вес». Например, если рейтинг веб-сайта искусственно повышают, оплачивая другим веб-сайтам размещение ссылки на него - а такие меры Гугл не одобряет - инженеры Гугл могут присвоить ему более низкий рейтинг. Компания также может занести веб-сайт в черный список или вообще удалить.

Брин по-прежнему против того, чтобы предпринимать масштабные усилия по борьбе со спамом, потому что это связано с большим вмешательством человека. Брин, чьи родители были евреями-эмигрантами из бывшего Советского Союза, даже лично решил разрешить оставить в результатах поиска по запросу «еврей» антисемитские сайты, по словам людей, которые осведомлены о его решении. Гугл даже опубликовал заявление об отказе от ответственности за результаты данного запроса, пояснив: «Наши результаты поиска генерируются абсолютно объективно и не зависят от убеждений и предпочтений тех, кто работает в Гугл».

Наконец, в один прекрасный день в 2004 году в туалете штаб-квартиры Гугл в Маунтин-Вью, штат Калифорния, Пейдж обратился к Бену Гомесу (Ben Gomes), одному из первых руководителей Гугл по поиску, чтобы выразить поддержку его усилиям по борьбе со спамом. «Просто делайте то, что считаете нужным, - сказал Пейдж, по словам человека, который осведомлен об этой беседе. - Сергей скоро развалит эту хренову компанию».

Левин, пресс-секретарь Гугл, сказала, что Пейдж, Брин и Гомес отказались от комментариев.

После этого компания пересмотрела свои алгоритмы борьбы со спамом и сделала послабления в руководящих принципах относительно ручного вмешательства, по словам людей, знакомых с этим вопросом.

У Гугл есть руководство по изменению алгоритмов ранжирования, изнурительному процессу, так называемому «комитету по запуску». Руководители Гугл указывали на этот процесс в своих показаниях в Конгрессе, когда им задавали вопросы об изменениях алгоритмов. По словам людей, знакомых с вопросом, этот процесс подобен защите диссертации, а встречи могут быть весьма дискуссионными. Отчасти из-за трудоемкости этого процесса некоторые инженеры стремятся по возможности избежать его, как сказал один из этих людей, и иногда могут проталкивать небольшие изменения без одобрения комитета. Гомес входит в комитет, который решает, утвердить ли изменения, а другие старшие должностные лица также иногда присутствуют на заседаниях.

Левин из Гугл сказала, что не каждое изменение алгоритма обсуждается на собрании, но «существуют другие процессы для пересмотра более простых обновлений на разных уровнях организации», такие как проверка по электронной почте. В такого рода пересмотре тоже участвуют члены комитета по запуску, говорит она.

На сегодняшний день Гугл раскрыл лишь несколько факторов, которые измеряются с помощью его алгоритмов. Один из таких известных факторов - «свежесть», которая отдает предпочтение недавно созданному контенту при запросах, связанных с такими вещами, как последние новости или спортивные события. Другой - это местоположение пользователя. Если пользователь ищет «зоопарк», инженеры Гугл хотят, чтобы алгоритмы выдавали лучший зоопарк поблизости от пользователя. Одни из наиболее важных - это языковые сигналы, то, как меняются значения, когда слова используются вместе - например, «апрель» и «первое» - поскольку они помогают определить, что на самом деле запрашивает пользователь.

По словам бывшего сотрудника Гугл, в число других важных сигналов входило, сколько времени пользователи будут оставаться на страницах, на которые они кликали, прежде чем вернуться в Гугл. Долгое пребывание повысило бы рейтинг страницы. По словам бывшего сотрудника, быстрый отскок назад, указывающий на то, что сайт не подошел, серьезно повредит рейтингу.

За прошедшие годы база данных Гугл, в которой регистрируется подобная активность пользователей, стала конкурентным преимуществом, помогающим укрепить ее позиции на рынке поиска. Другие поисковые системы не имеют такого количества данных, которое доступно для Гугл, лидера рынка поиска.

Именно поэтому его текущие решения имеют огромное значение. Когда ранее в этом году компания Пинтерест (Pinterest Inc). подала заявку на то, чтобы стать публичной, она заявила, что «поисковые системы, такие как Гугл, могут изменять свои алгоритмы и руководства или применять эти руководства пагубным для нас образом». И добавила: «Наши возможности обжаловать эти действия ограничены». Представитель «Пинтерест» отказался от комментариев.

Появилос