"Когда Билл Гейтс заходит в бар, все его посетители становятся в среднем миллиардерами". Это не шутка. Это статистика.

Опираясь на статистику, легко лгать, но без статистики очень трудно выяснить истину. Без минимального понимания статистики невозможно ни правильно выбрать страхование, пенсионную программу, ни понимать результаты опросов общественного мнения.

Недавно Хол Вариан, главный экономист компании Google, в интервью The New York Times сказал, что в следующем десятилетии работа со статистическими данными станет "сексуальной профессией".

"Ложь, наглая ложь и статистика"

Все знают, что "Существуют три вида лжи: ложь, наглая ложь и статистика" (There are three kinds of lies: lies, damned lies, and statistics). Сейчас на русском языке вышла книга Чарльза Уилана "Голая статистика. Самая интересная книга о самой скучной науке". Автор, преподаватель экономики и политики в Чикагском университете, сообщает в первой строчке: "Я всегда недолюбливал математику. Мне вообще не нравятся числа как таковые". Многие из читателей вполне понимают и разделяют эту нелюбовь. Поскольку никто так и не растолковал им, какое отношение этот предмет (после элементарной арифметики) имеет к реальной жизни. Если вас не приводит в восхищение элегантность самих математических формул, то ничего, кроме смертельной скуки, они вызывать не могут.

В то же время, Чарльз Уилан признается: "Я обожаю статистику: ее можно использовать для объяснения очень многих вещей, от тестирования ДНК до бессмысленности участия в разного рода лотереях. Статистика способна помочь в выявлении факторов, связанных с такими недугами, как рак и заболевания сердца, а также в обнаружении манипуляций с проведением стандартизованных тестов. Благодаря ей вы даже можете выиграть некоторые игровые шоу".

Хотя статистика в отличие от философии, психологии и экономики не часто становится предметом светских разговоров, о ней трудно рассуждать, опираясь только на здравый смысл и жизненный опыт, а выводы часто носят контринтуитивный характер, статистика настолько пронизывает повседневную жизнь, что игнорировать ее просто опасно. Она вездесуща. Книга Уилана убеждает, что статистика подобна мощному оружию, полезному в случае его правильного применения и потенциально разрушительному в неумелых руках, при некорректном употреблении, когда вами манипулируют.

Ведь отдыхать полезно?

Уилан предлагает следующую гипотетическую новость из интернета: "Люди, которые делают короткие перерывы в работе в течение дня, имеют гораздо больше шансов умереть от рака". Согласно весьма впечатляющим результатам обследования 36 000 работников (огромный массив данных, не правда ли?!), у тех, кто выходил из офиса на регулярные десятиминутные перерывы в течение каждого рабочего дня, вероятность заболевания раком в последующие пять лет оказалась на 41 % выше, чем у тех, кто офисы не покидал. Представим себе, что данные абсолютно точные. Узнав такую новость, мы обязаны как-то на нее реагировать: возможно, провести общенациональную кампанию за запрет коротких перерывов в течение рабочего дня. Но это же не логично. Ведь отдыхать полезно. Выходить на свежий воздух – полезно. Как же так может быть? Ведь перерывы должны наоборот укреплять здоровье?

А может, следует подойти к проблеме с другой стороны и задуматься над тем, чем именно обычно занимаются работники во время таких десятиминутных перерывов? Мы ведь можем догадаться, что для очень многих эта десятиминутка имеет четкое название: “перекур”. И все сразу встанет на свои места. Опасны не кратковременные перерывы в работе, а сигареты…

Большинству читателей этот пример покажется абсурдным, но могу вас заверить, что многие статистические умозаключения, встречающиеся в реальной жизни, оказываются не менее абсурдными после их тщательного анализа.

Математика бреда

Несмотря на то что статистика как область знаний коренится в математике, а математика, как известно, относится к числу точных наук, использование статистики для описания сложных явлений не может быть точным. Это оставляет немалый простор для манипуляций и искажения реального положения вещей. Математическая точность, сопутствующая статистическому анализу, может служить ширмой для откровенного бреда, которому пытаются придать некое наукообразие. Кто-то из гнусных побуждений может обыграть даже самые невинные факты и численные показатели ради весьма сомнительных выводов, не имеющих ничего общего с реальной ситуацией.

Надо помнить, что любые статистические данные – это всего лишь исходный материал знаний. В детективных сериалах часто "изюминка" заключается в том, что поначалу следователи не располагают традиционными вещественными доказательствами (например, видеозаписью камер наружного наблюдения или живым свидетелем преступления), позволяющими им изобличить "плохого парня", поэтому им приходится прибегать к экспертам, которые благодаря научным методам приходит к логическим умозаключениям. Статистика, по сути, идет тем же путем. Исходные данные дают нам некое хаотическое нагромождение подсказок и намеков – так сказать, сцену преступления. А статистический анализ их упорядочивает и систематизирует таким образом, чтобы на их основе можно было сделать логический вывод. Можно было бы предложить телевидению шоу Regression Analysis (Регрессионный анализ), которое лишь немного отличалось бы от множества других остросюжетных полицейских сериалов. Регрессионный анализ – инструмент, позволяющий исследователям вычленить взаимосвязь между двумя переменными. Но когда ты устанавливаешь связь между ними — стоит помнить, что она не единственно возможная, что не следует упускать из вида множество других важных переменных.

Манипуляции с данными

Самый простой способ неправильного, но часто встречающегося использования статистики – это манипуляции с метрикой, то есть выбранным параметром, по которому мы можем судить о всей совокупности данных. Например, представим себе такой диалог:

Депутат от оппозиции: "Наша система школьного образования деградирует! Шестьдесят процентов наших школ продемонстрировали в этом году более низкие результаты экзаменов, чем в прошлом".

Депутат от правящей партии: "Наша система образования успешно развивается! Восемьдесят процентов наших учащихся продемонстрировали во время экзаменов в этом году более высокие результаты, чем в прошлом".

Как ни удивительно на первый взгляд, эти утверждения не противоречат друг другу просто потому, что оперируют разными единицами анализа для измерения качества образования: школами в первом случае и учениками — во втором. Если предположить, что успеваемость улучшали ученики больших школ, а падение успеваемости происходило в маленьких школах, в отдаленных районах, на периферии, в провинции — все сразу становится понятно.

Вот еще похожее. Два вроде бы противоположных утверждения, которые совсем не противоречат друг другу. "Нам грозит экономическая катастрофа! – восклицает депутат от оппозиции. – В половине регионов страны доходы населения за прошлый год сильно сократились". "Страна вступила на путь экономического роста, – на следующий день провозглашает министр. – Доходы половины наших граждан за прошлый год увеличились".

Какое измерение более правильное. Статистика на этот вопрос ответа не дает. Это дело ваших убеждений, вкуса и партийной принадлежности.

Как мерить Израиль?

Один из героев фильма "Серебряное блюдо" ("Магаш ха-Кесеф") Гай Рольник говорит, что при вступлении Израиля в Организацию экономического сотрудничества и развития (OECD) у нас была большая радость, которая затем сменилась разочарованием, поскольку постоянно публикуются сравнительные данные. Глядя на одни публикации сравнений, хочется сразу орать "Ужас! Ужас! Все пропало". Доля бедных семей с доходами ниже 50% от медианного уровня, в Израиле значительно выше, чем во всех развитых странах мира, почти на уровне Мексики. Стоимость жизни у нас значительно выше, чем в странах с сопоставимым ВВП на душу населения, и выше, чем во многих более богатых странах, включая США. Производительность труда в Израиле сильно отстает от показателей развитых стран, и с годами этот разрыв только углубляется.

Глядя на другие публикации - вроде еще можно жить. Третьи - говорят, что даже есть чем гордиться: израильская экономика действительно демонстрирует высокую устойчивость к кризисам, неплохие темпы роста и высокие показатели занятости. Почему? Сравнение проводятся по разным параметрам.

На днях премьер-министр Израиля Биньямин Нетаниягу заявил, что в Израиле все улучшающиеся экономические показатели: уровень официально зарегистрированной безработицы в Израиле снизился в мае до 4.8%. Это данные ЦСБ. Им можно верить. Тут же в социальных сетях и экономических изданиях на Нетаниягу хлынула волна критики. Критики тоже оперировали цифрами ЦСБ и OECD.

Благополучие среднего класса?

Когда нам предлагают статистику, касающуюся экономического благополучия среднего класса, мы должны задаться вопросами: что такое "средний класс"? С какого уровня доходов он начинается?

Потом мы должны узнать: что называют и "экономическим благополучием"? Какой уровень доходов имеется в виду? А после уже разбираться с переменными и устанавливать связь между ними.

Иначе это произвольные данные о случайных переменных, которые не могут свидетельствовать о неизвестных величинах.

Нужно было бы измерить, как за последние годы изменилось экономическое благосостояние всех слоев. После определения среднего класса, надо было бы посмотреть, стали ли люди, которых мы определяем как средний класс, богаче, беднее или в их финансовом положении ничего не изменилось (в отношении изменения дохода на душу населения, поделив совокупного дохода на численность населения, сделать поправку на инфляцию, учесть, что средний доход на душу населения не равняется доходу среднего гражданина, учесть разницу между средним и медианным доходом…)

Но попробуйте объяснить это не только избирателям партии "Еш Атид", которые ни с какой стороны к строгому пониманию "среднего класса" не относятся, но и лидеру этой партии - "двоечнику" Яиру Лапиду, который даже не имеет аттестата о среднем образовании.

В результате выбирается несколько произвольных цифр, которые подаются без всякой связи с понятиями, которые никак не уточняются, а на основе их делаются политические (вернее: агитационные) выводы.

Как человек становится террористом?

Во многих случаях статистика может легко установить связь между двумя переменными. Но не ей интерпретировать ее. Например, учителем Уилана экономистом Принстонского университета Аланом Крюгером была написана книга What Makes a Terrorist ("Как человек становится террористом"). Это тема, которую было бы очень трудно изучать на живых примерах, используя добровольцев в качестве подопытных кроликов. Но проанализировав статистические данные, касающиеся известных террористов, Крюгер приходит к выводу: "Террористы отнюдь не всегда оказываются выходцами из беднейших слоев населения или малообразованными людьми, наоборот, обычно они принадлежат к среднему классу; уровень их образования также достаточно высок".

Почему? Ответов на этот вопрос может быть много. С помощью статистического анализа мы можем изолировать сильную связь между двумя переменными, но далеко не всегда можем объяснить причину ее существования, а в некоторых случаях даже не знаем наверняка, носит ли она причинно-следственный характер (то есть, что изменение одной переменной действительно влечет за собой изменение другой переменной).

Интерпретация, которую дает сам Алан Крюгер (поскольку террористы мотивированы определенными политическими целями, те, кто наиболее образован и богат, движимы сильным желанием изменить общество, возмущен подавление свободы и пр.) - далеко не единственно возможная. Мы можем придумать еще не менее десятка более или менее правдоподобных допущений.

Замечу в сторону, что сейчас Алан Крюгер занимает пост председателя Совета экономических консультантов Барака Обамы. И его взгляды влияют не только на экономическую политику американского руководства…

Как одевают статистику

Когда вы читаете в газете о том, что ежедневное употребление в пищу хлеба из отрубей снижает риск заболевания раком толстой кишки, вы не должны думать, что группу несчастных испытуемых насильно кормили хлебом из отрубей в подвале какой-то лаборатории, в то время как контрольная группа, находившаяся в соседнем здании, с удовольствием уплетала яичницу с беконом. Вовсе нет! Исследователи собирают подробные сведения о тысячах людей (в том числе, как часто они едят хлеб из отрубей), а затем используют регрессионный анализ, чтобы установить связь: у тех, кто ежедневно ест хлеб из отрубей, рак толстой кишки встречается на 9 % реже. При этом, вычисляя вероятность, стоит помнить и дополнительные параметры. Возможно, что установленная связь между ежедневным поеданием хлеба из отрубей и снижением заболеваемости раком толстой кишки, наблюдаемая в этом исследовании, является простым совпадением. Возможно, она является не прямой и устойчивой закономерностью, а косвенной, указывая на связь между режимом питания и состоянием здоровья человека. Те, кто едят хлеб из отрубей, возможно, просто вообще больше заботятся о том, чтобы их меню было более полезным, еда более здоровой.

Главная задача статистики - получить данные, которые позволяют нам лучше понимать свою жизнь. Элементарные правила работы со статистикой могут помочь разоблачать мошенников, лживые СМИ и политиков, манипулирующих данными. Или самим стать такими мошенниками, манипулирующими данными. Статистика может вам помочь читать результаты своих медицинских анализов, чтобы раньше времени не сказать всем окружающим, что вы действительно о них думаете, в надежде на скорую смерть. Понимание, основанное на статистике, убережет вас от азартных игр с государством и казино.

Читая книгу Уилана "Голая статистика. Самая интересная книга о самой скучной науке" я вспомнил древнюю гностическую притчу: как голую истину не пустили во дворец к царю. Ей пришлось уйти одеться в образы, символы, метафоры и объясняющие слова. Статистика может быть и голой, но даже в идеальных условиях статистический анализ лишь в редких случаях позволяет выявить "истину". Имея статические данные, мы обычно выстраиваем некую версию, в соответствии с нашим разумением, мировоззрением, вкусами, партийными пристрастиями. Данные статистики могут в той или иной степени проливать свет на интересующий нас вопрос, но они никогда не дадут на него исчерпывающего ответа.