Ошибка выживших

В случае явления под названием «ошибка выживших» (survivorship bias) речь идет не о том, каковы когнитивные искажения, присущие, предположим, людям, выжившим на войне или в какой-то естественной или техногенной катастрофе. При этом выжившие, разумеется, как и все остальные люди, безусловно, могут совершать ошибку выживших и часто ее совершают.

Речь идет о том, что мы часто пытаемся делать вывод на основе характеристик тех, кто выжил, забывая о том, что те, кто не выжил, тоже имели характеристики, которые нельзя игнорировать. Например, бесполезно проводить статистический анализ черт характера людей, выживших в автокатастрофе, чтобы определить, какие люди в них будут выживать, поскольку мы не сможем сравнить характеристики выживших с характеристиками погибших, а ведь если эти характеристики не различались, то говорить о том, что именно черты характера выживших способствовали их выживанию, не приходится. Конечно, в этом примере мы все предельно упростили.

В любом случае, игнорировать характеристики тех, кто не выжил, никак нельзя. Нельзя потому, что только при сравнении характеристик выживших с характеристиками не выживших можно сделать верный вывод.

Необходимо заметить, что об ошибке выживших можно говорить не только в случае выживания, но и в случае достижения успеха, например, спорте или в бизнесе. Хотя успех в бизнесе – это именно выживание, выживание проекта, выживание коммерческой организации.

 По сути, совершать ошибку выжившего означает делать вывод (статистический) на основе искаженной выборки.

Выборка является искаженной, когда в ней представлены не все значимые составляющие генеральной совокупности, и/или когда попадание в выборку происходит не случайно (нарушается требование рандомизации). Конечно, статистический вывод, формулируемый на основе анализа искаженной выборки, заведомо будет ложным, а правильно созданная выборка (репрезентативная, набранная в результате рандомизации) – это один из ключевых факторов обоснованности статистических выводов.

Кстати, знакомство с ошибкой выживших облегчает понимание того факта, что размер выборки – это не единственное условие ее репрезентативности. Представьте, что социолог решит судить о предпочтениях россиян на основе опроса, проведенного среди полутора тысяч москвичей, встреченных в крупных торговых центрах. Понятно, что хотя выборка по количеству соответствует современным стандартам социологических опросов, выводы этого опроса будет невозможно экстраполировать на все население России. Поэтому на практике социологу очень важно не исказить выборку, ему важно сделать так, чтобы помимо достаточного количества человек в выборку попали и представители достаточного количества слоев и групп населения (горожане и селяне, богатые и бедные, образованные и не очень).

Классическим примером ошибки выживших является ситуация с исследованием, проведенным во время Второй мировой войны Абрахамом Вальдом (1902-1950) – талантливейшим американским математиком венгерско-еврейского происхождения.

В рамках этого исследования, которое военное командование США заказало «Центру военно-морского анализа» (Center for Naval Analyses, сегодня – CNA Corporation), перед Абрахамом Вальдом стояла задача: провести статистический анализ пулевых отверстий в фюзеляже бомбардировщиков, возвращающихся из боя, с тем, чтобы места, куда пули зениток попадают чаще, укрепить дополнительным слоем брони [1].

Вроде бы, все логично, не так ли? Если статистика покажет, что попадают чаще в хвост, то мы его укрепим, и наши бомбардировщики станут менее уязвимыми.

Но рассуждать так, как раз и означает совершать ошибку выжившего, и Абрахам Вальд показал, в чем именно ошибочность этих рассуждений.

Вальд рассуждал так: если бомбардировщик, имеющий повреждения, вернулся на базу, значит, эти повреждения не фатальны, а тратить броню на укрепление пораженных участков фюзеляжа не стоит.

И действительно, что общего у выживших бомбардировщиков? У них никогда не бывает пулевых отверстий в определенных участках фюзеляжа. Значит, поражения именно этих участков приводят к тому, что бомбардировщик сбивают, и он не возвращается на базу. Следовательно, укреплять нужно именно участки, в которых не бывает пулевых отверстий (не бывает у выживших бомбардировщиков).

Статистический анализ, проведенный Вальдом в рамках рассматриваемого исследования, как раз и выявил участки, в которых никогда не бывает пулевых отверстий (если мы рассматриваем самолеты, вернувшиеся на базу).  Соответственно, Вальд предложил укрепить дополнительным слоем брони именно эти участки, и в результате выживаемость бомбардировщиков в бою действительно возросла.

Надо заметить, что определить характеристики не выживших на основе анализа характеристик выживших, как это сделал Абрахам Вальд, возможно далеко не всегда. Поэтому случай с бомбардировщиками – это довольно частный и специфический пример ошибки выживших.

Еще одна, так сказать, классическая иллюстрация ошибки выживших – это оригинальное предположение (я подчеркиваю: предположение) о том, что позитивный образ дельфинов, которые спасают утопающих или потерпевших кораблекрушение, толкая их к берегу, может быть мифологическим, неверным, поскольку те, кого дельфины толкали прочь от берега в открытое море, просто не могут нам об этом рассказать. Но тут следует отметить, что никто не изучал поведение дельфинов с этой стороны и не собирал объективные данные по этому вопросу. Так что не спешите записывать дельфинов – этих милых умных и игривых созданий – в категорию коварных подводных убийц.

В реальной жизни мы постоянно совершаем ошибку выживших, причем различные продавцы лженаучных рецептов счастья и успеха умело заставляют нас эту ошибку совершать.

Прежде всего, тут можно вспомнить всякие исследования деятельности успешных бизнесменов, которые проводится для того, чтобы выявить их секрет успеха и позаимствовать его.

Вот условный пример такого подхода:

«Я проанализировал деятельность 15 успешных бизнесменов. Все они чистили зубы не только утром, но и на ночь. Следовательно, именно чистка зубов утром и вечером ведет к успеху в бизнесе!»

Тут имеет значение не только то, что размер выборки (15 человек) явно не достаточен для формулировки вывода. Имеет значение и то, что выборка является искаженной, поскольку из рассмотрения исключены разорившиеся, прогоревшие бизнесмены. А вдруг эти неудавшиеся предприниматели тоже чистили зубы утром и на ночь?

По сути, ошибка выживших является одним из следствий проведения так называемой «наивной проверки», или, если хотите, следствием игнорирования «Большой четырехклеточной таблицы жизни» (The Great Fourfold Table of Life), как ее называет Скотт Лилиенфельд с соавторами [2, 40-41].

Давайте посмотрим, как выглядит ошибка выживших с этой точки зрения.

Для этого допустим, что мы хотим понять, ведет ли определенное личностное качество, присущее  бизнесмену (назовем его качеством А), к успеху в бизнесе. Для этого построим следующую таблицу:

В данном случае совершить ошибку выживших, значит, смотреть только на ячейку 1, и не учитывать ячейку 2.

Причем надо отметить, что научное исследование отличается от наивной проверки, во многом именно тем, что научное исследование охватывает вообще все ячейки таблицы. При этом данные, попадающие в строку 1-2, исследователь получает благодаря экспериментальной группе, а данные, попадающие в строку 3-4 – благодаря группе контрольной.

При это не стоит забывать и о том, что данные по экспериментальной и контрольной группе обрабатываются с помощью математико-статистических средств, а никак не на глазок…

Моделирование, на котором построено НЛП (как заявляют его адепты), тоже является, примером совершения ошибки выжившего. Действительно, моделировать поведение успешного человека (т.е. подражать ему, копировать паттерны этого поведения) бессмысленно, пока мы не сравнили его поведение с поведением неуспешных людей, чтобы проверить, не является ли оно таким же.

Кстати, в случае НЛП-моделирования следует обратить внимание и на более частную ошибку. Обращает ли внимание адепт НЛП, моделирующий успешного человека, на то, что этот успешный человек делает или на то, чего он никогда не делает? Может быть, именно в поведении, которое мы никогда не находим у успешного человека, и кроется секрет его успеха? Но даже при переносе внимания на то, что модель не делает, надо помнить, что люди – не бомбардировщики, а успешная деятельность человека – гораздо более сложный объект исследования, чем пулевые отверстия в фюзеляже.

Ну, а про нерепрезентативность выборки, по которой адепты НЛП пытаются судить о том, какие паттерны поведения эффективны, а какие – нет, я замечу лишь мельком.

Еще один пример совершения ошибки выживших – это одна из 26 причин кажущейся эффективности психотерапии, а именно причина №11 – избирательный отсев (selective attrition). В случае избирательного отсева оценщик эффективности психотерапии просто исключает людей, отказавшихся от психотерапии до завершения курса лечения, из рассмотрения, совершая тем самым ошибку выживших и искажая выборку.

Таким образом, если вы собираетесь судить о чем-то по той или иной выборке – всегда проверяйте, является ли эта выборка репрезентативной и не является ли она искаженной.

ЛИТЕРАТУРА

  1. Mangel M., Samaniego F. Abraham Wald's work on aircraft survivability // Journal of the American Statistical Association. – 1984. – 79 (386). – Pp. 259-267.
  2. Лилиенфельд С.О. 50 великих мифов популярной психологии / Скотт О. Лилиенфельд, Стивен Дж. Линн, Джон Русио, Барри Л. Бейерстайн. – М.: Эксмо, 2013. – 512 с.
Еще по теме:
Эвристика репрезентативности
Что такое эвристика репрезентативности (representativeness heuristic)? Чтобы ответить на этот вопрос, нужно вначале вспомнить, что такое эвристика.