Аналитика — жертва апофении

Так уж мы устроены, что мозг всегда пытается найти причинно-следственные связи событий и явлений. С помощью этого окружающий мир становится более понятным, предсказуемым, создается впечатление контроля над ситуацией.

Мы часто переходим проезжую часть и при этом относительно спокойны, если дорога хорошо освещена, переход совершается в предусмотренном для этого месте, водители соблюдают скоростной режим, горит соответствующий сигнал светофора и тд.

Но как будет вести себя человек, если до этого он никогда не видел пешеходного перехода и не знает правил дорожного движения? Испугается, конечно, но понаблюдав за другими, он достаточно быстро определит, что переход нужно совершать по «зебре» и на зеленый свет светофора.

А вот то, что невозможно предугадать, начинает, в большинстве своем, нас пугать. Для тех, кто не имел опыта общения с собаками, кажется, что любая из них может напасть “просто так”. И боятся такие люди четвероногих всегда.

Механизм поиска взаимосвязей сделал нас такими, какие мы есть. Те, кто не имел развития на должном уровне, не успевали дать потомство. Если съесть не те грибы или ягоды — будет плохо. Если не проверить пещеру, то можно наткнуться на хищника.

Однако, такая “настройка” нашего мышления иногда играет с нами злую шутку.

Что такое апофения?

Бывает, мы видим закономерности там, где их нет. Это и называется апофенией. Науке такой термин известен с 1958 года, в настоящее время он также используется для описания особенностей восприятия окружающего мира психически здоровых людей. Так что не переживайте.

В той или иной степени каждый из нас подвержен апофении. Из-за этого могут возникнуть различные “побочные” эффекты:

• приметы;
• поверья;
• астрология;
• нумерология;
• теории заговоров;
• гадания;
• обереги;
• и так далее.

Это яркие примеры апофении, попытка объяснить или предугадать те или иные явления.

Низко летают птицы? К дождю! И мало кто осознает, что низко летать они могут по совершенно другим причинам. Например, охотятся на насекомых, обитающих в определенной местности.

У спортсменов есть “счастливая” экипировка или ритуалы, которые “помогают” победить. А это всего лишь простой эффект плацебо.

Рассыпал соль? К ссоре! Конечно, раньше это было бы так. Соль стоила дорого и была труднодоступна для крестьян.

Пожелание “съесть пуд соли вместе” на свадьбах означало прожить очень долгую совместную жизнь. Сейчас такое количество (восемь килограмм на каждого супруга) среднестатистический россиянин, судя по последним данным, потребляет менее чем за два года.

При чем тут аналитика?

При анализе данных совпадение изменений на длительном отрезке времени считается абсолютным большинством как прямая или косвенная взаимосвязь.

Посмотрите на реальные графики статистики по США:

Докторские степени по социологии / Некоммерческие космические запуски в мире. Совпадение 78,92%

Социологов становится больше из-за космических запусков или наоборот? Ладно, здесь совпадение ниже 80%. Перейдем к следующему графику.

Докторские степени в строительстве / Потребление сыра моцарелла. Совпадение 95,86%

Получил докторскую степень в строительстве — отметил сыром? Или потребление моцареллы способствует получению докторской степени?

Докторские степени по компьютерным наукам / Общая выручка аркадных игр. Совпадение 98,51%

Стал доктором по компьютерным наукам — сделал прибыльную аркаду?

Среднее потребление маргарина / Доля разводов в штате Мэн. Совпадение 99,26%

Потребление маргарина негативно влияет на продолжительность браков? Совпадение выше 99%!

Что скажете? Как объяснить эти графики? Какая между ними связь? Правильно, скорее всего случайность. Это просто определить из-за того, что эти данные относятся к совершенно разным вещам.

Но если мы попробуем представить, что данные подбирались из одной отрасли и теоретически могут коррелировать? Тогда нам будет крайне трудно поверить в то, что две кривые синхронно меняют направление просто из-за совпадения.

Как мы видим из графиков выше даже десять лет не могут гарантировать отсутствие случайно схожих данных.

Всегда ли виновата апофения?

Причиной корреляции двух статистических данных может стать третья величина (маргарин и разводы могут быть связаны, если посмотреть через призму низкого достатка семьи).

Специалист может принять такую вероятность во внимание, а может не сделать подобного предположения. В последнем случае закономерность, если она существует, не будет выявлена.

Это говорит о том, что в любом случае присутствует человеческий фактор. Аналитик либо воспринимает данные как значимые, либо пренебрегает ими.

Частные случаи ошибок разбирать не будем. Если специалист имеет опыт работы в нише, то он имеет общие представления о возможных взаимосвязях.

Но даже у опытного квалифицированного аналитика может случиться приступ апофении.

Что делать?

Если видим закономерность в данных, то мы должны быть уверены, что эта закономерность не случайна.

Нам необходимо иметь понимание того:

• какие данные анализировать в первую очередь;
• какие данные принимать во внимание;
• какими данными можно или нужно пренебречь;
• погрешность сбора статистики;
• вероятность взаимосвязи.

Не стоит полагаться только на корреляционные исследования (т.е. фиксировать изменение одной величины при изменении другой), иначе мы вновь можем вернуться исключительно к интуитивному маркетингу из-за ложных выводов.

В памяти всплывает классический пример.

Чем больше на пожаре работало пожарных… Не вздумайте называть работников пожарной охраны «пожарниками», они обидятся. «Пожарник» — синоним слова погорелец.

Так вот, чем больше пожарных боролись с возгоранием, тем больше вероятность того, что ущерб, нанесенный огнем будет выше. И наоборот.

Но это не означает того, что на все вызовы нужно отправлять минимальное количество сотрудников.

Все очень просто, чем сложнее категория пожара, тем больший урон он может нанести и тем больше будет направлено пожарных.

Что в итоге?

По моему мнению, не стоит каждое совпадение считать закономерностью без тщательной проверки. Тогда аналитика перестанет быть жертвой, а станет вашим надежным союзником.