Шум. Несовершенство человеческих суждений - Оливье Сибони Страница 17

об оценке прогнозных суждений. Чтобы минимизировать MSE, нужно постараться избежать значительных ошибок. К примеру, при измерении длины эффект от уменьшения погрешности с 11 см до 10 см в 21 раз выше, чем эффект ее сокращения с 1 см до истинного значения. К сожалению, интуитивные представления в этом отношении45 почти зеркально противоположны верным: люди всеми силами стремятся получить максимально точный ответ и очень внимательно относятся к небольшим погрешностям, при этом практически игнорируя разницу между двумя значительными ошибками. Даже если вы искренне полагаете, что пытаетесь добиться точности суждения, ваш эмоциональный отклик на результаты может помешать достижению точности в научном понимании.

Конечно же, самым оптимальным решением в этой ситуации будет заняться уменьшением как шума, так и смещения. Поскольку эти величины друг от друга не зависят, бессмысленно выбирать между предложениями Эми Симкин и ее начальника. Если компания GoodSell все же возьмется за сокращение уровня шума, тот факт, что при этом станет очевиднее смещение – а на самом деле его просто невозможно будет не заметить, – может обернуться благом.

Разумеется, при уровне смещения намного больше уровня шума сокращение последнего будет менее приоритетной задачей. Но пример с компанией GoodSell дает нам еще один немаловажный урок. В этой упрощенной модели мы посчитали, что уровни шума и смещения одинаковы. Согласно уравнению расчета погрешности, их вклад в общую погрешность тоже одинаков: 50 % у шума и 50 % у смещения. И все же, как мы заметили, 84 % прогнозистов ошиблись в бóльшую сторону. Требуется именно такой высокий уровень смещения (шесть из семи специалистов ошиблись в одинаковом направлении), чтобы их эффект сравнялся с эффектом шума. Поэтому не стоит удивляться, столкнувшись с ситуациями, когда уровень шума выше, чем уровень смещения.

Мы показали применение уравнения расчета погрешности на единичном примере – только в одном регионе, где GoodSell ведет свою деятельность. Безусловно, всегда желательно проводить ревизию шума сразу на нескольких примерах. Метод при этом не меняется. Уравнение расчета погрешности используют в каждом отдельном случае, и суммарное уравнение получается при подсчете среднего значения среднеквадратической ошибки, квадрата шума и квадрата смещения, разделенных на количество случаев. Для Эми Симкин было бы полезнее получить целый ряд прогнозов по различным регионам от одной или нескольких групп специалистов. Средние результаты дали бы ей более четкую картину смещения и шума в системе прогнозирования компании GoodSell.

Цена шума

Рациональной основой этой книги является уравнение расчета погрешности. Оно объясняет, зачем нужно сокращать уровень системного шума в прогнозных суждениях: это, по сути, настолько же важно, как и сокращение статистического смещения.

Уравнение расчета погрешности и построенные на его основе заключения зависят от использования среднеквадратической ошибки в качестве меры общей погрешности. Это правило применимо к чисто прогнозным суждениям, включая прогнозы и оценки, задачей которых является приближение к истинному значению с максимальной точностью (наименьшим смещением) и максимальной прецизионностью[6] (наименьшим уровнем шума).

К оценочным суждениям, однако, уравнение расчета погрешности не применишь, поскольку к ним гораздо сложнее применить само понятие погрешности, предполагающее наличие истинного значения. Более того, даже если бы мы определили погрешности, убытки от них редко бывают симметричными и вряд ли в точности соответствуют их квадратам.

Например, для компании, производящей лифты, погрешности в оценке максимальной грузоподъемности лифта будут иметь явно асимметричные последствия: заниженная оценка чревата затратами, а завышенная может привести к катастрофе. Таким же образом квадрат погрешностей бесполезен, когда вы решаете, во сколько нужно выйти из дома, чтобы успеть на поезд. В такой ситуации опоздайте вы на одну или на пять минут – последствия будут совершенно одинаковыми. Когда же страховая компания из главы 2 назначает цену полисам или определяет стоимость страховых претензий, затратными будут погрешности в обоих направлениях, однако нет никаких причин полагать, что эти затраты будут одинаковыми.

Все эти примеры показывают, насколько важно определить роли прогнозных и оценочных суждений в принятии решений. Общепризнанная аксиома надлежащего принятия решений гласит, что не следует смешивать собственные жизненные установки и факты. В основе эффективного принятия решений должны быть объективные и точные прогнозные суждения, свободные от влияния надежд, страхов, предпочтений и ценностных ориентиров. Первым шагом компании, производящей лифты, должен стать нейтральный расчет максимальной грузоподъемности в условиях применения различных технических решений. Безопасность становится предметом пристального внимания только на втором этапе, когда оценочные суждения определяют выбор приемлемого запаса прочности при установлении максимальной вместимости лифта. (Несомненно, этот выбор также будет сильно зависеть от фактических суждений, например об издержках и выгодах такого запаса прочности.) Похожим образом, когда вы будете прикидывать, во сколько выезжать на вокзал, вашим первым шагом будет объективно определить, сколько времени понадобится на то, чтобы туда добраться. Сопутствующие издержки, которые вы понесете, опоздав на поезд или долго томясь в ожидании отправления на вокзале, имеют значение только при выборе того риска, на который вы готовы пойти.

Та же логика работает, когда принимаются гораздо более судьбоносные решения. Военачальник обязан учитывать множество факторов, делая выбор в пользу наступательных действий. Однако бо́льшая часть разведывательных данных, на которые он опирается в своем решении, – прогнозные суждения. При выборе реагирования на кризис в здравоохранении, например пандемию, правительство должно взвесить «за» и «против» возможных сценариев, но без точных прогнозов о последствиях каждого из них (включая решение полностью воздержаться от каких-либо действий) никакая оценка невозможна.

Во всех приведенных примерах для принятия окончательных решений требуются оценочные суждения. Для выбора самого оптимального решения необходимо рассмотреть множество вариантов и применить собственную систему ценностей. Но решения базируются на прогнозах, которые должны быть ценностно-нейтральными. Цель прогнозов – точность, способность оказаться как можно ближе к «яблочку» мишени, и адекватной мерой погрешности является среднеквадратическая ошибка. Качество прогнозных суждений можно улучшить при помощи процедур, снижающих уровень шума, при условии, что такие процедуры не приводят к увеличению смещения.

К разговору об уравнении расчета погрешности

«Как ни странно, если сократить либо шум, либо смещение на одну и ту же величину, это окажет равноценное влияние на точность суждения».

«Всегда полезно сокращать уровень шума в прогнозных суждениях, независимо от того, известен ли при этом уровень смещения».

«Когда 84 % оценок оказывается выше истинного значения, а 16 % – ниже, мы наблюдаем большое смещение. Именно в этом случае масштабы шума и смещения равны».

«Принятие любого решения включает в себя вынесение прогнозных суждений, единственной целью которых должна быть точность. Не смешивайте свои ценностные ориентиры с фактами».

Глава 6

Анализ шума

В предыдущей главе обсуждался разброс в результатах