Шум. Несовершенство человеческих суждений

Лотерея, создающая шум

В крупных компаниях многие специалисты наделены правом выносить суждения, которые связывают эти компании обязательствами. Например, в страховых организациях работает множество андеррайтеров[2 - Андеррайтер – специалист, проводящий оценку рисков и формирующий профессиональное суждение о рисках и способах их минимизации.], назначающих размеры взносов за страхование финансовых рисков, например от потерь банка вследствие мошеннических операций. Там также задействовано много оценщиков страховых убытков, которые прогнозируют расходы в связи с будущими претензиями и ведут переговоры с заявителями в случае возникновения споров.

В каждом крупном филиале компании есть несколько квалифицированных андеррайтеров. Когда возникает необходимость в страховой котировке, или ставке премии, ее подготовка может быть поручена любому свободному специалисту. Фактически андеррайтер, который определит размер страховой котировки, назначается на основе лотереи.

Точный размер ставки премии имеет для организации большое значение. Компании выгодно, когда ставка высокая и клиент с ней соглашается, однако завышенная котировка увеличивает риск лишиться сделки. Если же ставка низкая, клиент принимает ее с большей готовностью, но тогда уже компания упускает выгоду. Для любого риска существует размер ставки, отражающий золотую середину, – не слишком высокий и не слишком низкий, – при этом высоки шансы, что в среднем оценки большой группы специалистов не будут сильно от нее отклоняться. Ставки выше или ниже этой величины окажутся убыточными – именно таким образом разброс шумных оценок способен отрицательно повлиять на финансовые показатели компании.

Деятельность оценщиков страховых убытков тоже сказывается на финансовых показателях. Предположим, что от имени рабочего (заявителя), навсегда утратившего работоспособность правой руки из-за несчастного случая на производстве, было подано требование о страховом возмещении. Для работы с заявкой назначается свободный на этот момент оценщик страховых убытков – точно так же, как и в случае с андеррайтером. Оценщик собирает необходимую информацию о деле и представляет оценку его окончательной стоимости для страховой организации. Затем тот же специалист ведет переговоры с агентом предъявителя претензии, стараясь сделать так, чтобы заявитель получил выплаты, обещанные страховым полисом, но без ущерба компании.

Важное значение имеет предварительная оценка, поскольку она устанавливает определенную планку для специалиста в будущих переговорах с заявителем. Кроме того, страховая компания по закону обязана зарезервировать прогнозируемую сумму каждого требования о возмещении (другими словами, иметь достаточно свободных денег на выплаты). С позиции компании, в этом случае тоже возникает некое значение, отражающее золотую середину. Гарантировать урегулирование претензии невозможно, поскольку юрист заявителя может обратиться в суд, если посчитает предложение страховой компании мизерным. С другой стороны, если зарезервировать слишком большую сумму, есть риск, что оценщик уступит и согласится на необоснованно завышенные требования. Суждение оценщика имеет серьезные последствия для компании и еще более серьезные – для заявителя.

Мы используем термин лотерея, чтобы подчеркнуть роль случайности в выборе андеррайтера или оценщика убытков. В обычных условиях на каждое дело назначается один специалист, и никто не задается вопросом, что бы произошло, если бы вместо него назначили кого-то другого.

Лотереи бывают полезны, и в них необязательно видеть что-то плохое. Полезные лотереи используют как для распределения «благ», например при розыгрыше допуска к определенным университетским курсам, так и для раздачи «повинностей», например во время призыва в армию. Такие лотереи успешно выполняют свою функцию. Но в процессе вынесения суждений лотереи ничего не распределяют и не раздают – они лишь порождают неопределенность. Представьте, что андеррайтеры в страховой компании не выносят шумных оценок и всегда назначают оптимальные ставки премий. Однако затем некий механизм случайным образом изменяет эти ставки, и клиентам предлагается конечный результат. Очевидно, что для подобной лотереи нет никаких оснований. Как нет никаких оснований для существования системы, в которой конечный результат зависит от личности специалиста, случайно назначенного для вынесения профессионального суждения.

Ревизия шумовых помех выявляет системный шум

Если судья, выносящий приговор, или единственный стрелок, представляющий свою команду, назначаются при помощи лотереи, это приводит к разбросу результатов, однако остается незамеченным. Ревизия шума, аналогичная той, что была проведена на материале приговоров, выносимых федеральными судьями, помогает решить эту проблему. В процессе ревизии одно и то же дело оценивается большим количеством специалистов, и разброс в их заключениях становится очевидным.

Это особенно хорошо работает в случае с андеррайтерами и страховыми оценщиками, чьи решения основываются на информации, представленной в письменном виде. Для проведения ревизии шума руководство компании подготовило детальные описания пяти типичных кейсов для каждой из групп специалистов (андеррайтеров и оценщиков). Каждый специалист должен был самостоятельно оценить два-три кейса; при этом испытуемые не знали, что целью исследования была оценка разброса в их суждениях.

Прежде чем продолжить чтение, попробуйте сами ответить на следующие вопросы. Насколько сильно будут отличаться оценки двух случайным образом назначенных квалифицированных андеррайтеров или оценщиков в преуспевающей страховой компании? В частности, какова будет разница между двумя оценками в процентах от их среднего показателя?

Мы задали этот вопрос большому количеству руководителей компании, а в последующие годы получили подобные оценки от широкого круга специалистов в различных областях. К нашему удивлению, один ответ встречался намного чаще остальных. Большинство топ-менеджеров в страховой компании предположили, что эта разница составит 10 или менее процентов. Затем мы опросили 828 генеральных директоров и руководителей из различных отраслей, предложив им оценить ожидаемые различия в экспертных суждениях, подобных вышеописанным. Медианной, и наиболее популярной, снова стала оценка в 10 %. (Второй по популярности была оценка в 15 %.) Разница в 10 % означала бы, к слову, что один из андеррайтеров назначил ставку премии в 9500 долларов, тогда как второй – в 10 500. Разница не выглядит такой уж ничтожной, но она вполне допустима для подобной организации.

Расхождения, выявленные нами во время ревизии шума, оказались куда более серьезными. По нашим оценкам, медианная разница у андеррайтеров составила 55 % – в пять раз выше, чем того ожидали большинство опрошенных, включая руководителей. Это означает, что, если один андеррайтер назначает премию в 9500 долларов, оценка второго будет вовсе не 10 500, а 16 700 долларов. Для оценщиков страховых убытков медианное соотношение составило 43 %. Подчеркнем, что эти результаты медианные: в половине пар кейсов разница между двумя оценками оказалась еще выше.

Получив отчет о результатах ревизии шумовых помех, руководители компании очень быстро сообразили, что такой существенный уровень шума – проблема весьма дорогостоящая. Один топ-менеджер подсчитал, что шум в андеррайтинге, включая как потери клиентов от завышенных ставок премий, так и убытки от заниженной цены контрактов, обходится компании в сотни миллионов долларов.

Никто не мог сказать наверняка, сколько при этом было ошибок и каким было смещение, поскольку значение золотой середины для каждого кейса не было известно. Но необязательно знать, где находится «яблочко» мишени, чтобы оценить широту разброса попаданий на ее оборотной стороне и понять, что вариативность представляет собой проблему. Данные показали, что сумма, которую клиент заплатит за страховку, довольно сильно зависит от результатов лотереи выбора специалиста, отвечающего за сделку. Мягко выражаясь, клиенты не слишком бы обрадовались новостям о том, что они невольно поучаствовали в такой лотерее. Как правило, имея дело с организациями, люди ожидают от системы последовательных суждений, но никак не системного шума.

Нежелательный разброс против желаемого разнообразия

Одна из определяющих черт системного шума – его нежелательность, и здесь нужно подчеркнуть, что разброс в суждениях нежелателен отнюдь не всегда.

Возьмем, к примеру, предпочтения или вкусы. Когда десяток кинокритиков посмотрят один и тот же фильм, десяток дегустаторов оценят одно и то же вино, а десяток читателей прочтут одну и ту же книгу, никто не ожидает, что их мнения окажутся одинаковыми. Разнообразие вкусов здесь приветствуется и вполне предсказуемо. Никому (ну или почти никому) не хочется жить в мире, где всем поголовно нравится и не нравится одно и то же. Однако в том случае, когда выражение личных предпочтений принимается за профессиональное суждение, разнообразием вкусов могут оправдывать ошибки. Если кинопродюсер решится на необычный проект (скажем, фильм о расцвете и упадке дисковых телефонных аппаратов) только потому, что ему пришелся по душе сценарий, такой выбор будет грубым просчетом, окажись он в этом мнении совершенно одинок.

Вариативность мнений также ожидаема и желательна в условиях конкуренции – когда поощряются наилучшие решения. Если несколько компаний (или отделов в организации), конкурируя, пытаются найти новые подходы к одной и той же проблеме заказчика, не нужно, чтобы они были одинаковыми. Так же и в науке: когда несколько групп ученых решают исследовательскую задачу, например разрабатывают вакцину, весьма желательно, чтобы проблема рассматривалась с различных углов зрения. Даже прогнозисты порой конкурируют между собой. Аналитик, точно предсказавший рецессию, когда ее никто не ждал, наверняка получит широкую известность, в отличие от прогнозиста, который всегда придерживается общепринятых мнений и потому остается в тени. В таких условиях вариативность идей и суждений снова приветствуется, поскольку здесь разброс – только первый этап процесса. На следующем этапе результаты, к которым приведут эти суждения, уже померяются силами друг с другом: победит сильнейший. Как и в мире природы, в рыночных условиях отбор требует изменчивости.

Личные предпочтения и условия конкуренции – занятные проблемы, связанные с вынесением суждений. Но нас интересуют суждения, в которых разброс нежелателен. Системный шум – проблема систем, а к ним относятся не рынки, а организации. Когда трейдеры по-разному оценивают стоимость акций, одни на этом заработают, а другие нет. Рынок строится на разности мнений. Однако если случайно выбранному трейдеру поручат подобную оценку от имени целой компании и мы обнаружим, что оценки его коллег из той же компании будут кардинально отличаться, тогда налицо проблема системного шума.

Мы получили изящную иллюстрацию вышесказанного, когда представили наши выводы руководителям фирмы по управлению активами, предложив им провести собственную ознакомительную ревизию шума. Они поручили 42 опытным инвесторам компании оценить справедливую стоимость акции (стоимость, при которой инвесторы были бы не заинтересованы в ее покупке или продаже). Инвесторы провели анализ на основе одностраничного описания компании, включающего упрощенные данные о прибыли и убытках, баланс, отчеты о движении денежных средств за последние три года, а также финансовый прогноз на последующие два. Проделав такие же измерения, как ранее в страховой компании, мы обнаружили, что медианный шум в фирме по управлению активами составил 41 %. Такая огромная разница суждений среди инвесторов одной компании, пользующихся одинаковыми методами оценки, – неутешительные новости.

Когда специалиста, выносящего суждение, произвольно отбирают из числа других таких же квалифицированных специалистов, как мы уже наблюдали в фирме по управлению активами, в системе уголовного правосудия и в страховой компании, шум становится проблемой. Системный шум – проклятие многих организаций. Фактически случайным образом будет назначен врач, который окажет вам помощь в больнице, судья, который будет слушать ваше дело, патентный эксперт, который рассмотрит вашу заявку, представитель отдела обслуживания клиентов, который ответит на вашу жалобу, и т. д. Нежелательный разброс в таких решениях может стать причиной серьезных проблем, в числе которых финансовые потери и повсеместная несправедливость.

Нежелательному разбросу часто не придают значения, полагая, что случайные ошибки взаимно уничтожаются. Разумеется, положительные и отрицательные ошибки в суждении по одному вопросу имеют тенденцию друг друга компенсировать, и мы подробно рассмотрим, как эту особенность можно использовать для снижения уровня шума. Однако в шумных системах не принимается множество решений по одному и тому же вопросу – в них принимаются шумные решения по разным вопросам. Если цена одного страхового полиса оказывается завышена, а другого – занижена, усредненное значение может казаться справедливым, но при этом страховая компания допускает две дорогостоящие ошибки. Если двух преступников, которым полагается по пять лет тюрьмы, приговаривают к трем и семи годам соответственно, справедливость в целом не торжествует. В шумных системах ошибки не компенсируют друг друга – они накапливаются.

Иллюзия согласия

В последние десятилетия шуму в профессиональных суждениях было посвящено большое количество публикаций. Будучи знакомыми с их содержанием, мы не слишком удивились результатам ревизии шума в страховой компании. Настоящим же сюрпризом для нас стала реакция руководства компании на эти данные: они не ожидали, что шума будет так много. Никто не усомнился в результатах, никто не посчитал такой уровень шума допустимым, однако проблема шума – и возникающие из-за нее огромные издержки – стала для компании новостью. Словно протечку в подвале дома, шум не пытались устранить – не потому что он всех устраивал, а потому что его попросту никто не замечал.

Как такое могло случиться? Как мнения специалистов, выполняющих одинаковые функции в компании, могли так сильно отличаться и как это могло остаться незамеченным? Почему руководители ничего не видели, ведь, как они признали, такая ситуация представляла серьезную угрозу деятельности компании и ее репутации? Стало понятно, что зачастую организации не способны распознать проблему системного шума, и такое невнимание не менее интересно, чем сам масштаб проблемы. Ревизия позволила предположить, что авторитетные специалисты и их компании-работодатели поддерживали лишь иллюзию согласия и при этом фактически изо дня в день расходились в профессиональных суждениях.

Чтобы понять, откуда возникает иллюзия согласия, представьте себя на месте андеррайтера в ничем не примечательный рабочий день. У вас больше пяти лет опыта, и вы знаете, что коллеги вас ценят, а вы уважаете и любите своих коллег. Вы не сомневаетесь в своей компетенции. Тщательно проанализировав потенциальные риски финансовой организации, вы приходите к заключению, что ставка страховой премии в 200 000 долларов будет оправданной. Задание довольно сложное, но не труднее того, с чем вам приходится иметь дело ежедневно.

Теперь вообразите, что ваши коллеги получили те же данные и оценили риск той же финансовой организации. Поверите ли вы, что по меньшей мере половина специалистов назначили ставку выше 225 000 или ниже 145 000 долларов? Мысль не из приятных. Мы подозреваем, что андеррайтеры, узнав о проведенной нами ревизии шума и согласившись с ее результатами, все же так и не смирились с мыслью, что выводы исследования относились лично к ним.

Большинство из нас почти всегда уверено, что мир именно такой, каким мы его себе представляем. Отсюда недалеко до следующего убеждения: «Другие видят мир таким, каким его вижу я». Подобные представления, называемые наивным реализмом

, необходимы для понимания реальности, общей для всех людей, и редко ставятся под сомнение. В любой момент у нас есть единая интерпретация окружающего мира, и, как правило, мы практически не утруждаем себя мыслями о правдоподобных альтернативах. Нам достаточно одной, в нашем понимании верной интерпретации. Мы не идем по жизни, воображая иные способы восприятия действительности.

В случае профессиональных суждений вера в то, что другие видят мир теми же глазами, ежедневно подкрепляется различными способами. Так, коллеги используют общий жаргон и набор правил, которые помогают сформулировать соображения, важные для принятия решений. Нас обнадеживает, когда коллеги соглашаются, что суждения, нарушающие эти правила, абсурдны. Если время от времени у нас все же возникают разногласия с коллегами, мы интерпретируем это как ошибку с их стороны. Мы редко замечаем, что согласованные нами правила довольно расплывчаты: с их помощью можно отбросить какие-то варианты решений, но нельзя прийти к общему положительному ответу в каждом конкретном случае. Мы можем работать с коллегами в мире и согласии и при этом совершенно не замечать, что они видят мир совсем иначе.

Вот как специалист по андеррайтингу описывала нам историю своего профессионального роста в отделе: «Когда я только пришла, я советовалась со своим начальником по поводу 75 % кейсов. Спустя пару лет необходимость в этом отпала – теперь экспертом стала я сама. Со временем я принимала решения гораздо увереннее». Как это случается со многими из нас, ее уверенность росла по мере накопления опыта вынесения суждений.

Психология этого процесса хорошо изучена. Уверенность подпитывается субъективным опытом все возрастающей легкости и свободы принятия решений, отчасти из-за их сходства с решениями, уже принимавшимися в похожих обстоятельствах. По мере того как эта сотрудница страховой компании все чаще соглашалась с собственными суждениями из прошлого опыта, ее уверенность росла. Нет никаких свидетельств того, что после начального периода обучения она научилась советоваться с коллегами, уточняя степень своего с ними согласия, или хотя бы попыталась сделать так, чтобы методы ее работы не слишком отличались от методов других специалистов.

В этой страховой компании было достаточно одной ревизии шума, чтобы иллюзия согласия полностью растаяла. Почему руководство даже не догадывалось о проблеме? На этот вопрос существует несколько вероятных ответов, но во многих ситуациях важную роль играет не что иное, как неловкость, возникающая при разногласиях. Большинство организаций предпочитают единодушие и гармонию, а не раскол и конфликты. Часто компании специально разрабатывают процедуры, призванные свести к минимуму внешние проявления фактических разногласий и сгладить споры в случае их возникновения.

Профессор психологии Университета Миннесоты и ведущий исследователь по вопросам прогнозирования эффективности Нэйтан Кансел поделился с нами наглядным примером этой проблемы. Он помогал приемной комиссии университета оптимизировать процесс принятия решений. Обычно член приемной комиссии изучал заявление абитуриента, оценивал его и направлял следующему члену комиссии, который, в свою очередь, тоже давал ему оценку. По причинам, которые станут очевидными по мере чтения этой книги, Кансел предложил скрывать первую оценку, чтобы она не повлияла на последующую. Вот что ответил университет: «Раньше мы прибегали к подобной практике, но это привело к такому количеству разногласий, что мы вернулись к прежнему формату рассмотрения заявлений». Это учебное заведение – в числе множества организаций, где избегание конфликтов считают едва ли не таким же важным аспектом работы, как и принятие верных решений.

Давайте рассмотрим еще один механизм, популярный во многих компаниях, а именно «разбор полетов» после неудачных решений. Такие разборы могут быть полезным инструментом обучения, но если допущена настоящая ошибка и выбранное решение далеко отклонилось от общепринятых профессиональных норм, обсуждение будет слишком легким. Эксперты без труда придут к заключению, что решение пошло вразрез с традиционными мнениями, и даже могут назвать его редким исключением из правил. Распознать плохие суждения гораздо легче, чем хорошие. Подобное разоблачение вопиющих ошибок и маргинализация коллег, которые их совершают, никак не помогут профессионалам осознать, насколько сильно их мнения отличаются от мнений других специалистов при вынесении в целом приемлемых суждений. Как раз наоборот: легкость в достижении консенсуса по поводу плохих решений может даже укрепить иллюзию согласия; при этом настоящий урок – о повсеместности системного шума – усвоен не будет.

Хочется надеяться, что вы уже начинаете разделять наш взгляд на шум как на серьезную проблему. Его присутствие совсем не удивительно, ведь шум – следствие неформальной природы суждений. Однако, как мы увидим далее, когда организация начинает присматриваться к проблеме, обнаруживаемый уровень шума всегда становится потрясением. Вывод прост: там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете.

К разговору о системном шуме в страховой компании

«Мы зависим от качества профессиональных суждений – решений андеррайтеров, оценщиков страховых убытков и так далее. На рассмотрение каждого страхового случая назначается один специалист вследствие ошибочного допущения, что решение любого другого специалиста окажется схожим».

«Уровень системного шума в пять раз выше, чем мы предполагали и чем мы можем допустить. Мы никогда бы не пришли к такому выводу без ревизии шума, позволившей развеять иллюзию согласия».

«Системный шум – серьезная проблема, приносящая убытки в сотни миллионов долларов».

«Там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете».

Глава 3

Уникальные решения

До сих пор мы обсуждали исследования решений, принимаемых многократно. Какой приговор вынести за кражу? Какую страховую ставку назначить при определенных рисках? Хотя каждый случай по-своему уникален, подобные суждения – это типовые решения. Врачи ставят диагнозы пациентам, судьи заслушивают дела об условно-досрочном освобождении, члены приемной комиссии рассматривают заявления абитуриентов, бухгалтеры готовят налоговую отчетность – все это примеры типовых решений.

Шум при вынесении типовых решений можно обнаружить при помощи ревизии шумовых помех, о которой мы говорили в предыдущей главе. Когда взаимозаменяемые специалисты принимают решения по схожим делам, охарактеризовать и измерить нежелательный разброс нетрудно. Однако создается впечатление, что гораздо сложнее – и даже, пожалуй, невозможно – применить понятие шума к категории суждений, которые мы называем уникальными решениями.

Вспомним, например, кризис, с которым мир столкнулся в 2014 году. В Западной Африке тысячи людей стали жертвами вируса Эбола. Все в мире взаимосвязано, и прогнозы показывали, что инфекция способна быстро распространиться и особенно ощутимо ударить по Европе и Северной Америке. В США зазвучали настойчивые призывы прекратить авиасообщение с пострадавшими регионами и срочно закрыть границы. Шаги в этом направлении поддерживались авторитетными и хорошо информированными лицами, а политическое давление было огромным.

Президенту США Бараку Обаме пришлось принять одно из самых непростых решений за все время работы на этом посту – с подобным он не сталкивался ни до, ни после. Он не стал закрывать границы и отправил в Западную Африку 3000 медиков и военных. Обама возглавил многонациональную коалицию стран, которые не могли похвастаться успехами на поприще совместной работы, и направил их ресурсы и опыт на решение проблемы у ее истоков.

Уникальные или типовые