Возвращаясь к экспертам, что мы еще про них знаем? Мы еще знаем про них, что чрезвычайно хорошие эксперты – чрезвычайно узко специализированны.
В-третьих, известно про экспертов, что они преувеличивают и свои знания, и свою правоту. Регулярно. То есть систематические исследования проводились с врачами, медсестрами, трейдерами, банкирами, инженерами, с разными специальностями. И всегда одно и то же. Человек очень уверено говорит о том, что он прав, вне зависимости от того, прав он или ошибается. Более того, похоже, что это не просто какое-то извращение эксперта, человека, занимающегося интеллектуальным трудом, похоже, что это каким-то образом «зашито» у нас в мозгах. Потому что было интересное исследование, в котором этот эффект был установлен на примере довольно простой задачи с распознавание визуальных стимулов [серия слайдов]. Людям предлагалась такая картинка, на которой есть (все заметили, да?), на картинке были прямые палочки и одна наклонная. И испытуемые – показываю еще раз, да? – видите, есть прямые палочки и наклонная? Сложность задачи измеряется количеством палочек, а задача состоит в том, чтобы распознать, в какую сторону палочка наклонена. И дальше предлагалось испытуемым показать свою уверенность в том, как они решили задачу при помощи такой картинки. Так вот вывод однозначный совершено, что, чем сложнее задача, чем больше палочек, тем выше уверенность всех испытуемых в том, что они ее правильно решили вне зависимости от того, на самом деле, они правильно ее решил или нет. Авторы этого исследования говорят, что это какой-то (они объяснят сложный механизм, который под это подостлан), похоже, мозги нас немного обманывают. Если нам удалось решить такую сложную задачу – выделить сигнал на фоне шума – это у нас так резко запечатлевается в нейронных сетях, что мы продуцируем какую-то очень большую уверенность. Сами авторы этой статьи распространяют выводы на большой, широкий круг задач по принятию решений. Не знаю, насколько это обоснованно, но, тем не менее, вот так вот. Это Флорентийский университет такое сделал.
Можно сказать, что это некие аномалии, некие анекдоты. И любой, даже самый умный человек, может ошибаться, и все это не имеет никакого отношения к действительности. Но систематические исследования менеджеров паевых инвестиционных фондов в США за полтора десятка лет показали, что 90% из них демонстрируют прогнозы и действия хуже, чем рынок. То есть на самом деле это тот же эффект, что и, простите, в банке с макаронами. Но ничего удивительного в этом нет. 90% хуже, чем рынок в среднем. Рынок оценивается по какому-то довольно слабому индексу. Кстати, осознание этой идеи привело в 1974 году к созданию первого и одного и крупнейших, насколько я понимаю, но не специалист в этой области, индексных фондов. Можно поговорить об индексных фондах, и насколько они популярны и известны в России. Не знаю.
Во-вторых, прогнозы отдельного эксперта или небольшой группы экспертов в большинстве случаев не оправдываются. Опять же списки самых глупых прогнозов. Глупые прогнозы века – это такая расхожая шутка в Интернете – можете посмотреть, там везде это бегает, не буду цитировать. Там про звуковое кино, которые никогда не заработает, про три компьютера, которые удовлетворят весь спрос. Можно найти все это.
Во-первых, мы знаем, что эксперты очень редко соглашаются друг с другом. Анекдот банальный о том, что два юриста – три мнения. Но кроме этого, тщательно проведенные исследования показывают, например, что два патологоанатома соглашаются друг с другом только в 50% случаев. Хотя это люди, которые работают с очень наглядным материалом. Таких примеров в разных специальностях огромное количество.
Основной мой тезис заключается в том, что у нас есть некое представление, немножко мифическое, о том, что самые лучшие знания сосредоточены в каких-то немногих умных головах. И за этими головами идет охота (даже есть соответствующий термин). Когда мы пытаемся решить сложную задачу, мы пытаемся охотиться за этими головами. Эта тенденция, которая очень дорого стоит и приводит к очень многим ошибкам. Действительно ли есть некие эксперты и действительно ли экспертные решения позволяют решать проблемы? Что мы знаем про экспертов, экспертные решения, если посмотреть на исследования по этой тематике? [слайд]
Если вы хотите получить такой же результат, чтобы группа не могла угадать лучшего эксперта, то достаточно ввести механизм самовыдвижения. Потому что люди, которые самовыдвигаются (об этом мы тоже будем говорить), конечно, не являются носителями навыков. Они, скорее всего, являются носителями совсем других навыков, нежели те, которые необходимы для решения задачи.
Вы сами можете проделать тот же самый эксперимент. Если протокол будет правильный, то вы получите тот же самый результат. Протокол заключается в чем? Должен быть сильный стимул у членов группы дать наилучшую индивидуальную оценку, мотивация должна быть. Причем она может быть вполне эгоистическая. Не должно быть никаких совещаний, обсуждений, и не должно быть единого метода оценки. Если вы подскажете членам группы какой-то правильный метод измерения, то ошибка резко возрастет. И самое главное, что должен быть правильный способ агрегирования результатов. Правильный, то есть адекватный для ситуации. Для банки с макаронами среднее арифметическое является правильным способом агрегирования коллективного знания, а могут быть и другие.
Может, это какой-то казус, может быть, это какой-то анекдот? На самом деле – нет. Подобные эксперименты, я просто скопировал эту игрушку из экспериментов, которые во множестве проводились в 20-50-х годах ХХ века в США. Там [приведены на слайде] какие-то публикации, какой-то обзор, из этого, в конце концов, вырос метод Дельфия, оценки этих исследований. И в этих экспериментах студентов, военных, их просили угадать температуру в помещениях, их просили угадать количество картечи в разных кучках. Огромное количество экспериментов. Результат был всегда один и тот же. Группа, групповая оценка лучше большинства индивидуальных.
Я проводил эту игрушку в разных аудитория уже примерно дюжину раз или больше. Результат всегда одинаков, примерно одинаков. Во-первых, групповая оценка – что имеется в виду? Среднее арифметическое всех оценок, которые сданы людьми. Групповая оценка всегда лучше и точнее большинства индивидуальных оценок. Допустим, два-три человека иногда в группе угадывают лучше. Это неудивительно, это статистика. Во-вторых, самое интересное то, что группа никогда еще ни разу не смогла (есть люди, которые угадали лучше, чем группа в среднем) угадать, кто это был, то есть группа не смогла угадать лучшего эксперта. Более того, чаще всего те, кто лучше определяет количество макарон в банке, вообще не попадают в эту экспертную группу [слайд]. То есть у нас есть группа, случайным образом путем самовыдвижения появляется пять экспертов, и группа сама никогда не угадывает, кто же лучше всего определяет количество макарон. Я все время использую этот пример, он хорош для иллюстрации того, что есть люди, которые обладают определенными навыками, способностями, случайно проявляющимися иногда, иногда – не случайно, которые могут лучше других решить задачу. Проблема не в этом. Проблема в том, что мы никогда не знаем, кто эти люди. И попытка найти этих людей в толпе, в группе стоит дороже, чем само решение задачи.
Следующий шаг – я спрашиваю: «Скажите, пожалуйста, как вы считаете, кто из вас угадал лучше всех»? Мы выбираем из аудитории, перед нами 5-6 человек, которые говорят: «Я точно знаю, что мой ответ самый правильный». И тогда аудитории предлагается следующее задание уже за очень большой бонус – угадать, выбрать самого лучшего эксперта из тех, кто назвался.
Дальше каждый человек пишет на листочке свою догадку, не обсуждая с другими. Банка пускается по рядам, каждый вертит банку, прикидывая, как он может это все оценить, но не может ее открыть. Не обсуждается. Пишут на листочках. Отдают. Потом я задаю следующий вопрос, не оглашая результатов: «Скажите, пожалуйста, какие результаты у вас получились?» Люди начинают рассказывать: «У меня – 200» – «А у меня – 500» – «А у меня – 25» – «Как вы это получили?» И они начинают обосновывать, как они получили. Очень интересно, особенно если аудитория научная, там идут в ход безумно сложные формулы, вычисление площади, объема, объема макаронины, интегрирование, дифференцирование, все что угодно. Базовый метод, как вы понимаете, посчитать площадь дна, прикинуть и умножить на количество слоев. Но при применении базового подхода у всех получаются разные результаты. Очень интересно.
Начнем с простого. Дело в том, что на протяжении уже нескольких лет, преподавая, я провожу со студентами такой эксперимент под названием «экспертный совет». Предметом экспертизы является банка с макаронами. Дело в том, что макароны – это такой объект, который хорошо знаком большинству сидящих в этой аудитории. Я, кстати, хотел провести и в этой аудитории занятие, но понял, что времени не хватит. С макаронами многие сталкиваются, студенты в особенности. С банками тоже сталкиваются. Поэтому, собирая аудиторию, я предлагаю простую задачу: вам нужно определить, сколько (в штуках) макарон находится в этой банке. Вы можете делать все, что угодно, только не можете вскрывать банку. Тому, кто лучше всех проявит свои экспертные способности, обещается некий бонус. Со студентами, опять же, это проще, потому что в балльно-рейтинговой системе это баллы к зачету. С другими аудиториями могут быть разные варианты – от шоколадки до бутылки коньяка.
Добрый день, уважаемые коллеги. Я должен честно сказать, что сегодня – 23 апреля, тему я сообщил Оксане 1 апреля… Она прошла. И поэтому мы будем ее обсуждать сегодня именно в таком варианте, как она есть. Я постараюсь сегодня в течение своего выступления обосновать или, скорее, проиллюстрировать три основных тезиса. Во-первых, я хотел бы развеять заблуждения о том, что существуют какие-то эксперты, которые обладают магической способностью решать какие-то вопросы по мере того, как люди к ним обращаются. Это такой тезис, который я формулирую провокационно: «Никаких экспертов нет». Я прокомментирую, что я имею в виду. Я не имею в виду, конечно, уважаемых экспертов, которые сидят в первом ряду. Они, кончено, есть, но вообще их нет. Второе, что мне хотелось бы обсудить – предположить некие истоки этого заблуждения в российской культуре. Потому что я считаю, что это не случайно то, что мы опираемся на миф об экспертах, которых на самом деле нет. И, в конце концов, я хотел бы проиллюстрировать, что решения, которые вырабатываются коллективами так называемых простых людей, то есть не наделенных статусом экспертности, при соблюдении определенных условий являются более точными и эффективными, чем любые экспертные решения. Вот три основных тезиса.
текст выступления
Услуги хостинга и дата-центра для хранения видеоконтента предоставляет компания . Видеосъемка – Владимир Гурский и Ася Данилова, монтаж – Наталия Швейкина, фото – Юлия Перминова.
В обсуждении приняли участие: , президент компании WorkLine Research; , исполнительный директор инвестиционного холдинга «Адекта-Капитал»; , директор информационно-аналитического департамента ИК «Энергокапитал»; , заместитель редактора журнала «Эксперт Северо-Запад»; , управляющий партнер компании «Дювернуа Лигал»; , директор по профессиональной деятельности компании Knight Frank.
Выступление на тему «"Эксперты", "экспертиза" и "научный подход": мифы, которые дорого стоят бизнесу и обществу» кандидата биологических наук, директора Центра экспертиз ЭКОМ .
Александр Карпов
«Контекст». Междисциплинарный лекторий
