Метод экспертных оценок: суть, преимущества, особенности

На чем основан? Метод экспертных оценок – широко распространенная техника принятия решений. Часто используется в условиях нехватки данных или когда имеющейся информации недостаточно. Также может использоваться для подтверждения решений, принятых с помощью других методов, таких как статистический анализ и машинное обучение.

Где используется? Метод оказался особенно полезным в таких областях, как машиностроение, медицина, финансы и экономика, где мнение экспертов может оказаться неоценимым в принятии обоснованных решений. Кроме того, он актуален для сложных проблем и вопросов, требующих специальных знаний или опыта.

Суть метода экспертных оценок

Этот метод исследований используется:

• для прогноза развития того или иного явления;

• оценки степени достоверности массового опроса;

• сбора предварительной информации о проблеме исследования;

• проведения опроса в тех случаях, когда мнение простых респондентов не эффективно или затруднительно для сбора.

Оценки и решения, которые принимаются на основе рассуждений экспертов, имеют высокую надежность и существенную зависимость от того, как и с какой направленностью был организован сбор.

Источник: shutterstock.com

Этапы экспертного исследования

Перед тем как начинать экспертное исследование, у организаторов опроса должна быть четко сформулированная цель мероприятия. Это необходимо для того, чтобы как можно точнее составить вопросы для экспертов. Процесс исследования включает в себя следующие этапы:

• анализ исследуемой ситуации или проблемы;

• отбор экспертной группы;

• определение способа замера оценок экспертов;

• этап непосредственной оценки экспертной деятельности;

• анализ полученных результатов.

В некоторых случаях исследование дополняется следующим:

• проверкой входной информации, которая используется для экспертных оценок;

• изменением экспертного состава;

• проведением повторных замеров по тем же вопросам и последующее сопоставление результатов с объективной информацией, полученной с помощью других методик.

Достоинства метода экспертных оценок

Метод экспертных оценок дает бизнесу много преимуществ, с помощью которых предприниматели улучшают свое положение на рынке. Достоинства методики заключаются:

• в возможности увидеть ситуацию более широко или с нового ракурса, чтобы наметить решение проблемы;

• получении достаточных данных по решаемому вопросу;

• надежности предлагаемых оценок и решений;

• получении рекомендаций от квалифицированных специалистов, которые имеют большой опыт и знания в определенной сфере.

Подбор экспертов

Организацией экспертных опросов по методике экспертных оценок занимается лицо, принимающее решение, или группа управления, назначаемая этим лицом. Качественный и количественный состав экспертной группы определяется в зависимости от масштаба решаемой задачи, достоверности оценок, затрат ресурсов и характеристик экспертов.

В работе по подбору группы экспертов необходимо решить ряд задач:

• определить, все ли респонденты уяснили решаемую проблему;

• определить перечень областей деятельности, которые имеют отношение к решаемой проблеме;

• определить долевой состав экспертной группы по каждой области деятельности;

• определить количество и предварительный состав экспертов в группе;

• провести анализ квалификационного уровня экспертов и уточнить список участников группы;

• получить согласие экспертов на участие в исследовании;

• составить окончательный список специалистов.

Источник: shutterstock.com

Осуществляя подбор экспертов, лицо, принимающее решение, или группа управления, придерживаются следующих требований, которые должны быть свойственны респонденту.

• Компетентность. Демонстрирует степень квалификации эксперта в конкретной сфере деятельности. Оценка компетентности производится посредством анкетного опроса, взятием интервью у респондента, анализом его прошлой деятельности, полнотой знания достижений мировой науки и техники, пониманием проблем и перспектив развития.

• Креативность. Показывает наличие способностей по решению задач творческого характера.

• Конформизм. Указывает на склонность к поддержке авторитетного мнения.

• Конструктивность мышления. Означает наличие способностей по формированию практичных решений.

• Коллективизм. Показывает этику поведения респондента в группе, его способность на создание положительного психологического климата, что оказывает благоприятное воздействие на решение проблемы.

При самооценке своей компетентности проявляется такое качество эксперта, как самокритичность.

Существенное влияние на выполнение респондентами своих обязанностей оказывают сильная занятость, отрицательное отношение к решению исследуемой проблемы и иные факторы. В связи с этим эксперты должны рассматривать свое отношение к исследованию и участие в нем, как плановую работу. Вышеуказанные характеристики респондента в полной мере указывают на необходимость определенных качеств, обеспечивающих положительные результаты экспертизы. В настоящее время оценка этих характеристик осуществляется на качественном уровне.

Опрос экспертов

Опрос с помощью метода экспертных оценок предполагает прослушивание и дальнейшую фиксацию мнений респондентов по исследуемой проблеме в содержательной и количественной форме. К ключевым видам опроса экспертов относятся анкетирование и интервьюирование, дискуссии, мозговой штурм, метод Дельфи.

Важно, чтобы во время прохождения опроса для экспертов были созданы такие условия, при которых они обеспечивались бы всей необходимой информацией в полном объеме, а также могли бы проявлять самостоятельность и творческую активность. В связи с этим лицо, принимающее решение, или группа управления должны предоставлять респондентам возможность делать записи и пометки, пользоваться техническими средствами, а при необходимости организовывать предварительную обработку полученных данных для ее последующей передачи в более понятном виде.

Источник: shutterstock.com

На отдельных этапах исследования общение экспертов может быть нежелательным, так как считается, что некоторые из них могут потерять самостоятельность и независимость суждений, а это приведет к снижению творческой активности. Организаторы проведения экспертизы должны в этом случае подобрать компромиссный вариант по используемой методике опроса, форме и характеру общения респондентов.

На выбор конкретного метода опроса влияют цели экспертизы, сущность имеющейся проблемы, полнота и достоверность исходных данных, наличие времени и средств на проведение опроса.

Анкетирование

Анкетирование – это метод экспертных оценок, который представляет собой опрос респондентов с помощью анкет. На все вопросы эксперты дают ответы в письменной форме либо используют для этого технические средства. Классификация вопросов, содержащихся в анкетах, происходит по содержанию и по типу.

По содержанию вопросы подразделяются на следующие группы:

• объективные данные о респонденте, включающие возраст, образование, должность, специальность, стаж работы и т. д.;

• ключевые вопросы по сути исследуемой проблемы;

• дополнительные вопросы, с помощью которых можно определить источники данных, аргументацию ответов, самооценку компетентности респондента и т. д.

Источник: shutterstock.com

По типу вопросы подразделяются:

• на открытые;

• закрытые;

• имеющие веер ответов.

На открытые вопросы предполагается ответ произвольной формы. Их наиболее целесообразно применять в том случае, если налицо неопределенность проблемы. Так исследование будет проведено с максимальным охватом и выявлением широкого спектра мнений. К недостаткам открытых вопросов относится большое многообразие и произвольная форма ответов на них, что создает определенные сложности при обработке анкет.

Закрытые вопросы предполагают наличие простого ответа в форме «да», «нет», «не знаю». Наиболее часто такие вопросы применяются в тех случаях, когда респонденту надо рассмотреть два альтернативных варианта. Большинство мнений определяется именно по этим односложным ответам.

Вопрос с веером ответов предполагает выбор респондентом одного варианта из нескольких. Целесообразно использовать такие методы в тех случаях, когда есть несколько четких ответов на один вопрос. Формирование вариантов происходит для дальнейшей ориентации экспертов в возможном направлении решения проблемы.

Интервьюирование

Этот опрос проводится в устной форме. Интервью с респондентом берется лицом, принимающим решение, или членом группы управления и представляет собой беседу, вопросы которой прорабатываются заранее. Безусловно, качество ответов при такой форме опроса будет ниже, поскольку у эксперта нет достаточного количества времени на обдумывание вопроса. Ради оправдания этого метода можно сказать, что в результате интервью появляется оригинальный взгляд на исследуемую проблему.

В обязанности интервьюера входит полное погружение в тему проблемы, умение четко и грамотно формулировать вопросы, создание комфортной и непринужденной обстановки, умение слушать собеседника.

Метод экспертной оценки Дельфи

Метод экспертных оценок Дельфи является одним из эффективных инструментов при анализе решений в каких-либо процессах. Также активное применение эта методика нашла не только в профессиональных сферах деятельности, но и для решения сложных ситуаций в личной жизни.

Суть метода Дельфи заключается в том, что при решении какой-либо проблемы учитываются мнения определенной группы людей, которые впоследствии объединяются в позиции и выводы. Затем результаты тщательно анализируются, и находится оптимальное решение.

Ключевые особенности метода Дельфи

Преимущества этого метода экспертных оценок заключаются в многоуровневости, анонимности и заочности. Здесь предполагается обобщение результатов опросов всех экспертов по исследуемой проблеме для получения наиболее достоверного общего мнения. Для реализации процесса обобщения данных применяются различные инструменты, наиболее распространенные из которых опросы, интервью и мозговой штурм.

Суть метода экспертных оценок Дельфи заключается в том, что та группа экспертов, которая никаким образом не связана и не заинтересована в исследуемой проблеме, сможет более объективно оценить ситуацию, чем заинтересованная группа. В этом случае полностью исключено влияние человеческого фактора, связанного с совместной деятельностью и заинтересованностью в том или ином результате. По ходу опроса участники могут находиться где угодно, это не имеет принципиального значения.

Этапы метода Дельфи

Всего существует три этапа метода Дельфи – предварительный, основной и аналитический:

1. В рамках предварительного этапа осуществляется формирование группы экспертов, количество которых ничем не ограничивается. Однако следует иметь в виду, что изначально разработчиками метода была рекомендована оптимальная численность группы в количестве 20 человек.

2. На основном этапе экспертам озвучивают проблему и ставят задачу. Респонденты, в свою очередь, разбивают ее на несколько подзадач, которые обрабатываются аналитиками. В результате формируется список часто встречающихся вопросов. Его отправляют экспертной группе, которая при необходимости вносит свои дополнения, после чего аналитики разрабатывают новый опросник и снова отдают его на проверку экспертам.

   Теперь группе специалистов предстоит определить наименее популярные вопросы, а также предоставить ответы на уже полученные вопросы. Аналитики осуществляют компиляцию часто встречающихся ответов и объединяют их в группы. Так происходит несколько раз, в результате чего экспертная группа приходит к единому решению. В этом случае от внимания участников не скроется даже незначительная деталь. Завершается этап составлением списка рекомендаций по исследуемой задаче.

   

   Источник: shutterstock.com

3. В рамках аналитического этапа проверяется согласованность мнений членов экспертной группы, оценивается возможность появления рисков, анализируются выводы, после чего разрабатывается окончательный список рекомендаций. Этот метод можно использовать с некоторой модификацией его структуры. Такое практикуется в том случае, если проблему невозможно представить в форме опросного листа.

Существует возможность проведения экспресс-исследования по этой методике. В таком случае продолжительность обсуждения проблемы не превышает нескольких часов и требует наличие специального программного обеспечения.

Экспресс-подход к методу Дельфи имеет своих противников, главным аргументом которых является утверждение, что за ограниченный период невозможно полностью и всесторонне изучить поставленную задачу, а также дать оценку последствиям предложенных решений и точкам зрения экспертов.

Недостатки метода Дельфи

• Не всегда коллективное мнение может быть максимально объективным. Аналитической группой могут быть отброшены некоторые креативные способы решения проблемы.

• Члены экспертной группы могу быть подвергнуты влиянию мнения большинства.

• Критики методики предлагают решить проблему следующим образом: отдельное внимание уделять всем непопулярным вариантам решения задачи и всегда быть готовым к перепроверке полученного решения с помощью «второго мнения».

Наиболее часто эта методика применяется за рубежом. Ее используют компании, которые осуществляют деятельность в области технических разработок и управлении бизнес-процессами.

Дискуссия

Дискуссию рекомендуется применять для решения таких задач, которые не требуют точной количественной оценки объектов, параметров и альтернатив. Как правило, численность экспертной группы для проведения дискуссии ограничивается двадцатью респондентами. Лицо, принимающее решение, или группа управления осуществляет предварительный анализ обсуждаемых проблем, чтобы четко сформулировать задачи, определить требования к экспертам и их подбору, выбрать методику дискуссии.

Дискуссия относится к методу коллективных экспертных оценок, ее основной задачей является полноценный анализ всех факторов, положительных и отрицательных последствий, а также выявление взглядов и позиций участников.

Во время дискуссии допускаются критические высказывания. Так как ее продолжительность может составлять несколько часов, то необходимо заранее разработать регламент проведения, то есть выделить время на доклад ведущего, определить регламент выступления каждого участника и организовать перерывы. Во время отдыха между обсуждениями диспут участников может продолжаться, поэтому не рекомендуется делать перерывы короткими. Нередко обсуждения кулуарного характера приносят положительный эффект.

Источник: shutterstock.com

Группой управления производится анализ и обработка результатов дискуссии, а также всех материалов, которые хоть как-то связаны с обсуждаемой проблемой, затем оформляет полученные результаты в виде практических рекомендаций.

Мозговой штурм

Мозговой штурм – это метод экспертных оценок, который заключается в групповом обсуждении какой-либо проблемы для генерации новых идей или вариантов решения. Ключевой особенностью этого подхода является активный творческий поиск оптимальных решений в особо сложных ситуациях, когда не подходит ни один из известных способов решения проблемы. Критика любых идей, что на первый взгляд кажутся нелепыми и нелогичными, во время обсуждения категорически запрещена.

Проводит сеанс заранее назначенный ведущий. Его основная функция сводится к тому, чтобы управлять ходом обсуждения в процессе решения исследуемой проблемы. Перед началом сеанса он доводит до участников суть проблемы, правила ее обсуждения и предлагает рассмотреть пару идей.

По ходу мозгового штурма участники делятся на две группы, одна из которых генерирует идеи, а вторая выполняет аналитические функции. Причем совсем необязательно генераторы идей должны быть специалистами высокого уровня в рассматриваемой области и уверенно ориентироваться в поставленной задаче. При подборе приглашенных специалистов нужно стремиться к тому, чтобы состав группы был достаточно представительным, а люди обладали большим опытом, эрудицией и фантазией.

Источник: shutterstock.com

Продолжительность сеанса без перерыва составляет около 45 минут. Каждому эксперту дается на выступление не более 2–3 минут, которые впоследствии могут повториться. В каждой речи участники обсуждения должны выдвинуть как можно больше идей, а также развить предыдущие тезисы. Все поданные варианты должны быть реальными и конструктивными, направленными на решение обсуждаемой задачи. Во время формирования идей нельзя напрямую их критиковать, но неодобрение можно почувствовать в виде минимальной поддержки обсуждения другими участниками.

На втором этапе мозгового штурма происходит подробный анализ поданных идей, мыслей и точек зрения, в результате которого отбираются наиболее ценные и перспективные решения. Этим занимается группа специалистов, в арсенале которой есть современные технические средства и методики количественного анализа, в результате чего итоговое решение получается более объективным.

Обработка экспертных оценок

По окончании опроса экспертная группа проводит обработку результатов. Это делается для того, чтобы обобщить полученную информацию, которая была завуалирована в скрытой форме в ответах экспертов. После обработки следует решить такие задачи:

• определить компетентность каждого эксперта и обобщенность оценки объектов;

• построить обобщенную ранжировку объектов;

• определить согласованность мнений участников опроса;

• определить зависимость между ранжировками.

Источник: shutterstock.com

Экспертные ошибки

В некоторых случаях в заключениях могут встретиться ошибки, подавляющее большинство которых обусловлено не недостаточной компетентностью эксперта, а возникновением заблуждений. Подобные ошибки подразделяются на два вида:

1. Систематические

   К этому виду относятся ошибки, которые постоянно допускает один и тот же специалист. В результате складывается такая ситуация, при которой значение показателей отклоняется от реальности в большую или меньшую стороны. Для снижения влияния систематических ошибок на бизнес-процессы необходимо применять поправочные коэффициенты.

2. Случайные

   К случайным относятся те ошибки, которые могут возникнуть у экспертов когда и где угодно. Они имеют свойство меняться от одной оценки к другой, а чтобы они могли избавиться от этих ошибок, необходимо проведение дополнительной проверки.

Повторная экспертная оценка

Производится для поиска возможных ошибок и предотвращения негативных последствий от внедрения в действующие бизнес-процессы ошибочных решений. Для этого при одинаковых условиях на исследование приглашаются другие эксперты. Результатом этого шага будет подтверждение достоверности и объективности полученных результатов.

Скачайте полезный документ по теме:

Чек-лист: Как добиваться своих целей в переговорах с клиентами

Часто задаваемые вопросы о методе экспертных оценок

Специалисты считают, что метод экспертных оценок является одним из наиболее эффективных инструментов для принятия важных решений, а также оценки множества аспектов в разных направлениях деятельности.

С его помощью появляется возможность объединения мнения и опыта разных специалистов, что приводит к получению объективных результатов. Помимо этого, метод экспертных оценок дает возможность проанализировать риски и проработать мероприятия по их минимизации. При этом нельзя забывать и о возможных ошибках экспертов, которые могут привести к противоположному результату.

Когда применяется метод экспертных оценок?

Метод экспертных оценок применяют для решения таких задач, как:

• составление перечня возможных событий в разных сферах деятельности за определенный временной интервал;

• определение наиболее вероятных периодов наступления совокупности событий;

• определение целей и задач управления с одновременной классификацией их по уровню важности;

• определение альтернативных способов для решения проблем с разделением их по степени важности;

• альтернативное распределение для решения проблем с градацией их по степени важности;

• определение альтернативных вариантов решений в конкретной ситуации с разделением их по степени важности.

Какова история разработки метода Дельфи?

Стратегический центр RAND разработал метод Дельфи в 1950–1960 годы. Создателями являются Николас Решер, Олаф Хэлмер, Норман Дэлки. Основной целью разработки являлось составление прогноза относительно влияния новых технологий на ведение действий военного характера. Назвали метод в честь Дельфийского оракула, находящегося при храме в Дельфах. Согласно древнегреческой мифологии, благодаря жрице этого храма Аполлону удалось уничтожить змея Пифона. Слова этой пифии были правильно истолкованы другими жрецами храма.

Кто придумал метод мозгового штурма?

Основателем и разработчиком техники мозгового штурма является Алекс Осборн. Эта методика приобрела широкую известность благодаря успешному применению в области творческого мышления и решения проблем. В 1942 году Осборном была представлена работа «Как придумывать», где и была описана концепция «придумывания». Считается, что именно она и стала прототипом созданного им впоследствии процесса мозгового штурма. В этой книге впервые был озвучен термин «мозговой штурм», а его подробное описание Осборн изложил в своей следующей книге «Ваша творческая сила», опубликованной в 1948 году.

Автор статьи

Алексей Бояркин

Сооснователь компании «Генератор продаж»

Последние статьи этого автора:

• Бенчмаркинг компании: примеры из зарубежной и российской практики
• СTА-элементы, которые привлекут в 2 раза больше клиентов
• Формула рентабельности продаж: пример расчета

Забрать подарки
из закрытой базы

Скачать 7,4 MB

Полезные
материалы
для руководителей

Скачать 3,2 MB