Методы проведения экспертиз

БОЛЬШАЯ ЛЕНИНГРАДСКАЯ БИБЛИОТЕКА - РЕФЕРАТЫ - Методы проведения экспертиз

Методы проведения экспертиз

Министерство образования Российской Федерации

Московский авиационный институт

(государственный технический университет)

Реферат

по дисциплине

Управление качеством

на тему

Методы проведения экспертиз

                                                                  Выполнила:

                                                                  Проверил:

Трофимов А. В.

Москва 2006

Содержание.

Введение…………………………………………………………………….3

Глава 1. Экспертные оценки……………………………………………….4

1.1.          Основные понятия об экспертных оценках………………………..4

1.2.          Методы экспертиз……………………………………………………6

Глава 2. Методы проведения

экспертиз ……………………………………………………………………9

2.1. Метод «Дельфи»………………………………………………………..9

2.2. Метод мозговой атаки………………………………………………….13

2.3. Метод «Паттерн»……………………………………………………….15

Заключение…………………………………………………………………..18

Список литературы………………………………………………………….19

Введение.

Сложность производственных систем, их разнообразие и во многих случаях неопределенный характер поступающей информации, придают задаче управления творческий характер, повышающий роль человеческого фактора. Это непосредственно проявляется в возрастающей роли в современном управлении методов экспертных оценок.

По мере усложнения производственных технологий, а следовательно, и процесса разработки решений, внимание к экспертным оценкам существенно возросло. Официальным началом становления экспертных методов считают 50 – 60-е годы ХХ века.

Поэтому возникает проблема применения экспертных оценок в управлении.

Целью работы является рассмотреть применение методов экспертных оценок  в управлении качеством.

Глава 1. Экспертные оценки.

1.1. Основные понятия об экспертных оценках.

Сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами обработки и анализа полученных результатов. При этом  обобщенное мнение экспертов принимается как возможное решение проблемы.

Эксперт (от лат. еxpertus – опытный) – это высококвалифицированный специалист.

Формирование состава экспертной комиссии зависит от конкретной ситуации принятия решений, возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов, возможностей специалистов принять участие в работе экспертной комиссии.

Применяют три основные группы методов оценки качеств эксперта: априорные, апостериорные и тестовые.

Априорные методы оценки качеств эксперта не используют информацию о результатах участия в предшествовавших экспертизах. Эта группа включает  методы самооценивания, когда эксперт сам дает оценку своим качествам, используя следующие способы:

-самооценка по одной из балльных шкал;

-самооценка с использованием числовых шкал, которые наряду с числовыми значениями градаций содержат их качественное описание;

-самооценка по вербальной шкале, т.е. эксперт, дает словесную оценку своим знаниям, используя качественные градации заранее разработанной шкалы;

-самооценка дифференцированным методом, когда эксперт оценивает свои качества, используя два основных критерия: характеризующий его знакомства с основными источниками информации в данной области; характеризующий его знакомство с объектом экспертизы. При этом способе комплексная самооценка эксперта рассчитывается по формуле:

Кк = (Ки + с × Кз):2,

где    Кк – комплексная самооценка эксперта;

         Ки – коэффициент информированности;

         с – весовой коэффициент;

         Кз – коэффициент знакомства с проблемой.

К другой группе априорных методов оценки качеств эксперта относятся: метод взаимной оценки (метод списка экспертов) и документальный (анкетный) метод.

Апостериорные методы оценки качеств эксперта используют результаты его участия в предыдущих опросах. С их помощью могут быть выявлены конформизм, конъюнктурность и компетентность эксперта. Для оценки уровня компетентности может быть применен метод парных сравнений.

Апостериорные методы предполагают также оценку достоверности суждений эксперта. В качестве критерия используется коэффициент достоверности – относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям.

Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки. Он основан на расчете коэффициента отклонения Ко.

                   Коi = Doi:Dmax,

где    Коi – коэффициент отклонения суждений i-го эксперта;

         Doi – отклонение индивидуальной оценки i-го эксперта от результирующей оценки;

         Dmax – максимально возможное отклонение оценки эксперта от результирующей оценки.

Тестовые методы оценивания качеств эксперта основываются на выполнении испытуемым экспертом заранее подготовленного задания. Достоинство тестовых методов состоит в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для эффективного участия в работе экспертной комиссии. Использование тестовых методов позволяет оценить и воспроизводимость экспертных оценок.

Главными задачами экспертных оценок являются:

1.     Определение целей.

2.     Экстренный прогноз.

3.     Сценарии ожидаемого развития ситуации.

4.     Генерирование альтернативных вариантов.

5.     Определение рейтингов.

6.     Оценочные системы.

7.     Принятие коллективных решений.

Различают экспертизы однотуровые и многотуровые, анонимные и предусматривающие открытый обмен мнениями, с обменом информацией в процессе проведения экспертиз и без него и т. д. Характер экспертной информации, которую предполагается использовать принятии решений, налагает определенные требования на выбор конкретного метода экспертизы.

1.2. Методы экспертиз.

Рассмотрим далее наиболее популярные методы экспертиз:

- Метод комиссий – это открытая дискуссия по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок и обратная связь (под воздействием полученной информации эксперт может изменить первоначальную точку зрения). Также метод комиссий обладает и недостатками: отсутствует анонимность, что может привести к появлению конформизма; дискуссия нередко принимает вид полемики наиболее авторитетных экспертов; различная активность экспертов, часто не совпадающая с их компетентностью; публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанного мнения, хотя оно в ходе дискуссии может претерпеть изменения.

- Экспертиза по методу суда. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Другая объявляется ее противниками и пытается выявить отрицательные стороны, Возможна и третья сторона, которая регулирует ход экспертизы и выносит окончательное решение.

- Метод прогнозного графа. Качество прогнозов зависит от корректно проведенной экспертизы и обработки ее результатов. Известным методом экспертиз сложных систем является метод прогнозного графа. Он включает несколько туров. На первом туре составляется предварительный список промежуточных целей, необходимых для достижения конечной цели. На втором туре подвергаются анализу промежуточные цели. Последующие туры экспертизы аналогичны второму. Процедура заканчивается на том туре, когда больше не требуется дополнительных анализов и детализации.

- Метод сценариев. Сценарий означает сюжетную схему, т.е. заранее подготовленный детальный план осуществления чего-либо. Сценарии позволяют с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между взаимодействующими факторами, сформировать картину состояний, к которым может прийти ситуация под влиянием конкретных воздействий.

Каждый сценарий может быть реализован в нескольких вариантах. Вариант – небольшие (незначительные) изменения каких-либо параметров системы в рамках сценария.

Разработка сценариев способствует предвидению потенциальной опасности, с которой сопряжены варианты управленческих воздействий и неблагоприятное развитие событий. Использование специальных компьютерных систем, а также датчиков случайных чисел, с последующим исключением невозможных ситуаций, расширяет горизонт анализа альтернативных вариантов в составе сценариев и выбор наиболее эффективного.

В составе экспертных методов, наиболее активно используемых в настоящее время, наиболее известны метод «Дельфи» и метод мозговой атаки.

Глава 2. Методы проведения экспертиз.

2.1. Метод «Дельфи».

Метод «Дельфи» один из основных в проведении групповых экспертиз и имеет различные модификации. Фактически это группа процедур, объединенных общими требованиями к организации экспертизы и форме получения экспертных оценок. В нем предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии, что достигается анонимность процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы – с другой. Метод разработан и применен в США впервые в 1964 г. сотрудниками научно-исследовательской корпорации «РЭНД» О. Хелмером и Т. Гордоном.

Метод «Дельфи» целесообразно применять в таких случаях, когда имеющиеся в распоряжении или доступные данные непригодны для анализа существующее проблемы; в распоряжении нет нужных данных; нет достаточного времени для сбора данных; процесс получения и анализа необходимых данных слишком дорог.

Метод «Дельфи» предусматривает создание условий, обеспечивающих эффективную работу экспертной комиссии. Это достигается анонимностью процедуры и возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мнения. Важное свойство – это обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказавших «крайние» точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертиза проводится чаще всего в четыре тура.

Прямые дебаты заменены тщательно разработанной программой последовательных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой согласованности всей совокупности высказанных мнений. Перед рассылкой анкеты эксперту объясняется проблема.

На первом туре экспертам сообщается цель экспертизы и формируются вопросы, ответы на которые составляют основное содержание экспертизы.

Успеху экспертизы способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших крайние точки зрения, давших самую высокую и самую низкую оценку альтернативе. Усредненное мнение экспертов – медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых расположены 25% числовых значений оценок. Расстояние между квартилями характеризует разброс экспертных оценок, т.е. согласованность точек зрения экспертов.

Вводятся следующие обозначения:

T 0 - значение наиболее ранней оценки;

T 0,25 – значение оценки, определяющей  25%  наиболее ранних оценок (из всех имеющихся), - нижний квартиль;

T 0,5 – значение оценки, разделяющий упорядоченную по оси времени совокупность оценок на две равные по количеству оценок части, - медиана;

T 0,75 – значение оценки, определяющей 25% наиболее поздник оценок (из всех имеющихся), - верхний квартиль;

T 1,0 – значение наиболее поздней оценки.

Степень согласованности мнений экспертов определяют  коэффициентом вариации υ, который не должен превышать 33%. Он рассчитывается по формуле

              σ

υ= ─ ×100%,

      х

где    х – средне квадратическое отклонение  оценок;

         σ – квартиль.

σ=√[∑(xi ­ x)²]:n,

где    х – среднее значение оценок;

         хi – оценка каждого эксперта;

         n ­ число экспертов.

Медиана – это значение оценки, которое находится в середине ранжированного ряда. Для нахождения медианы ряда с четным числом складывают два средних варианта и делят сумму пополам.

На втором туре экспертам предъявляется  усредненная оценка экспертной комиссии и обоснования экспертов, высказавших «крайние» точки зрения. Обоснования принимаются анонимно, без указания имен экспертов. Скорректированная информация вновь поступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями поставленных оценок снова направляется каждому участнику. На основе полученной информации эксперты пересматривают предыдущие оценки. На четвертом туре каждому эксперту предоставляется право распределения оценок третьего тура, и он должен снова представить на рассмотрение пересмотренную оценку, учтя полученную информацию. В некоторых случаях согласованная точка зрения экспертов может быть получена уже после второго или третьего туров. Тогда необходимость проведения следующих туров отпадает.

При использовании метода «Дельфи» полезно учитывать следующее:

1.     Группы экспертов должны быть стабильными.

2.     Время между турами опросов не должно быть более месяца.

3.     Вопросы в анкетах должны быть тщательно продуманны и однозначно сформулированы.

4.     Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной появления оценки, а также для критики этих причин.

5.     Должен проводиться систематический отбор экспертов.

6.     Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

7.     Нужна формула согласованности оценок, основанная на данных самооценок.

8.     Необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи.

Метод «Дельфи» является достаточно надежным инструментом получения экспертной информации. С его помощью выявляется преобладающее суждение специалистов.

После первой апробации метода «Дельфи» были разработаны различные его модификации. Все модификации могут быть охарактеризованы следующим образом:

-составление классификатора событий, которые экспертам предстоит анализировать;

-предварительное описание прогнозного фона;

-уменьшение числа туров опроса;

-характер вопросов, задаваемых экспертам, и соответствующие математические процедуры получения групповых прогнозных оценок.

Модифицирование метода «Дельфи» было связанно с расширением области его применения.

 Классический метод «Дельфи», созданный для прогнозирования научных открытий и времени их свершения, стал использоваться для оценки приоритетности направлений прикладных исследований, а также для анализа перспективности технических (конструкторских и технологических) решений и даже для оценки количественных показателей разрабатываемых технических объектов, технологических процессов и т.д.

2.2. Метод мозговой атаки.

Этот метод, известный также под названиями «мозговой штурм» и «конференция идей», был предложен американским ученым А. Осборном в 1955 году. Основная направленность метода – выявление новых идей и решений.

Метод мозговой атаки характеризуется открытым высказыванием мнений специалистов (на специальном заседании) по решению конкретной задачи. При этом должны соблюдаться два  условия: 1) запрещается критика чужих суждений; 2) предполагается высказывать любые идеи по решению данного вопроса без учета их сиюминутной ценности или возможности реализации. Все высказанные идеи фиксируются и после обсуждения детально прорабатываются. Достоинством метода мозговой атаки является возможность принятия решения за сравнительно короткий срок.

При реализации метода мозговой атаки может применяться принцип Парето. После регистрации идей из всей их совокупности каждым экспертом отбирается 20% идей, с их точки зрения заслуживающих наибольшего внимания. Далее из их состава отбираются те, которые получили наибольшее количество очков. Применение этого метода устраняет эффект конформизма, т.е. приспособленчества, позволяет получить продуктивные результаты за короткое время, вовлечь всех экспертов в активный творческий процесс.

Метод мозгового штурма основан на следующих принципах:

1. В решении поставленной задачи участвуют две группы людей: генераторы идеи и эксперты.

2. При генерировании не должно быть никаких ограничений.

3. Философская основа метода мозгового штурма – теория З. Фрейда, согласно которой сознание человека представляет собой топкое и непрочное наслоение над подсознанием.

Основное достоинство метода мозговой атаки – в запрете на критику.

Весь процесс «атаки» можно разделить на шесть этапов:

1.        Формируется группа экспертов (10 - 15 человек). Состав группы предполагает их целенаправленный  подбор.

2.        Составляется проблемная записка. Для подготовки записки предварительно  формируется группа анализа проблемной ситуации.

3.        Генерация идей. Продолжительность штурма может составлять 20 – 60 минут (в зависимости от активности участников).

4.        Систематизация идей, высказанных на третьем этапе (генерации).

5.        Деструирование (разрушение) систематизированных идей. Каждая из систематизированных идей изучается на возможность ее осуществления.

6.        Оценка критических замечаний  и составление списка практически применимых идей.

Мозговая атака может иметь различные модификации. При решении проблем численность людей, как генераторов, так и экспертов, обычно не превышает шести человек, продолжительность штурма не более 20 минут.

2.3. Метод «Паттерн».

Метод «Паттерн» позволяет анализировать и ранжировать по степени важности сведения в любой области деятельности таким образом, чтобы можно было представить сложное и взаимное соотношение постоянных и переменных факторов.

Инициатором создания метода «Паттерн» считают вице-президента организации «Хониуэлл» Ч. Дэвиса (1963 г.). Иерархическая модель метода «Паттерн» строится исходя из принципов дедуктивной логики путем деления проблем на подпроблемы.

Разработка иерархического дерева по методу «Паттерн» начинается с составления сценария. Сценарий устанавливает соотношение целей, в общем, их наборе путем группового экспертного анализа.

Дерево целей для оценки относительной важности всех входящих элементов строится сверху вниз исходя из сценария, уровень за уровнем, чтобы мероприятия последующего уровня обеспечивали задачи предыдущего. Древо целей состоит из восьми уровней: О – национальные цели; А – мероприятия; В – задачи; С – задания; D – принципы системы; Е – функциональные подсистемы; F – конструкции функциональных под систем; G – технические проблемы. Каждый уровень имеет  определенное количество элементов, например, уровень О имеет 1 элемент, уровень А – 3, уровень В – 6, уровень С – 46 и т.д.

Главным преимуществом информационного обеспечения метода «Паттерн» является возможность количественной оценки всех элементов, входящих в дерево целей, в виде «весов», т.е. коэффициентов их относительной важности (Ri).

Количество туров зависит от квалификации специалистов и их опыта; считается, что в среднем достаточно трех туров голосования для групп, состоящих из 10 – 12 человек.

Для каждого из уровней (от А до G) составляется матрица соответствия элементов данного уровня критериям.

Заполнение матрицы (табл. 1)  является главной целью экспертной оценки. Такой способ заполнения матрицы является существенным улучшением методики интуитивной оценки, используемой в других методах (например, метод «Дельфи»).                                                                                                                                                     Таблица 1. Общая форма матрицы соответствия.

Дерево состоит из элементов (узлов), ветвей (линий) и семейств. Семейство «дерева решений» включает конкретный элемент и непосредственно связанные с ними элементы.

В соответствии с методом «Паттерн» для каждого уровня составляется матрица соответствия элементов уровня выбранным критериям.

Следующей задачей является нахождение  оценок «дочерних» элементов «дерева» (Sij). Для этого используется метод Чермера – Акоффа, который заключается в систематической проверке суждений об отношениях оцениваемых величин с помощью последовательных сравнений. Для этого эксперты упорядочивают величины сначала по степени важности. Затем необходимо присвоить значение 1 наиболее важному результату, а остальным – меньшие значения. Далее проводится сравнение этого результата и суммы менее важных оценок. Затем полученные оценки «нормировались» путем деления каждой из них на соответствующую сумму.

На основании данных по методу «Паттерн» рассчитываются искомые коэффициенты относительной важности. Рассчитывается по формуле:

         Ri = ΣKbi × Sij

Рассчитанные значения Ri вписываются возле соответствующего элемента на графическом изображении дерева целей. Затем перемножают оценки, соответствующие каждому элементу дерева и относящиеся к каждой ветви.

По этим результатам  можно оценивать варианты и выбрать то из них, которое соответствует максимальной величине произведения, а также ранжировать последовательность вариантов решений.

Следовательно, для управления качеством, необходимо выбрать наиболее эффективный метод экспертных оценок.

Заключение.

Таким образом, сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки полученных результатов. При этом обобщенное мнение экспертов принимается как решение проблемы.

 Класс экспертных методов основан на использовании экспертов в качестве основных источников информации относительно перспектив развития объекта управления.

Особое внимание уделено применению экспертных методов «Дельфи», мозговой атаки, «Паттерн» при проведении экспертиз.

Список литературы.

1.     Бешелев С.Д., Гурович Ф.П. Экспертные оценки. М.: Наука, 1982.

2.     Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика, 1978.

3.     Литвак Б.Г. Экспертные оценки и принятие решений. М.: Патент, 1996.