Общие представления
Экспертные методы применяются при решении следующих задач:
формулирование и уточнение цели оценки качества продукции;
разработка классификации продукции и потребителей;
построение иерархической структурной схемы показателей качества;
определение коэффициентов весомости показателей;
определение базовых значений показателей.
Применение экспертного метода предполагает соблюдение следующих условий:
экспертная оценка производится в случае невозможности использования более объективных методов для решения вопроса;
мнения экспертов должны быть независимыми;
формулировка вопросов, поставленных перед экспертами, должна исключать возможность различного толкования;
эксперты должны быть компетентны в решаемых вопросах;
количество экспертов должно быть оптимальным;
ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.
Операции, выполняемые экспертами можно разделить на два класса: органолептические и мыслительные. Органолептические выполняются с помощью органов чувств, а мыслительные - принятие решений на основе переработки информации. К недостаткам экспертных методов следует отнести присущий ему субъективизм, а также явление конформизма - влияние преобладающего в группе суждения на мнение эксперта.
Применение экспертных методов требует привлечения высокопрофессиональных экспертов. В нашей стране еще не развит институт экспертов профессионалов по оценке качества. Поэтому, для этих целей, как правило, приглашаются специалисты по оцениваемой продукции.
В настоящее время активно заявляет о себе новый термин - “экспертные системы”. Под экспертной системой понимается система “человек - машина”, в которой человек играет решающую роль при вынесении оценок. Экспертные системы подразделяют на две группы:
- - системы, функционирующие за счет знаний, в основном, в процессе поиска информации;
- - системы, имеющие в своем составе ЭВМ с соответствующим математическим обеспечением, способные “отвечать” на вопросы типа “что будет, если...?”
Считается наиболее перспективным развитие экспертных систем первого типа, так как, прежде всего человек, в отличие от ЭВМ, может творчески мыслить и синтезировать информацию.
Формирование и подготовка экспертной комиссии
Экспертные комиссии, создаваемые для оценки качества продукции, состоят из двух групп: рабочей (организационная) и экспертной. Рабочая группа занимается разработкой методики оценивания качества, организацией и проведением экспертной оценки качества, обработкой полученной от экспертов информации и анализом результатов. В состав рабочей группы входит организатор, консультант по оцениваемой продукции и технические работники для выполнения машинописных, чертежных, вычислительных работ. Экспертная группа выполняет только оценочные операции.
Организация, в которой формируется экспертная комиссия, должна издать приказ или распоряжение, где указывается состав экспертной комиссии, обязанности ее членов, период и продолжительность работы. Для повышения качества работы экспертов, необходимо, чтобы состав экспертной комиссии был постоянным достаточно длительное время. В.И. Галеев считает, что в состав экспертной группы следует включать 7-12 (15) человек. При этом целесообразно принимать решение, за которое подано не менее 2/3 голосов членов экспертной комиссии. Г.Г. Азгальдов предлагает для упрощенного метода оценивания численность экспертной группы от 7 до 10 человек. В отдельных случаях, когда времени на разработку мало (не больше месяца), а оцениваемый объект сложный (например, грузовой автомобиль или морское судно) необходимо образовать две или три экспертных группы, численностью по 7-10 человек. В этом случае каждая группа работает на отдельных группах свойств объекта.
Если же для оценки качества используется приближенный или точный методы, то применяется более сложный и более точный способ определения численности экспертной группы, который основан на двух основных положениях:
1. Чем больше экспертов, тем, при прочих равных условиях, выше достоверность коллективной экспертной оценки gэ, тем меньше относительная погрешность и выше доверительная вероятность (надежность) , с которой вычислены gэ. Причем:
где gист - истинное значение той характеристики, которая определяется экспертным методом;
g - абсолютная погрешность, определяющая доверительный
интервал:
g =g ист - g э. (31)
2. Чем больше предварительной информации известно рабочей группе относительно экспертной группы и выносимых ею оценках, тем, при прочих равных условиях, может быть меньше численность экспертов.
При создании экспертной группы используются следующие методы анализа соответствия экспертов предъявляемым требованиям:
- 1) Качественный метод, при котором соответствие определяется в процессе беседы с экспертом организатора-руководителя деятельностью экспертной комиссии и консультанта по оцениваемой продукции.
- 2). Количественный метод включает в себя следующие виды оценки качества экспертов:
эвристические - значения оценок качества экспертов определяются человеком;
статистические - значения оценок получаются в результате обработки ответов экспертов;
тестовые - значения оценок находятся в результате специальных испытаний экспертов;
документальные - значения оценок основываются на анализе документальных данных об экспертах;
комбинированные - значения оценок получаются с помощью некоторой совокупности перечисленных методов.
Перед работой экспертов необходимо обсудить с ними следующие вопросы:
сущность понятия “качество продукции”;
основные термины и определения по оцениваемой продукции и квалиметрии;
сущность экспертных методов и область их применения;
основные оценочные операции, их описание, специфика, трудности выполнения;
наиболее распространенные ошибки экспертов, содержание и программа проводимой работы;
методы обработки значений экспертных оценок и их сущность.
Необходимо, чтобы структура экспертной группы, ее профессиональный состав и количество экспертов соответствовали способу опроса.
С этими целями рабочая группа выбирает способ опроса экспертов и проводит его до формирования экспертной группы.
Опрос экспертов осуществляется индивидуально или совместно с другими экспертами; с обсуждением суждений эксперта на заседании экспертной группы или без него. Опрос может заключаться в беседе эксперта с техническим работником, по схеме “вопрос - ответ” (интервьюирование), в самостоятельном заполнении карты опроса (анкетирование), в заполнении карты опроса, получая при этом все необходимые разъяснения от технического работника (смешенное анкетирование).
Если используется упрощенный метод оценивания качества, то рабочая (организационная) группа проводит выбор экспертов в следующем порядке. Отбирается группа потенциальных экспертов, численностью на 2 -5 человек больше, чем положено иметь в экспертной группе. Затем в личной беседе с каждым потенциальным экспертом стараются получить информацию о качестве самого эксперта. Г.Г. Азгальдов предлагает “дерево свойств” эксперта в виде рисунка 8.
Рассмотрим содержание каждого из приведенных свойств.
Компетентность - всестороннее знание экспертом объекта (профессиональная компетентность) и методов оценивания его качества (квалиметрическая компетентность). Профессиональная компетентность включает знание методов проектирования и производства продукции, показателей качества аналогов, перспектив развития продукции, условий и характера эксплуатации. Квалиметрическая компетентность обеспечивает понимание принципов и методов оценки качества продукции, практическое умение пользоваться ими, знание типов оценочных шкал, субъективных вероятностей и умение различать достаточное число градаций оцениваемого объекта. Компетентность является наиболее важным, но трудно оцениваемым свойством. Оценка специалиста по уже освоенной им профессии является достаточно простой, но экспертам приходится работать на стыке специальностей, здесь требуется оригинальное мышление, интуиция, умение оценить новые идеи, а “чрезмерный профессионализм” может мешать выйти эксперту за рамки его профессиональных представлений.
Для определения показателя компетенции чаще всего используют два метода: самооценка и взаимооценка, на них мы остановимся ниже. Расчетная формула показателя компетентности К ком выражена в виде:
К ком = 0,4К с ком + 0,6 К в ком, (32)
где К с ком - результат самооценки, в баллах;
К в ком - результат взаимооценки, в баллах.
Рисунок 3 Свойства, характеризующие качество эксперта
Уверенность - убежденность эксперта в правильности выбранной им оценки.
Объективность - способность эксперта быть объективным, то есть при участии в экспертизе не поддаваться ведомственным, начальственным или личным интересам.
Деловитость - умение быстро выполнять порученную работу, способность быстро переключаться с оценки одного показателя на оценку другого, умение работать с людьми в конфликтной ситуации, способность противостоять мнению большинства при уверенности в своей правоте, обоснованность и мотивированность выносимых оценок и суждений, умение четко формулировать свои мысли.
Заинтересованность - желание делать порученную работу зависит от его индивидуальных способностей, загруженности основной работой, целей экспертизы и возможностей использования ее результатов в своей практической деятельности.
Учитывая эти свойства, рабочая группа отбирает 7-10 экспертов, у которых они выражены в наибольшей степени.
Окончательным этапом формирования экспертной группы является проведение тестирования, самооценки, взаимооценки экспертов, анализа их надежности и проверки согласованности мнений.
Тестирование проводится для установления компетентности и профпригодности экспертов и заключается в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами.
Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы анкеты, после чего эксперт по бальной системе проверяет свои профессиональные знания и деловые качества.
Если эксперты имеют опыт совместной работы, то они могут провести взаимную оценку друг друга.
Анализ надежности экспертов проводится по степени надежности, которую можно рассчитать, основываясь на сведениях о результатах работы эксперта в других экспертных группах. Степень надежности - это отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал.
Согласованность мнений экспертов оценивается коэффициентом конкордации W , о котором будет рассказано ниже.
Проведение экспертного опроса
Опрос экспертов должен соответствовать следующим требованиям:
- - ограниченное количество вопросов, задаваемых эксперту;
- - полнота охвата решаемой задачи;
- - всестороннее рассмотрение вопроса;
- - ограниченное время опроса;
- - возможность применения заочного опроса;
Операции экспертной оценки качества выполняются по этапам:
- 1. Подготовительный этап:
- - формулирование цели оценки;
- - формирование рабочей группы.
- 2. Этап работы рабочей группы:
- - уточнение цели оценки;
- - выбор методов, модификаций, способов и процедур оценки;
- - определение перечня операций, выполняемых экспертами;
- - формирование экспертной группы;
- - выбор методов, способов и процедур опроса экспертов.
- 3. Этап работы экспертной группы:
- - классификация продукции и потребителей;
- - определение номенклатуры показателей качества;
- - определение коэффициентов весомости показателей;
- - определение базовых значений показателей;
- - определение оценок единичных показателей;
- - определение комплексных показателей.
- 4. Заключительный этап:
- - обработка значений экспертных оценок;
- - анализ результатов и подготовка решения экспертной группы.
При реализации третьего этапа - работы экспертной группы, получают ответы экспертов, которые можно разделить на:
- 1. Общие ответы в виде описаний, их используют при определении и уточнении целей оценки и условий эксплуатации (потребления) продукции или как источник дополнительной информации при оценке качества продукции.
- 2. Классификационные ответы могут быть как в виде описаний, так и в виде шкалы наименований (например, деление потребителей на группы в соответствии с условиями потребления оцениваемой продукции).
- 3. Оценочные ответы представляют в количественном виде (баллы, проценты, доли единицы) или качественной форме (“хорошо - плохо”, “достаточно - недостаточно”), их используют при определении коэффициентов весомости, значения оценок показателей качества. При оценке качества опрос экспертов рекомендуется проводить в два - три тура: индивидуальный и групповой. Это позволяет обеспечить независимость суждений экспертов в первом туре, (что снижает отрицательное конформное и авторитетное влияние) и обмен информацией между экспертами в последующих турах. Проведение более трех туров опроса экспертов нецелесообразно.
Необходимость повторения операций экспертизы оценки качества продукции может возникнуть по различным причинам:
- - сравнение результатов, полученных с использованием одинаковых процедур в различных условиях;
- - сравнение различных методов или процедур, например, очного или заочного опроса;
- - повышение точности результата за счет многократного обмена информацией;
- - оценка качества эксперта за счет определения стабильности его суждения, выраженного показателем воспроизводимости.
К одной из разновидностей многоэтапного метода относится метод Делфи, который американцы довольно долго держали засекреченным.
Метод Делфи был предложен в начале пятидесятых годов американскими учеными Т.Дж. Гордоном и О. Хелмером для решения военных проблем. Название этого метода происходит от древнегреческого города Дельфа, где с IX в. до н. э. при храме Аполлона существовал совет мудрецов - “дельфийский оракул”. Назначение метода Делфи состоит в выявлении мнения специалистов в обстановке, исключающей прямые дебаты между ними, но позволяющей им неоднократно взвешивать свои суждения, учитывая ответы коллег.
Характерными чертами метода Делфи являются:
- - анонимность; эксперты не встречаются друг с другом;
- - ответы на вопросы обязательно содержат количественную характеристику;
- - многоэтапность; после каждого тура эксперты знакомятся с ответами коллег и при необходимости составляют письменные обоснования своих точек зрения, что может найти отражение в изменении мнений эксперта на следующем этапе опроса;
- - контроль; после каждого тура проводится статистическая обработка полученных ответов до тех пор, пока степень согласованности мнений экспертов не достигнет заранее выбранного значения.
Количество проводимых туров опроса зависит от квалификации специалистов и опыта. При особо важных измерениях можно учитывать весовые коэффициенты квалификации экспертов. В среднем считается достаточно проведения трех туров для группы, состоящей из 10-12 экспертов.
По способу проведения экспертные опросы подразделяются:
- - непосредственное измерение;
- - ранжирование;
- - сопоставление.
При непосредственном измерении экспертным методом значения показателей качества определяются в установленных единицах: единицы СИ, баллы, нормо-часы, рубли, единицы условного топлива и т.д. Такие измерения могут проводиться по шкале отношений или по шкале интервалов. Для измерения по шкале отношений требуется наличие эталона. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале интервалов.
Значения коэффициентов рассчитываются по формуле (33):
где n - количество экспертов;
m - число взвешиваемых показателей;
G ij - коэффициент весомости j-го показателя в баллах, данный
i-м экспертом.
Непосредственное измерение экспертным методом является наиболее сложным и требует высококвалифицированных экспертов.
Ранжирование заключается в расстановке объектов измерений или показателей качества в порядке их предпочтения или по важности. Место, занятое при такой расстановке называется рангом. Согласно метода предпочтения эксперта просят пронумеровать все весомости M j в порядке их предпочтения так, что весомость наименее предпочитаемого свойства получает номер 1, следующее - 2, и чем важнее свойство, тем больше значение весомости.
Расчетная формула весомости j-го свойства M j:
где W jl - место, на которое поставлена весомость j-го свойства у
l-го эксперта;
r - количество экспертов;
n - количество свойств.
Согласно метода ранга эксперт делает оценку важности каждого свойства по шкале относительной значимости в диапазоне от 1 до 10, причем он может присваивать свойству как целые, так и дробные числа. В данном методе расчетная формула весомости M j имеет вид:
причем P jl - оценка весомости j-го свойства у l-го эксперта.
Сопоставление подразделяется на последовательное и попарное. Метод последовательного сопоставления заключается:
- 1. Расположение весомостей всех свойств в порядке предпочтения аналогично методу предпочтения (ранжирования).
- 2. Наиболее важное свойство получает весомость M j = 1,0; все остальные - в порядке убывания в диапазоне от 1 до 0.
- 3. Если свойство с весомостью M 1 важнее всех остальных свойств вместе взятых, то M 1 увеличивается до величины, превосходящей сумму всех прочих весомостей:
Если же эксперт считает, что свойство M 1 менее важное, то проводится обратная процедура:
- 4. Аналогичным образом сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом, и так далее для всех остальных. При этом нужно следить, чтобы не нарушалось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе.
- 5. Полученные результаты измерений или весовые коэффициенты нормируют, то есть делят на общую сумму баллов или весовых коэффициентов, после этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.
Метод попарного сопоставления является наиболее простым и заключается в сравнении двух объектов. Результаты представляются в форме ортогональной матрицы. Например, необходимо сравнить эстетические показатели шести видов обоев, обозначенных номерами 1, 2, ....6 (таблица 3), где предпочтение i-го вида над j-ым соответствует 1, а противоположное - 0.
Ранжированный ряд имеет вид (по возрастающей): №4 №5, №6, №2, №1, №3.
Этот же пример можно рассмотреть с проведением ранжирования следующего вида: преимущество i-го вида над j-ым соответствует 1, противоположное - (-1); а при равном качестве - 0 (таблица 4).
Следовательно, наивысшие эстетические показатели имеют обои № 3, затем, № 1; № 2, № 6 и № 4 имеют равные свойства, наихудшие показатели у обоев № 5.
Шишкин И.Ф. приводит следующий вариант проведения попарного сопоставления. Предпочтение выражается указанием номера предпочитаемого объекта (таблица 3).
Таблица 3
Таблица 4
Балл j-го объекта или весомость j-го показателя рассчитывается по формуле (39). В данном случае:
где F i,j - частота предпочтения i-м экспертом j-го объекта
экспертизы;
c - общее число суждений одного эксперта, связанное с
числом объектов экспертизы m (числом измеряемых
показателей или коэффициентов весомости) соотношением:
Таблица 5
|
Номер объекта экспертизы |
||||||
Анализ результатов
После проведения опроса экспертов необходимо определить их степень согласованности, используя коэффициент конкордации W (41).
где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднеарифметического рангов;
n - число экспертов;
m - число объектов экспертизы.
Коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).
Существенность значения W устанавливают с помощью критерия (распределение Пирсона) (42):
Значение сравнивают с табличным при заданном уровне значимости и числе степеней свободы f = n-1. При (f) степень согласия между исследователями (значение коэффициента конкордации W) не вызывает сомнения.
Если имеют место «связанные ранги», то коэффициент конкордации задается формулой
L-е число одинаковых рангов в k-м ранжировании. Например, если некоторый k-й исследователь записал ранги 1; 2; 4,5; 4,5; 4,5; 4,5; 8; 8; 8; 10, то для него
(4 3 -4)+(3 3 -3)=84.
Существенность значения W устанавливается также с помощью критерия
который также сравнивают с табличным при заданном уровне значимости и числе степеней свободы f = n-1.
Методы экспертных оценок в прогнозировании и перспективном планировании научно-технического прогресса применяются в сле-дующих случаях:
а) в условиях отсутствия достаточно представительной и досто-верной статистики характеристики объекта (например, лазеры, голографические запоминающие устройства, рациональное исполь-зование водных ресурсов на предприятиях);
б) в условиях большой неопределенности среды функционирования объекта (например, прогнозов человеко-машинной системы в кос-мосе или учет взаимовлияния областей науки и техники);
в) при средне- и долгосрочном прогнозировании объектов новых отраслей промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках (например, микробио-логическая промышленность, квантовая электроника, атомное машиностроение);
г) в условиях дефицита времени или экстремальных ситуациях.
Экспертная оценка необходима, когда нет надлежащей теоре-тической основы развития объекта. Степень достоверности экспер-тизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими собы-тиями. Существует две категории экспертов - это узкие специали-сты и специалисты широкого профиля, обеспечивающие формули-рование крупных проблем и построение моделей. Выбор экспертов для прогноза производится на основе их репутации среди опреде-ленной категории специалистов. Однако не следует забывать и того обстоятельства, что первоклассный специалист не всегда может достаточно квалифицированно рассмотреть и понять общие, глобальные, вопросы. Для этой цели нужно привлекать экспертов хотя и недостаточно узко информированных, но обладающих спо-собностью к дерзанию и воображению.
«Эксперт» в дословном переводе с латинского языка означает «опытный». Поэтому и в формализованном, и в неформализован-ном способах определения эксперта значительное место занимают профессиональный опыт и развитая на его основе интуиция. Усло-вия необходимости и достаточности отнесения специалиста к кате-гории экспертов вводятся следующим образом.
Важно установить не абсолютную степень надежности эксперт-ной оценки, а степень надежности по сравнению с оценкой среднего специалиста, а также корреляцию между вероятностью его прогноз-ной оценки и надежностью класса тех гипотез, которыми оперирует эксперт. В общем, нужно определить, что такое эксперт. Перечис-лим некоторые требования, которым должен удовлетворять эксперт:
1) оценки эксперта должны быть стабильны во времени и транзи-тивны; 2) наличие дополнительной информации о прогнозируемых признаках лишь улучшает оценку эксперта; 3) эксперт должен быть признанным специалистом в данной области знаний; 4) эксперт должен обладать некоторым опытом успешных прогнозов в дан-ной области знаний.
Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки первого вида известны в технике измерений как систематические, ошибки второго вида -- как случайные. Эксперт, склонный к ошиб-кам первого вида, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошибки этого вида связаны со складом ума экспертов. Для коррек-ции систематических ошибок можно применять поправочные коэф-фициенты или же использовать специально разработанные трени-ровочные игры. Ошибки второго вида характеризуются величиной дисперсии. Исходя из анализа основных видов ошибок при выне-сении экспертных суждений, можно добавить к рассмотренному ранее перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожалению, априори определить способность человека делать правильные экспертные оценки невозможно. Важным средством подготовки экспертов являются специальные тренировочные игры.
Организация форм работы эксперта может быть программиро-ванной или непрограммированной, а деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме (ответ на вопросы специальных таблиц экспертных оценок или сво-бодное изложение по заданной теме).
Программирование формы работы эксперта предполагает:
построение граф-модели объекта на базе ретроспективного ана-лиза; определение структуры таблиц экспертных оценок (ТЭО) или программы интервью на базе граф-модели объекта и целей экспер-тизы; определение типа и формы вопросов в ТЭО или в интервью;
определение типа шкалы для вопросов в ТЭО; учет психологиче-ских особенностей экспертизы при определении последовательности вопросов в ТЭО; учет верифицирующих вопросов; разработка логи-ческих приемов для последующего синтеза прогнозных оценок в комплексных прогнозах объекта.
Организация стимуляции работы эксперта состоит в разработке:
эвристических приемов и способов, облегчающих поиск прогнозной экспертной оценки; правовых норм, гарантирующих эксперту оформление приоритета и авторства, а также неразглашения всех научно-технических идей, выдвигаемых им в процессе экспертизы;
форм моральной, профессиональной и материальной заинтересо-ванности эксперта в экспертных оценках; организационных форм работы эксперта (включение в план работы и т. п.).
Исходя из полученной в результате анализа модели объекта прогнозирования, определяются научные и технические направле-ния, по которым необходимо привлечь эксперта, выделяются группы экспертов по принадлежности вопроса к области фунда-ментальных, прикладных наук или к стыковым научным направ-лениям.
При решении задачи формирования экспертной группы необхо-димо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выби-рается любой специалист, имеющий несколько публикаций в дан-ной области. К нему обращаются с просьбой назвать 10 наиболее компетентных, по его мнению, специалистов по данной проблеме. Затем обращаются одновременно к каждому из десяти названных специалистов с просьбой указать 10 наиболее крупных их коллег-ученых. Из полученного списка специалистов вычеркиваются 10 первоначальных, а остальным рассылаются письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не добавит новых фамилий к списку экспертов, т. е. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специалистов, компетентных в области прогнози-руемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлекать всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов.
Определение специфики процедур для методов класса ПЭО (персональных экспертных оценок) осуществляется на основе ана-лиза требований к экспертам и их оценкам, вытекающим из сущно-сти методов:
а) аналитические записки предъявляют требования структуризации экспериментируемой проблемы, экспликации и ранжирования целей, анализа альтернативных путей достижения цели, оценки затрат на каждую альтернативу и рекомендаций по наиболее эффективным способам решения проблем;
б) парные сравнения, нормирование и ранжирование требуют одно-родности оцениваемых признаков, наличия логически обоснованных критериев и эталонов, наличие однозначно определенных процедур оперирования с критериями, эталонами и признаками;
в) интервью предъявляют специфические требования как к экспер-ту, так и к интервьюеру;
г) морфологическая структуризация требует четкого определения функциональных характеристик объекта или проблемы, которые необходимо улучшить, классификации научных принципов, на основе которых возможно улучшение характеристики; анализа все-возможных комбинаций этих принципов и отсева заведомо абсурдных; оценки комбинаций по степени осуществимости и затрат на их реализацию; сравнения комбинаций по комплексному критерию «затраты -- эффективность -- время».
Экспертный метод оценки
Применение экспертного метода
Применение экспертного метода предполагает соблюдение следующих условий:
Экспертная оценка проводится только в случае, когда нельзя использовать для решения вопроса более объективные методы;
В работе экспертной комиссии не должно быть факторов, влияющих на искренность суждений экспертов, мнения экспертов должны быть независимы, вопросы, поставленные перед экспертами, не должны допускать различного толкования;
Эксперты должны быть компетентными в решаемых вопросах;
Количество экспертов должно быть оптимальным;
Ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.
Способы формирования экспертных групп следующие:
1 Способ назначения . Члены экспертной группы назначают ответственного лица (руководителя предприятия, главного и т. д.) по приказу которого проводят сертификацию. Решение выработанное экспертом группы будет являться достаточно авторитарным как для руководителя так и для других лиц, использующих результаты сертификации. Этот способ, когда на данном предприятии впервые проводят групповую экспертизу и организатору необходимо обезопасить результаты от возможной критики со стороны других лиц;
2 Способ взаимных рекомендаций . Вначале опрашивают 1 специалиста по рассматриваемой проблеме. При этом он называет других лиц, которые по его мнению должны войти в состав экспертной комиссии. Эти специалисты вновь должны назвать возможных экспертов, включая рекомендации (при этом соблюдается анонимность рекомендаций). Постепенно круг замыкается. Опыт показывает, что при использовании данного способа в группу попадают специалисты достаточно успешно работающие над данной проблемой, независимо от служебного положения. Этот способ удобен при анализе очень узких специальных проблем.
3 Способ последовательных рекомендаций . Круг специалистов по анализируемой проблеме (эксперт) должен указывать условия при которых проблема может быть решена а он лично может взять на себя ее решение. После этого как эти условия будут установлены, эксперт называет лица, которые могли бы обеспечить достижение указанных им промежуточных целей. В свою очередь эти лица выступающие в качестве экспертов во втором туре опроса, когда выясняют условия достижения промежуточных целей и определяет лиц, которые могут обеспечить достижение промежуточных целей второго уровня.
4 Документационный способ. Этот способ отбора экспертов по их объективным характеристикам. Стаж работы, должность, ученая степень и т. д. Применяется достаточно часто и целесообразно в тех случаях, когда необходимо выяснение мнений группы специалистов.
5 Способ тестирования. Экспертов отбирают из некоторой совокупности возможных экспертов по результатам выполнения ими сертификационных тестов. Данный способ целесообразно применять в тех случаях, когда в дальнейшем отобранным экспертам придется многократно решать однотипные и узкоспециализированные задачи.
Основные требования предъявляемые к эксперту: компетентность, деловитость, заинтересованность в участии экспертной комиссии и объективность.
Компетентность экспертов подразделяется на профессиональную и квалиметрическую.
Под профессиональной компетентностью подразумевают знания различных способов проектирования и производства продукции.
Под квалиметрической компетентностью подразумевают обеспечение немного понимания экспертов, принципов и методов оценки качества продукции. Она предполагает знания методов оценки качества продукции и практическое умение пользоваться ими и использовать разные типы оценочных шкал.
Под деловитостью эксперта подразумевают собранность, способность быстро переключаться с оценки одного на оценку другого, контактность, умение работать с людьми в конфликтных ситуациях, оперативность, обоснованность и мотивация.
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
1. Краткая характеристика экспертных методов
Современная экономика предъявляет новые, более высокие требования к управлению. Вопросы совершенствования методов управления приобретают сейчас очень важное значение, поскольку именно в этой сфере имеются еще большие резервы роста эффективности народного хозяйства. Существенным фактором повышения научного уровня управления является применение при подготовке решений математических методов и моделей. Однако, полная математическая формализация технико-экономических задач часто неосуществима вследствие их качественной новизны и сложности.
В связи с этим все шире используются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений. Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании.
Сущность экспертных методов, как при решении задач исследования систем управления, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.
Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения товара на рынок. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, так и для целей прогнозирования.
Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.
Функции экспертных оценок в системе управления:
Прогноз тенденций развития тех или иных объектов управления и возможных сбоев в управляющих подсистемах, возникновения новых субъектов в формировании систем управления;
Обоснование построения модели объекта прогнозирования. Методы экспертных оценок - одна из групп методов научно-технического прогнозирования, базирующаяся на предположении, что на основе мнений экспертов возможно построить адекватную модель объекта прогнозирования;
Оценка степени достоверности данных, полученных в результате исследования, когда на процесс исследования естественным образом влияют субъективные факторы. Например, выводы по любому социально-экономическому исследованию могут быть сделаны на фактах, деформированных социальной концепцией исследователя;
Оценка степени полноты и объективности информации, получаемой управляющей системой от объекта управления, а также обоснованности информации (решений), поступающей на вход в объект управления от управляющей системы;
Оценка конкретных альтернативных путей развития или объекта управления, или управляющей системы, или обеих систем вместе;
Аттестация конкретных элементов управляющей системы и объекта управления на предмет их соответствия функциям, для которых они созданы.
Наиболее распространенными экспертными методами при в настоящее время при принятии решений по управлению являются следующие:
Метод рангов;
Метод непосредственного оценивания;
Метод сопоставлений.
Последний метод включает две его разновидности: парного сравнения и последовательного сопоставления.
В принципе каждый из них имеет много общего, а отличие, в основном, только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.
Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:
Организацию экспертного оценивания;
Проведение сбора мнений экспертов;
Обработку результатов мнений экспертов.
По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.
Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов системы управления. Достоинством метода рангов является его простота. Недостатками являются:
Невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;
Не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.
Данный метод применяется в практике исследования систем управления, несмотря на свою простоту, довольно редко.
Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный», и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).
Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.
Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.
При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.
В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.
В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.
Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.
Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.
Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.
Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.
Общность экспертных методов заключается в последовательности проведения процедур их использования. К ним следует отнести организацию экспертного оценивания, проведение сбора мнений экспертов и обработку полученных результатов.
Для общего руководства экспертными работами назначается председатель экспертной комиссии. В ее составе организуют две группы -- рабочую и экспертную.
В подчинении руководителя рабочей группы находятся технические работники, отвечающие за техническую сторону подготовки материалов к работе экспертов, обработку полученных результатов и т. п., а также специалисты по решаемым вопросам. Формирование экспертной группы осуществляет руководитель (организатор) рабочей группы. При этом выполняется ряд последовательных мероприятий:
Постановку проблемы и определение области деятельности группы;
Составление предварительного списка экспертов - специалистов в рассматриваемой области деятельности;
Анализ качественного состава предварительного списка экспертов и уточнение списка;
Получение согласия эксперта для участия в работе;
Составление окончательного списка экспертной группы.
Число экспертов в группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, имеющихся возможностей и т.п.
Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:
Оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по проблемам оргпроектирования;
Коллективная оценка кандидата в эксперты как специалиста в данной области;
Самооценка кандидата в эксперты;
Аналитическое определение компетентности кандидатов в эксперты.
Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные. Каждая из этих форм имеет разновидности: анкетирование, интервьюирование, дискуссия, мозговой штурм, совещание, деловая игра. Во многих случаях управления качеством они используются совместно, что дает больший эффект и объективность.
Методы экспертных оценок можно разделить на две группы: методы коллективной работы экспертной группы и методы получения индивидуального мнения членов экспертной группы.
Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.
Методы коллективной работы включают методы «мозговой атаки», «сценариев», «деловых игр», «совещаний» и «суда».
Метод «мозговой атаки». Методы этого типа известны также под названием коллективной генерации идей, мозгового штурма, дискуссионных методов. Все эти методы основаны на свободном выдвижении идей, направленных на решение проблемы. Затем из этих идей отбираются наиболее ценные.
Достоинством метода «мозговой атаки» является высокая оперативность получения требуемого решения. Основным недостатком его - сложность организации экспертизы, так как иногда невозможно собрать вместе требуемых специалистов, создать непринужденную атмосферу и исключить влияние должностных взаимоотношений.
Метод «сценариев» представляет собой совокупность правил по изложению в письменном виде предложений специалистов по решаемой проблеме. Сценарий представляет собой документ, содержащий анализ проблемы и предложения по ее реализации. Предложения вначале пишут эксперты индивидуально, а затем они согласуются и излагаются в форме единого документа.
Основным преимуществом сценария является комплексный охват решаемой проблемы в доступной для восприятия форме. К недостаткам можно отнести возможные неоднозначность, нечеткость излагаемых вопросов и недостаточную обоснованности отдельных решения.
«Деловые игры» основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.
Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.
Метод «совещаний» («комиссий», «круглого стола») - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода «мозговой атаки» каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.
Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.
Метод «суда» является разновидностью метода «совещаний» и реализуется по аналогии с ведением судебного процесса. Метод «суда» целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.
Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы «Дельфи».
Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.
Метод «Дельфи» представляет собой итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.
Процедура метода включает несколько последовательных этапов опроса.
На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются, и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений.
На втором - вся информация сообщается экспертам, и их просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Новые оценки вновь обрабатываются, и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются, и необходимо прекращать процедуру.
Достоинством метода «Дельфи» является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.
Таким образом, можно сделать вывод, что экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.
экспертный оценка метод управление
2. Обработка данных, полученных экспертным методом
После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.
Обработка собранных мнений (данных) экспертов проводится как количественно (численные данные), так и качественно (содержательная информация). При обработке используются различные способы. При наличии численных данных для решения вопросов, обеспеченных достаточным информационным материалом, применяются методы усреднения экспертных суждений. Однако даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу, наряду с количественными методами обработки экспертных данных, используются методы качественного анализа и синтеза.
Наличие, как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.
Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.
При применении рассмотренных экспертных методов (рангов и др.) мнения экспертов часто не совпадают, поэтому необходимо количественно оценить меру согласованности мнений экспертов и определить причины несовпадения суждений. Мера согласованности, естественно, устанавливается па основе статистических данных всей группы экспертов. Для оценки данной меры используются коэффициенты конкордации, которые рассчитываются по формуле
где С -- сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, т. е.
где -- средняя сумма рангов;
Аij -- оценка (в баллах), данная i-му объекту j-м экспертом.
К-эксперты, Н-объекты.
Коэффициент конкордации может быть в диапазоне 1>W>0. При W=0 согласованность мнений экспертов отсутствует, а при W=1полная. Обычно считается, что согласованность вполне достаточна при W>0,5.
Рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона Х^2 с определенным уровнем значимости B -Максимальной вероятностью неправильного результата работы экспертов. Обычно значимость достаточно задавать в пределах 0,005 --0,05
В случае получения расчетной величины Х^2расч больше табличной(с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.
В случае определения несогласованности линий экспертов по коэффициентам конкордации и при соответствующей проверке его величины по критерию Пирсона экспертные опросы следует повторить.
Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.
Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание уделяется методам обработки результатов экспертизы для этого класса проблем.
В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:
1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;
2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;
3) определение относительных весов объектов;
4) определение согласованности мнений экспертов;
5) определение зависимостей между ранжировками;
6) оценка надежности результатов обработки.
Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.
При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.
Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.
Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, которые строятся по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами -- средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.
Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.
Таким образом, обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.
Список используемой ли тературы
1. Василевская И.В. Управление качеством: Учебное пособие / И.В. Василевская. - М.: ИЦ РИОР, 2011. - 112 c.
2. Виханский О.С., Наумов А.И. Менеджмент: Учебник. - 3-е изд. - М.: Экономистъ, 2004. - 528с.: ил.
3. Гительман Л.Д. Преобразующий менеджмент.- М.: Дело, 1999. - 412с.
4. Игнатьева А.В. Исследование систем управления. - М.: ЮНИТИ - ДАНА, 2000. - 156с.
5. Коротков Э.М. Исследование систем управления: Учебник. - М.: ДеКа, 2003. - 264с.
Размещено на Allbest.ru
Подобные документы
Понятие "эвристика" и "эвристический метод". Эвристический метод принятия управленческих решений решения, его особенности. Специфика метода "мозговой атаки", его достоинства и недостатки. Анализ и оценка выдвинутых идей с помощью "мозгового штурма".
реферат , добавлен 07.03.2015
"Мозговая атака" - метод раскрепощения и активизации мышления. Один из наиболее известных и применяемых методов поиска идей путем творческого сотрудничества группы специалистов. Исследование метода "мозговой атаки" при анализе работы пищевого предприятия.
контрольная работа , добавлен 03.09.2010
Применение основных методов на этапе определения альтернатив на практике. Сущность управленческих решений: особенность и эффективность методов. Понятие метода "мозговой атаки". Применение метода "мозговой атаки" на предприятии ОАО "Вимм-Билль-Данн".
курсовая работа , добавлен 20.12.2013
Усовершенствование методик группового принятия решений. Содержание метода экспертных оценок Дельфи. Работа с экспертными оценками, их статистическая обработка. Экспертные оценки вероятности события, их расхождение. Характер взаимодействия экспертов.
курсовая работа , добавлен 21.01.2015
Мозговой штурм, как креативный метод решения задач, стимулирует активность и интуитивное мышление людей в процессе поиска идей. Процесс принятия решения методом мозгового штурма, его достоинства и недостатки. Модификации метода мозгового штурма.
реферат , добавлен 15.05.2008
Анализ метода организации коллективной мыследеятельности: мозговой штурм и метод Дельфи. Содержание методов Дельфи и мозговой атаки. Составляющие внутреннего содержания этих методов. Исторический экскурс по возникновению и развитию, процесс проведения.
контрольная работа , добавлен 20.02.2011
Анализ основ управления организацией. Управленческие решения как главный компонент управления на ООО "СтройБел". Эффективность методик принятия решений в организации и мероприятия по их совершенствованию. Основная структура метода "мозговой атаки".
курсовая работа , добавлен 28.03.2016
Разработка гипотезы исследования системы управления. Исследование управления посредством социально-экономического экспериментирования. Тестирование, имитационное моделирование, факторный анализ, экспертные оценки в исследовании систем управления.
реферат , добавлен 31.01.2010
Характеристика экспертных процедур: особенности эвристических методов и моделей, методов индивидуальных оценок, коллективных экспертных оценок. Специфика проведения экспертизы, содержание и обработка результатов. Экспертная оценка уровня странового риска.
реферат , добавлен 10.05.2010
Суть форсайта как метода долгосрочного прогнозирования. Методы прогнозирования, применяемые в форсайтах. Критические технологии, экспертные панели. Особенности корпоративного форсайта. Применение метода корпоративных технологических "дорожных карт".