Экспертные оценки в исследовании систем управления организации - реферат

2.2. Основной этап

Опрос экспертов проводится методами, определенными на подготовительном этапе. Опросом руководит ведущий.

Задачи ведущего:

• четко поставить цели, проблему;

• обеспечение экспертов информацией;

• объяснить время и методы;

• зафиксировать предложения экспертов;

• отдать на обработку полученные данные.

Проведение анкетирования экспертов является самым распространенным видом опроса. Анкетирование заключается в заполнении экспертами опросных листов - анкет.

Серьезного внимания требует подбор вопросов (признаков), которые желательно включить в анкету.

Различают три вида вопросов, по которым дается экспертная оценка:

• вопросы, ответы на которые содержат количественную оценку;

• вопросы, требующие содержательного ответа в сжатой форме;

• вопросы, требующие содержательного ответа в развернутой форме.

Пример такой группировки вопросов приведен в табл.1.

Табл.1. Виды и типы вопросов

Анкетирование может быть очным и заочным. Недостаток очного анкетирования - возможность влияния анкетирующего руководителя на ответы эксперта. Недостаток заочного анкетирования - в возможности неправильного истолкования вопросов экспертом, затяжки в ответах и т.п. Достоинство заочного анкетирования - простота его организации, возможность привлекать без больших затрат экспертов, живущих в разных городах, и т.п.

Кроме анкет - вопросников, экспертам должна быть дана пояснительная записка, имеющая целью предопросную ориентировку экспертов и содержащая информацию о целях экспертизы, задачах опроса, объектах экспертизы, необходимые организационные сведения и инструкцию по заполнению анкет, в которой проводятся примеры порядка и способа заполнения.

3. Подбор экспертов

Достоверность и эффективность экспертизы определяется процедурой подбора экспертов:

1. составляется список экспертов;

2. составляются письма-приглашения (место, время, мотивация);

3. определяются качества, которыми должны обладать эксперты:

• креативность;

• компетентность;

• отношение к экспертизе;

• конформизм;

• аналитичность, широта мышления;

• конструктивность мышления

Сложной проблемой процедуры отбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения межу людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества решения проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность широта мышления, самокритичность др. Перечисленные характеристики в основном оцениваются качественно.

Компетентность - это степень квалификации эксперта в определенной области знаний. Достаточно простой и полной является Методика ГКН, в которой компетентность экспертов оценивается коэффициентом компетенции k . Он вычисляется на основе суждения эксперта о степени своей информативности по решаемой проблеме и указания типовых источников аргументации своих мнений.

Коэффициент компетенции вычисляется по формуле

k = 1/2 (k_а + k_и ),

где:

k_а - коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице (табл.1);

k_и - коэффициент информативности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1.

Табл.2. Эталонная таблица коэффициентов аргументации

Эксперту дается таблица без цифр. Он отмечает, какой источник он оценивает по градациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу подсчитывается количество баллов по всем источникам аргументации. При этом, если k_а = 1,0, то степень влияния всех источников высокая; если k_а = 0,8, то - средняя и, если k_а = 0,5, то учитывается низкая степень источников аргументации. Коэффициент компетентности 0 k 1.

Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, т.е. на учете результатов экспертного оценивания.

Креативность - это способность решать творческие задачи. Оценивается на основе суждений, основанных на изучении деятельности эксперта. Конформизм - это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения.

Аналитичность и широта мышления - это способность выходить за рамки сложившихся представлений.

Самокритичность эксперта проявляется при самооценке уровня своей компетенции, а также при принятии решения по рассматриваемой проблеме.

К характеристикам группы экспертов можно отнести: достоверность экспертизы и затраты на нее.

Достоверность экспертизы зависит от количества экспертов в группе и количества экспертов. На рис.1 представлен график экспериментальных данных, устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе.

Рис.1. Зависимость достоверности от количества экспертов

Достоверность экспертизы существенно зависит от качества экспертов, особенно от их компетентности. Можно утверждать, что достоверность групповой экспертизы есть монотонно возрастающая функция средней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов.

4. Методы экспертных оценок

4.1 Метод Дельфи

Сущность метода Дельфи состоит в последовательном анкетировании экспертов различных областей науки, техники и формировании массива информации, отражающего индивидуальные оценки экспертов, основанные на строго логическом опыте. Данный метод предполагает использование серии анкет, в каждой из которых содержаться информация и мнения, полученные из предыдущей анкеты.

Область применения метода: прогноз развития науки и техники, будущих открытий и изобретений, для которых нет достаточной теоретической базы в момент составления прогноза, а также составление картины будущего мира, долгосрочного прогнозирования, изучения ряда экономических и социальных проблем.

Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта исследования производится исходя из следующих принципов:

•вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;

•опрос экспертов проводится в нескольких этапов, на каждом последующем этапе вопросы и ответы все более уточняются;

•после каждого этапа всех опрашиваемых экспертов знакомят с результатами опроса;

•эксперт обосновывают оценки и мнения, отклоняющие от мнения большинства;

статическая обработка ответов производится последовательно, от этапа к этапу, с целью получения обобщающих характеристик.

Опрос экспертов производится в четыре этапа с промежутками в два месяца. Разумеется, еще до первого этапа должны быть проведены подготовительные мероприятия с экспертами.

Первый этап. Выдается анкета (лично, по почте, с помощью ЭВМ и др.), собираются ответы, обрабатываются, каждый эксперт знакомится с результатами.

Второй этап. Результаты опроса наносятся на шкалу, определяется медианное значение, квартили и экспертам предлагается скорректировать свою оценку, чтобы вписаться в интервал между квартилями. При изменении мнения или отказе от изменения требуется объяснить свое решение.

Под медианой понимается такое значение прогнозируемого признака, которым обладает центральный член ряда, составленного в порядке возрастания значений признака. Под модой понимается наиболее часто встречающееся в ранжированном ряду значение прогнозируемого признака.

Квартилем называется значение прогнозируемого признака, которым обладают члены ряда под номером, представляющим ¼ всего ряда (нижний квартиль) и ¾ от всего ряда (верхний квартиль). Аналогично определяются децили.

Предположим, что от экспертов получено какое - либо число оценок. Эти оценки упорядочиваются, скажем, в порядке убывания. За медиану принимается средний член ряда (при нечетном числе экспертов), по отношению к которому число оценок с начала и с конца ряда будет одинаковым.

При четном числе экспертов медиана равна среднему из значений оценок двух центральных экспертов. В нашем случае - нечетное число экспертов 11, медиана будет совпадать с оценкой N ₆ (рис.2). Затем определяются верхний и нижний квартили, т.е. интервалы Q ₁ M_e и Q ₃ M_e . Величины этих квартилей в первом приближении равны значениям оценок ряда в интервале, равном 25% от начала и 25% от конца ряда. Таким образом, медиана и квартили образуют на оси ряда четыре интервала, среди которых два средних и считаются наиболее предпочтительными. Полученные таким образом показатели принимаются за характеристики распределения оценок: медиана служит характеристикой группового ответа, а предпочтительный интервал квартилей - показателем разброса индивидуальных оценок.

Рис.2. Медиана и квартили в методе Дельфи

Каждому эксперту сообщаются значения этих характеристик. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т.е. обосновать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы или возрождения, такие же, какие они приводят во время дискуссии. Разница заключается лишь в том, что эти аргументы анонимны. Они могут пересмотреть свои мнения и при желании исправить оценки.

С полученными обоснованиями знакомят остальных экспертов, не указывая при этом, чьи они. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми пренебрегли во время первого и второго этапа.

Третий этап. Всем экспертам представляются все экспертные оценки и вся аргументация (с сохранением анонимности). Участники экспертизы рассматривают аргументы и формулируют новые оценки по каждому событию. Если их новая оценка не попала в интервалы между квартилями, полученными на втором этапе опроса, то их просят обосновать свою точку зрения. Оценки суммируются, рассчитываются новые медианы и новые квартили, составляются новые прогнозы.

Если ответы экспертов перестают изменяться, это является сигналом к прекращению опроса.

Четвертый этап. Участникам экспертизы вновь передают перечень событий, статическое описание оценок группы и аргументы обеих сторон. Эксперты должны принять во внимание аргументы и их критику и составить новый прогноз. Организатор рассчитывает медианы и квартили дат каждого события. На этом заканчивается работа экспертов.

С помощью статических методов группового ответа уменьшается статический разброс индивидуальных оценок и получается групповой ответ, в котором правильно отражено мнение каждого эксперта.

Разработан ряд модификаций метода Дельфи. В этих модификациях изменяются многие элементы методики, используемой в классическом методе Дельфи, но принцип группового ответа соблюдается.

Особенности метода:

• полный отказ от личных контактов экспертов и коллективных обсуждений;

• многотуровая процедура опроса экспертов (обычно четыре этапа);

• обеспечение экспертов информацией, обмен информацией при сохранении анонимности, аргументации и критики;

• обоснование ответов экспертов по запросу организаторов.

Плюсом данного метода является достаточно точное решение, а минусом – дороговизна метода.

4.2 Метод мозгового штурма

Метод мозгового штурма разработан американским пред­принимателем и изобретателем А.Осборном в 1953 г. и при­меняется для получения новых идей в науке, технике, админи­стративной и торговой деятельности.

Задачу последовательно решают две группы людей по 4 — 15 человек в каждой от 6 до 12 человек (оптимальный состав).

Первая группа только выдвигает различные идеи — это группа «генераторов идей». В эту группу желательно вклю­чать людей, склонных к бурной фантазии, склонных к абстра­гированию. Вторая группа — «эксперты» — по окончании штурма выносит суждение о ценности выдвинутых идей. В ее составе лучше работают люди с аналитическим, критическим складом ума. Условия задачи перед ее штурмом формулиру­ются только в общих понятиях.

Основная задача группы «генераторов» — выдать за отве­денное время как можно больше идей (в том числе фантасти­ческих, явно ошибочных и т.д.), чем нереальнее идеи, тем сильнее сказывается их действие на последующем процессе их генерации. При окончательном разборе многие предложения окажутся бесполезными. Однако сам процесс должен вызвать бурный поток идей, которые следуют непрерывно, дополняя и взаимно обогащая друг друга. Коллективный разум помогает генерировать последовательность предложений. Все они вы­сказываются без доказательств и записываются в протокол или фиксируются на магнитной ленте.

При генерации идей запрещена всякая критика, не только явная словесная, но и скрытая — в виде скептических улыбок, мимики, жестов и т.д.

В ходе штурма между участниками должны быть уста­новлены свободные и доброжелательные отношения. Надо, чтобы идея, выдвинутая одним участником штурма, подхва­тывалась и развивалась другим. Рекомендуется пригласить на штурм людей разных специальностей и разного уровня образования.

Нежелательно включать в одну группу людей, присутствие которых может в какой-то степени стеснять других, например руководителей и подчиненных.

Экспертизу и отбор идей после окончания процесса гене­рирования следует проводить очень внимательно. При их оценке надо тщательно продумывать все идеи, даже те, кото­рые считаются несерьезными, нереальными или абсурдными.

Процессом решения задачи управляет руководитель «штурма», который обеспечивает соблюдение всех условий и правил.

Руководитель должен выполнять свои обязанности без приказаний и критики, направлять работу в нужное русло. Он задает различные вопросы, иногда что-то подсказывает или уточняет, не допуская при этом перерывов в беседе.

Если задача не решена в ходе штурма, можно повторить процесс решения. Однако лучше это сделать с другим коллек­тивом. С тем же коллективом проблему можно обсудить в ином аспекте или в более широкой формулировке, что делает старую задачу неузнаваемой. Участники штурма восприни­мают ее как новую, и это способствует движению мыслей по другому руслу.

Наи­лучшие результаты метод дает при рассмотрении проблем ор­ганизационного характера. Метод применяется при отсутст­вии или недостаточном количестве информации.

Особенности метода :

• отделяется процесс выделения идей от их анализа и оценки;

• критика предложений запрещена;

• после сбора предложений происходит их оценивание и определяется наиболее подходящее.

Плюсом данного метода является то, что требуется небольшая подготовка и мало времени на организацию, а минусом – не всегда отыскиваются эффективные решения, они требуют доработки.

4.3. Метод дерева целей

Идея метода дерева целей впервые была предложена У. Черменом в связи с проблемами принятия решений в промышленности.

Термин «дерево» подразумевает использование ие­рархической структуры, полученной путем разделения обшей цели на подцели, а их, в свою очередь, на более детальные составляющие, которые можно называть под­целями нижележащих уровней или, начиная с некото­рого уровня, — функциями. Как правило, термин «дере­во целей» используется для иерархических структур, имеющих отношения строго древовидного порядка, но сам метод иногда применяется и в случае «слабых» ие­рархий. Поэтому в последнее время все большее распро­странение получает предложенный В.М. Глушковым термин «прогнозный граф», который может представ­ляться и в виде древовидной иерархической структуры, и в форме структуры со “слабыми” связями.

При использовании метода «дерево целей» в качест­ве средства принятия решений часто вводят термин «дерево решений». При применении «дерева» для выяв­ления и уточнения функций управления говорят о «де­реве целей и функций». При структуризации тематики научно-исследовательской организации удобнее поль­зоваться термином «дерево проблемы», а при разработ­ке прогнозов — термином «дерево направлений разви­тия (или прогнозирования развития)» или упомянутым выше термином “прогнозный граф”.

Метод «дерева целей» ориентирован на получение пол­ной и относительно устойчивой структуры целей, проб­лем, направлений, т.е. такой структуры, которая на про­тяжении какого-то периода времени мало изменялась при неизбежных изменениях, происходящих в любой развивающейся системе. Для достижения этого при по­строении вариантов структуры следует учитывать зако­номерности целеобразования и использовать принципы и методики формирования иерархических структур целей и функций.

Правила построения “дерева целей”:

• каждая сформулированная цель должна иметь средства и ресурсы для ее обеспечения;

• количество подцелей каждой цели должно быть достаточным для ее достижения;

• декомпозиция каждой цели на подцели осуществляется по одному выбранному классификационному признаку;

• развитие отдельных ветвей дерева может заканчиваться на разных уровнях системы;

• вершины вышележащего уровня системы представляют собой цели для вершин нижележащих уровней;

• развитие «дерева целей» продолжается до тех пор, пока лицо, решающее проблему, не будет иметь в распоряжении все средства для достижения вышестоящей цели.

Данный метод позволяет увидеть количественные и качественные взаимосвязи и отношения между отдельными целями развития организации, увязать их разные уровни с конкретными средствами и сроками достижения.

4.4. Метод SWOT-анализа

Применяемый для анализа системы управления метод SWOT (аббревиатура составлена из первых букв английских слов: сила, слабость, возможности и угрозы) является довольно широко признанным подходом, позволяющим провести совместное изучение внешней и внутренней среды организации. Применяя метод SWOT, удается установить линии связи между силой и слабостью, которые присущи организации и внешними угрозами и возможностями. Методология SWOT предполагает сначала выявление сильных и слабых сторон, а также угроз и возможностей, а далее - установление цепочек связей между ними, которые в дальнейшем могут быть использованы для формулирования стратегии организации.

Матрица SWOT - анализа строится в рамках двух координат. По горизонтали отображается состояние внутренней среды организации, а по вертикали - состояние ее внешней среды.

Первый этап. Распределение факторов по этим квадрантам или секторам матриц не всегда является легким делом. Бывает, что один и тот же фактор одновре­менно характеризует и сильные, и слабые стороны предмета. Кроме того, факторы действуют ситуативно. В одной ситуации они выглядят достоинст­вом, в другой — недостатком. Иногда они бывают несоизмеримыми по своей значимости. Эти обстоятельства можно и необходимо учитывать.

Один и тот же фактор можно размещать в нескольких квадрантах, если трудно однозначно определить его место. Это не скажется отрицательно на исследовании. Ведь суть метода заключается в том, чтобы идентифицировать факторы, разместить их таким образом, чтобы их концентрация подсказала пути решения проблемы, чтобы они стали управляемыми.

В каждом квадранте факторы не обязательно должны обладать одинако­вым весом, но они должны быть представлены в полной своей совокупности.

Заполненная матрица показывает реальное положение дел, состояние проблемы и характер ситуации.

Второй этап. Проводится сравнительный анализ сильных сторон и благоприятных возможностей, который должен показать, как использовать сильные стороны. Вместе с тем надо проанализировать и слабые стороны относительно существующих опасностей. Такой анализ покажет, насколько вероятен кризис. Ведь опасность увеличивается, когда она возни­кает в условиях ослабленности, когда слабые стороны не дают возможность препятствовать опасности.

Конечно, весьма полезно сделать сравнительный анализ сильных сторон и существующих опасностей. Ведь сильные стороны можно плохо использо­вать при предотвращении кризиса, сильные стороны надо видеть не только относительно благоприятных возможностей, но и относительно опасностей.

В исследовании систем управления предметом этого метода могут быть различные проблемы развития управления. Например, эффективность, пер­сонал, стиль, распределение функций, структура системы управления, меха­низм управления, мотивация, профессионализм, информационное обеспече­ние, коммуникации и организационное поведение и пр.

Использование специально подготовленных и отобранных экспертов или внутренних консультантов позволяет повысить эффективность этого метода.

Существует множество модификаций метода SWOT-анализа.

5. Обработка данных экспертизы

Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа.

Формализация информации, получаемой от экспертов, должна быть направлена на подготовку решения таких задач, которые не могут быть в полной мере описаны математически.

Одна из главных трудностей при оценивании состоит в том, что помимо явлений, объектов, факторов, состояние которых может быть выражено количественно (в руб., $, кг, км, % и т.п.), приходится оценивать качественные факторы, уровень которых нельзя точно определить. Часть информации, не поддающуюся количественному измерению, необходимо представить в виде косвенных оценок.

Если эксперт способен сравнить и оценить какие-либо объекты, явления, факторы, варианты действий, приписав каждому из них какое-либо число, то говорят, что он обладает определенной системой предпочтений.

В зависимости от того, по какой шкале заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации и обладают различной способностью к математической формализации.

Шкала – это инструмент (принятая система правил) оценки (измерения) каких-либо объектов или явлений.

Различают четыре типа шкал.

1. Номинальная шкала. Реализует простейший тип измерения. В этом случае проводится сравнение свойств объекта (явления) с каким-либо признаком-эталоном, результатом является упорядочение по двухэлементной шкале, где каждому из объектов (явлений) присваивается балл, равный нулю либо единице.

Примером измерения по номинальной шкале может служить проведение зачета. В этом случае эксперт-преподаватель оценивает уровень знаний студентов и выносит решение: зачет (объекту-студенту присваивается балл, равный нулю) или незачет (объекту-студенту присваивается балл, равный единице).

2. Порядковая шкала. Цель состоит в упорядочении объектов (явлений), а точнее, в выявлении с помощью экспертов скрытой упорядоченности, которая, по предположению, присуща множеству объектов. Результатом оценки является решение о том, что какой-либо объект (явление) предпочтительнее другого в отношении какого-то критерия.

Примером может служить определение жюри победителей и призеров какого-либо конкурса. Здесь эксперты должны решить, что участник, занявший первое место, оказался предпочтительнее (с точки зрения целей конкурса) участника, занявшего второе место. Участник, занявший второе место, в свою очередь, признается лучшим по отношению к третьему и т.д.

3. Интервальная шкала. Оценка по данной шкале позволяет не только определить, что один объект (явление) предпочтительнее другого, но также определить: на сколько предпочтительнее. Нулевая точка и единица измерения выбираются при этом произвольно.

Ярким примером оценки по интервальной шкале является проведение экзамена. Здесь эксперт-преподаватель, оценивая уровень знаний студентов, должен не только решить, что один студент знает материал лучше другого, но сказать: на сколько лучше. Измерение фактически производится по шкале из четырех баллов ("неудовлетворительно", "удовлетворительно", "хорошо", "отлично"). При этом уровень знаний, соответствующий нулевому баллу (нулевая точка) не известен.

Измерение по интервальной шкале используется при выставлении экспертами-судьями оценок в таких видах спорта, как фигурное катание, прыжки в воду, художественная и спортивная гимнастика.

4. Шкала отношения. В данном случае предполагается, что известно абсолютное значение свойств объекта, т.е. известна истинная нулевая точка. Шкала используется для тех факторов, которые могут быть представлены количественно.

Например, при помощи такой шкалы эксперты могут оценить размер прибыли, которая может быть получена в результате реализации какого-либо проекта.

В зависимости от существа исследуемых объектов для их оценки могут быть использованы различные шкалы.

Такие факторы как затраты, прибыль, время могут быть оценены по шкале отношения или интервальной шкале (например, в рублях, днях, баллах).

Для оценки таких факторов как срок окупаемости или сравнительная эффективность может быть использована интервальная или порядковая шкала.

Качественные, например, социальные или политические факторы могут оцениваться по порядковой или номинальной шкале.

Способы измерения объектов, наиболее часто применяемые при оценке по порядковой или интервальной шкале: ранжирование, парное сравнение, непосредственная оценка.

1.Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный (результатом проведения ранжирования является ранжировка).

Если имеется n объектов, то в результате их ранжирования j-ым экспертом каждый объект получает оценку x_ij – ранг, приписываемый i-му объекту j-ым экспертом.

Значения xij находятся в интервале от 1 до n. Ранг самого важного фактора равен единице, наименее значимого – числу n.

Ранжировкой j-го эксперта называется последовательность рангов x_1j , x_2j , …, x_nj .

Достоинством метода является его простота, а недостатком - ограниченные возможности использования. При оценке большого количества объектов экспертам очень трудно строить ранжированный ряд, поскольку приходится учитывать множество сложных связей.

От этого недостатка свободен следующий метод.

2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.

Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.

При использовании метода чаще всего составляется матрица размером nxn, где n – количество сравниваемых объектов (табл.3).

Табл.3 Общий вид матрицы парных сравнений

При сравнении объектов матрица заполняется элементами a_ij следующим образом (может быть предложена и иная схема заполнения):