Студопедия Главная Случайная страница Обратная связь

Разделы: Автомобили Астрономия Биология География Дом и сад Другие языки Другое Информатика История Культура Литература Логика Математика Медицина Металлургия Механика Образование Охрана труда Педагогика Политика Право Психология Религия Риторика Социология Спорт Строительство Технология Туризм Физика Философия Финансы Химия Черчение Экология Экономика Электроника

ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК




 

§ 5.1. Задачи обработки

 

После проведения опроса группы экспертов осуществля­ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получе­ние обобщенных данных и новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов обра­ботки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от клас­са проблем, решаемых экспертным оцениванием.

Как отмечалось в первой главе, все множество проб­лем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется до­статочный уровень знании и опыта, т. е. имеется необ­ходимый информационный потенциал. При решении про­блем, относящихся к этому классу, эксперты рассмат­риваются как хорошие в среднем измерители. Под тер­мином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным.

Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для об­работки результатов группового экспертного оценивания проблем первого класса можно успешно применять ме­тоды математической статистики, основанные на осред­нении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевид­но, что применение методов осреднения результатов групповой экспертной оценки при решении проблем вто­рого класса может привести к большим ошибкам. По­этому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использую­щих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное, внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результа­том опроса возникают следующие основные задачи:

построение обобщенной оценки объектов па основе индивидуальных оценок экспертов;

построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

определение относительных весов объектов;

определение согласованности мнений экспертов;

определение зависимостей между ранжировками;

оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при груп­повом экспертном оценивании. Решение этой задачи за­висит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или неко­торой совокупности показателей. Желательно иметь чис­ленные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными славами, для многих задач необхо­димо иметь оценки объектов, которые не только осуще­ствляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед дру­гим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки (см. пара­граф 2.3). Однако эту же задачу при определенных усло­виях можно решить путем обработки оценок экспертом.

Определение согласованности мнении экспертов про­изводится путем вычисления числовой меры, характери­зующей степень близости индивидуальных мнений. Ана­лиз значения меры согласованности способствует выра­ботке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мне­ний экспертов. Качественный анализ причин группиров­ки мнений позволяет установить существование различ­ных взглядов, концепций, выявить научные школы, опре­делить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать един­ство и различие в мнениях экспертов. Важную роль иг­рает также установление зависимости между ранжиров­ками, построенными по различным показателям сравне­ния объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевид­на. Например, если показателями сравнения являются различные цели, а объектами — средства достижения це­лей, тоустановление взаимосвязи между ранжировка­ми, упорядочивающими средства с точки зрения дости­жения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представ­ляют собой случайные объекты, поэтому одной из важ­ных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет со­бой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную свя­зано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгорит­мы обработки результатов экспертного оценивания.

§ 5.2. Групповая оценка объектов

В данном параграфе рассматриваются алгоритмы обра­ботки результатов экспертного оценивания множества объектов. Пусть m экспертов произвели оценку п объек­тов по l показателям. Результаты оценки представлены в виде величин , где j —номер эксперта, i — номер объекта, h — номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирова­ния, то величины представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результа­тов оценки существенно зависит от рассмотренных мето­дов измерения.

Рассмотрим вначале случай, когда величины (i =1,…,п; j=1, 2, ..., m; h=1, 2, ..., l) получены мето­дами непосредственной оценки или последовательного
сравнения, т. е. являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно воспользоваться средним значением оценки для
каждого объекта

(i=1, 2, …, n), (5.1)

где — коэффициенты весов показателей сравнения объектов, kj — коэффициенты компетентности экспертов. Коэффициенты весов показателей и компетентности объ­ектов являются нормированными величинами

(5.2)

Коэффициенты весов показателем могут быть опреде­лены экспертным путем. Если — коэффициент веса h-го показателя, даваемый j-м экспертом, то средний ко­эффициент веса h-гопоказателя по всем экспертам ра­вен

(5.3)

Получение групповой экспертной оценки путем сум­мирования индивидуальных оценок с весами компетент­ности и важности показателей при измерении свойств объектов в кардинальных шкалах основывается на пред­положении о выполнении аксиом теории полезности фон Неймана — Моргенштерна как для индивидуальных, так и для групповой оценки [39] и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето) [31]. В реальных задачах эти условия, как пра­вило, выполняются, поэтому получение групповой оцен­ки объектов путем суммирования с весами индивидуаль­ных оценок экспертов широко применяется на практике.

Коэффициенты компетентности экспертов можно вы­числить по апостериорным данным, т. е. по результатам оценки объектов. Основной идеей этого вычисления яв­ляется предположение о том, что компетентность экспер­тов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Алгоритм вычисления коэффициентов компетентно­сти экспертов имеет вид рекуррентной процедуры:

; (5.4)

; (5.5)

. (5.6)

Вычисления начинаются с t=1. В формуле (5.4) началь­ные значения коэффициентов компетентности принима­ются одинаковыми и равными kj°=1/m. Тогда по формуле (5.4) групповые оценки объектов первого приближе­нии равны средним арифметическим значениям оценок экспертов

. (5.7)

Далее вычисляется величина λ¹ по формуле (5.5):

(5.8)

и значение коэффициентов компетентности первого приближения по формуле (5.6):

(5.9)

Используя коэффициенты компетентности первого приближения, можно повторить весь процесс вычисле­ния по формулам (5.4), (5.5), (5.6) и получить вторые приближения величин .

Повторение рекуррентной процедуры вычислений оце­нок объектов и коэффициентов компетентности естест­венно ставит вопрос о ее сходимости. Для рассмотрения этого вопроса исключим из уравнений (5.4), (5.6) пере­менные и и представим эти уравнения в векторной форме

, (5.10)

где матрицы В размерности n∙n и С размерности m∙m равны

. (5.11)

Величина в уравнениях (5.10) определяется по формуле (5.5).

Если матрицы В и С неотрицательны и неразложимы, то как это следует из теоремы Перрона-Фробениуса [33], при t→∞ векторы и сходятся к собственным векторам матриц В и С, соответствующим максимальным собственным числам этих матриц

, . (5.12)

Предельные значения векторов x и k можно вычислить из уравнений:

(5.13)

где , — максимальные собственные числа матриц В и С.

Условие неотрицательности матриц В и С легко вы­полняется выбором неотрицательных элементов мат­рицы X оценок объектов экспертами.

Условие неразложимости матриц В и С практически выполняется, поскольку, если эти матрицы разложимы, то это означает, что эксперты и объекты распадаются на независимые группы. При этом каждая группа экс­пертов оценивает только объекты своей группы. Естест­венно, что получать групповую оценку в этом случае нет смысла. Таким образом, условия неотрицательности и неразложимости матриц В и С, а следовательно, и условия сходимости процедур (5.4), (5.5), (5.6) в практи­ческих условиях выполняются.

Следует заметить, что практическое вычисление век­торов групповой оценки объектов и коэффициентов ком­петентности проще выполнять по рекуррентным форму­лам (5.4), (5.5), (5.6). Определение предельных значе­ний этих векторов по уравнению (5.13) требует примене­ния вычислительной техники.

Пример. Три эксперта (m = 3) оценили значение двух мероприя­тий (n=2) по решению одной проблемы (l=1), приведя нормированные оценки мероприятий (табл. 5.1).

Проведем вычисление групповых оценок мероприятий и коэффи­циентов компетентности экспертов по формулам (5.4), (5.5), (5.6). Средние оценки объектов первого приближения по формуле (5.4) при t=1 равны

.

Эксперт Мероприятие Э1 Э2 Э3
М1 0,3 0,5 0,2
М2 0,7 0,5 0,8

 

Вычислим величину λ¹ по формуле (5.5). В результате имеем

λ¹=1∙0,335+2∙0,665=1,665.

Вычисляем коэффициенты компетентности первого приближения по формуле (5.6):

;

;

.

Вычисляя групповые оценки объектов второго приближения, получаем вектор x²=(0.324; 0.676). Величина λ²=1,676. Вектор коэффициентов компетентности второго приближения равен k²=(0,341; 0,298; 0,361). Для третьего приближения получаем x³=(0,3233; 0,6765), λ³=1,6765, k³=(0,341; 0,298; 0,361). Как следует из результатов третьего приближения, вектор коэффициентов компетентности стабилизировался. Поэтому дальнейшие вычисления не дадут существенного уточнения.

Рассмотрим теперь вычисление предельных значений векторов групповой оценки и коэффициентов компетентности по уравнениям (5.13). Вычисляя матрицу В=ХХ’, получаем

.

Максимальное собственное число матрицы В определяется как максимальный корень уравнения

|В-λE |=0,

где Е – единичная матрица. Записывая в явном виде определитель, получаем

.

Раскрывая определитель, получаем квадратное уравнение

λ² - 1,76λ + 0,14 = 0.

Максимальный корень этого yравнения ранен λo=l,676. Сравнивая это значение со вторым и третьим приближением λ², λ³, убеждаемся в том, что они близки. Вектор групповых оценок вычисляется путем решения системы уравнений

.

Решая эту систему yравнений, получаем =0,3235, =0,6765, что соответствует результатамрекуррентных вычислений третьего при­ближения.

Вычисляя матрицу С = Х'Х, получаем

.

Составляя уравнение |С — XE|=0 и раскрывая определитель, полу­чаем уравнение

λ(λ²-1,76λ+0,14)=0.

Отсюда следует, что максимальное собственное число для матрицы С совпадает с максимальным собственным числом матрицы В: λо=1,676.

Система уравнений для определения предельных коэффициентов компетентности имеет вид

.

Решая эту систему уравнений, получаем =0,34077, =0,298, =0,36123. Эти значения близки к третьему приближению коэффициентов компетентности.

Рассмотрим теперь случай, когда эксперты произво­дят оценку множества объектов методом ранжирования так, что величины есть ранги. Обработка результа­тов ранжирования заключается в построении обобщен­ной ранжировки. Для построения такой ранжировки введем конечномерное дискретное пространство ранжи­ровок и метрику в этом пространстве. Каждая ранжи­ровка множества объектов j-м экспертом есть точка Rj в пространстве ранжировок.

Ранжировку Rj можно представить в виде матрицы парных сравнений, элементы которой определим следу­ющим образом:

Очевидно, что , поскольку каждый объект эквива­лентен самому себе. Элементы матрицы || || антисим­метричны .

Если все ранжируемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Та­кую матрицу будем обозначать Ro и считать, что точка в пространстве ранжировок, соответствующая матрице Rо­является началом отсчета.

Обращение порядка ранжируемых объектов приводит к транспонированию матрицы парных сравнений.

Метрика d(Ri, Rj) как расстояние между i-йи j-й ранжировками определяется единственным образом фор­муллой

,

если выполнены следующие 6 аксиом [26]:

1. d(Ri, Rj)≥0, причем равенство достигается, если ранжировки Ri и Rj тождественны;

2. d(Ri, Rj)= d(Rj, Ri);

3. d(Ri, Rh)+ d(Rh, Rj)≥ d(Ri, Rj);

причем равенство достигается, если ранжировка «лежит между» ранжировками Ri и Rj. Понятие «лежит между» означает, что суждение о некоторой паре OhOl объектов в ранжировке совпадает с суждением об этой паре либо в Ri , либо в Rj или же в Ri Ok > Оl , в Rj Оl > Ok , а в Rh Oh ∞ Оl ;

4. d(R'i, R'j)= d(Ri, Rj),

где R'i получается из Ri некоторой перестановкой объ­ектов, а R'j из Rj той же самой перестановкой. Эта ак­сиома утверждает независимость расстояния от перену­мерации объектов.

5. Если две ранжировки Ri, Rj одинаковы всюду, за исключением n-элементного множества элементов, явля­ющегося одновременно сегментом обеих ранжировок, то d(Ri ,Rj) можно вычислить, как если бы рассматрива­лась ранжировка только этих n-объектов. Сегментом ранжировки называется множество, дополнение которо­го непусто и все элементы этого дополнения находятся либо впереди, либо позади каждого элемента сегмента. Смысл этой аксиомы состоит в том, что если две ранжи­ровки полностью согласуются в начале и конце сегмента, а отличие состоит в упорядочении средних n-объектов, то естественно принять, что расстояние между ранжиров­ками должно равняться расстоянию, соответствующему ранжировкам средних n-объектов.

6. Минимальное расстояние равно единице.

Пространство ранжировок при двух объектах можно изобразить в виде трех точек, лежащих на одной прямой (рис.3). Расстояния между точками равны d(R1, 0)= d(R2, 0)=1, d(R1, R2)=2. При трех объектах пространство всех возможных ранжировок состоит из 13 точек. Это пространство изображено на рис.4.

Рис.4.

Используя введенную метрику, определим обобщен­ную ранжировку как такую точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. Понятие наилучшего согласова­ния на практике чаще всего определяют как медиану и среднюю ранжировку.

Медиана есть такая точка в пространстве ранжиро­вок, сумма расстояний от которой до всех точек — ран­жировок экспертов является минимальной. В соответст­вии с определением медиана вычисляется из условия

.

Средняя ранжировка есть такая точка, сумма квад­ратов расстояний от которой до всех точек — ранжиро­вок экспертов является минимальной. Средняя ранжи­ровка определяется из условия

.

Пространство ранжировок конечно и дискретно, по­этому медиана и средняя ранжировка могут быть только какими-либо точками этого пространства. В общем слу­чае медиана и средняя ранжировка могут не совпадать ни с одной из ранжировок экспертов.

Если учитывается компетентность экспертов, то ме­диана и средняя ранжировка определяются из условий:

; .

где kj — коэффициенты компетентности экспертов.

Если ранжировка объектов производится по несколь­ким показателям, то определение медианы вначале про­изводится для каждого эксперта по всем показателям, а затем вычисляется медиана по множеству экспертов:

(i=1,2,…,m);

,

где qh – коэффициенты весов показателей.

Основным недостатком определения обобщенной ранжировки в виде медианы или средней ранжировки является трудоемкость расчетов. Естественный способ отыскания Rм или Rc в виде перебора всех точек простран­ства ранжировок неприемлем вследствие очень быстро­го роста разномерности пространства при увеличении количества объектов и, следовательно, роста трудоемко­сти вычислений. Можно свести задачу отыскания Rм или Rс к специфической задаче целочисленного программи­рования. Однако это не очень эффективно уменьшает вы­числительные трудности.

Пример. Проиллюстрируем применение понятий медианы и сред­него значения на простом примере, когда имеются три объекта (n=3) и ранжировка произведена тремя экспертами (m=3). Резуль­таты ранжировки проставлены в табл. 5.2.

ТАБЛИЦА 5.2

 

На основе этой таблицы составим матрицы парных сравнений

, , :

, , .

При n=3 пространство ранжировок может иметь 13 несовпадающих точек (рис. 4). Представим три точки R1=R2= Rз, соответствующие ранжировкам данного примера, и ближайшие к ним точки на рис. 5. Нетрудно непосредственным расчетом убедиться, что медианой яв­ляется точка R1=R2. Действительно, сумма расстояний от медианы до трех точек R1, R2, Rз равна d(R1 , RM)+d(R2, RM)+d(Rз, Rм) = 0+0+2=2. Если выбрать медиану в любой другой точке, то сумма расстояний будет больше 2. Например, если выбрать в качестве ме­дианы точку А, соответствующую ранжировке О1 ∞ О2 >О3 , то сум­ма расстояний равна d(R1, A)+d(R2, А)+d(R3, A) = 1 + 1 + 1=3. Таким образом, медианой является точка R1 = R2 или, иными словами, в качестве обобщенной ранжировки следует выбрать ранжировку, вы­полненную первым или вторым экспертом. В данном случае обоб­щенная ранжировка определена по правилу большинства голосов.

Рассмотрим, какая ранжировка будет соответствовать среднему значению. Непосредственным расчетом нетрудно убедиться, что среднее значение соответствует точке А. действительно, сумма квадратов расстояний от точки А до точек R1, R2, R3 равна d²(R1, А)+ d²(R2, А)+ d²(R3, А)=1² + 1² + 1² = 3. Если взять в качестве среднего значения медиану (точка R1 = R2), то сумма квадратов равна d²(R1, RМ)+ d²(R2, RМ)+ d²(R3, RМ)=0² + 0² + 2² = 4.

Эта величина больше, чем в предыдущем случае. Таким образом, построение обобщенной ранжировки по среднему значению дает ранжировку О1 ∞ О2 >О3. Эта ранжировка не совпадает ни с одной из ранжировок R1, R2, Rз, выполненных экспертами. Ранжировку О1 ∞ О2 >О3 можно интерпретировать как эквивалентность первого и второго объектов и их предпочтительность перед третьим объектом.

Обобщенные ранжировки по критериям медианы и среднего зна­чения согласуются в отношении О3 — он на последнем месте, что соответствует оценкам всех трех экспертов. В отношении объектов О1, О2 критерии медианы и среднего значения дают разногласие. Критерий медианы утверждает, что нужно следовать правилу боль­шинства, тогда как критерий среднего значения решает, что это не­убедительно и необходимо считать эти объекты равноценными. С практической точки зрения оба эти результата являются прием­лемыми.

Рассмотрим случай, когда все три эксперта дают различные ран­жировки R1=(O1 > О2 > О3), R2=(О2> O3>O1), =(Оз> O1 > О2). Анализируя расположение этих точек на рис. 5, нетрудно опреде­лить, что медианой будет не одна, а три точки, совпадающие с точ­ками R1, R2, Rз. Сумма расстояний от медиан до точек R1, R2, Rз одинакова и равна d(R1, RМ)+ d(R2, RМ)+ d(R3, RМ)=8. Средним значением будет одна центральная точка Rc= (O1 ∞ О2 ∞ О3). Сумма квадратов расстояний от среднего значения до точек R1, R2, Rз равна d²(R1, Rс)+ d²(R2, Rс)+ d²(R3, Rс)=3² + 3² + 3² = 27.

Рис.5.

Таким образом, критерий медианы утверждает в данном случае, что в качестве обобщенной ранжировки можно принять любую ран­жировку экспертов. Критерий среднего значения решает, что все объекты равноценны. С практической точки зрения представляется, что критерий среднего значения дает более приемлемые результаты.

 

Расхождение обобщенных ранжировок при различ­ных критериях возникает при малом числе экспертов и несогласованности их оценок. Если мнения экспертов близки, то обобщенные ранжировки, построенные по критериям медианы и среднего значения, будут совпа­дать.

Сложность вычисления медианы или средней ран­жировки привела к необходимости применения более простых способов построения обобщенной ранжировки.

К числу таких способов относится способ сумм рангов.

Этот способ заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объек­том от всех экспертов. Для матрицы ранжировок составляются суммы

(i=1,2,…,n).

Далее объекты упорядочиваются по цепочке неравенств .

Пример. Результаты ранжировки пяти объектов пятью экспер­тами представлены в табл. 5.3.

 

ТАБЛИЦА 5.3

 

Результаты вычисления сумм рангов для всех объектов приве­дены в последней строке таблицы. Из сравнения сумм рангов полу­чаем цепочку неравенств

Отсюда следует обобщенная ранжировка

.

В данном примере рассмотрен случай, когда отношение между объектами является отношением строгого порядка. Если имеет место и отношение эквивалентности, то процедура построения обоб­щенной ранжировки по сумме рангов не изменяется.

Для учета компетентности экспертов достаточно умножить каждую i-ю ранжировку на коэффициент ком­петентности j-го эксперта . В этом случае вы­числение суммы рангов для i-го объекта производится по следующей формуле:

(i=1,2,…,n).

Обобщенная ранжировка с учетом компетентности экс­пертов строится на основе упорядочения сумм рангов для всех объектов.

Следует отметить, что построение обобщенной ранжи­ровки по суммам рангов является корректной процеду­рой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2, ..., п. Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие мо­нотонности преобразования и, следовательно, можно по­лучать различные обобщенные ранжировки при различ­ных отображениях объектов на числовую систему. Нуме­рация мест объектов может быть произведена единст­венным образом с помощью натуральных чисел. Поэтому при хорошей согласованности экспертов построение обобщенной ранжировки по методу сумм рангов дает результаты, согласующиеся с результатами вычисления медианы.

Еще одним более обоснованным в теоретическом от­ношении подходом к построению обобщенной ранжиров­ки является переход от матрицы ранжировок к матрице парных сравнений и вычисление собственного вектора, соответствующего максимальному собственному числу этой матрицы. Упорядочение объектов производится по величине компонент собственного вектора. Изложение этого подхода дается в параграфе 5.4.

§ 5.3. Оценка согласованности мнений экспертов

При ранжировании объектов эксперты обычно расходят­ся в мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степе­ни согласия экспертов. Получение количественной ме­ры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованно­сти мнений группы экспертов: дисперсионный и энтро­пийный коэффициенты конкордации.

Дисперсионный коэффициент конкордации[45]. Рас­смотрим матрицу результатов ранжировки п объектов группой из m экспертов (j = 1, ...,m; i =1,…, п), где — ранг, присваиваемый j-м экспертом i-му объекту. Составим суммы рангов по каждому столбцу. В резуль­тате получим вектор с компонентами

(i=1,2,…,n). (5.14)

Величины рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оп­тимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой [17]:

, (5.15)

где - оценка математического ожидания, равная

. (5.16)

Дисперсионный коэффициент конкордации определя­ется как отношение оценки дисперсии (5.15) к макси­мальному значению этой оценки

. (5.17)

Коэффициент конкордации изменяется от нуля до еди­ницы, поскольку .

Вычислим максимальное значение оценки дисперсии для случая отсутствия связанных рангов (все объекты различны). Предварительно покажем, что оценка мате­матического ожидания зависит только от числа объек­тов и количества экспертов. Подставляя в (5.16) зна­чение из (5.14), получаем

(5.18)

Рассмотрим вначале суммированные по i при фиксиро­ванном j. Это есть сумма рангов для j-го эксперта. По­скольку эксперт использует для ранжировки натураль­ные числа от 1 до п, то, как известно, сумма натураль­ных чисел от 1 до п равна

(5.19)

Подставляя (5.19) в (5.18), получаем

. (5.20)

Таким образом, среднее значение зависит только от числа экспертов m и числа объектов п.

Для вычисления максимального значения оценки дис­персии подставим в (5.15) значение из (5.14) и воз­ведем в квадрат двучлен в круглой скобке. В результате получаем

. (5.21)

Учитывая, что из (5.18) следует

,

получаем

. (5.22)

Максимальное значение дисперсии достигается при наибольшем значении первого члена в квадратных скоб­ках. Величина этого члена существенно зависит от рас­положения рангов — натуральных чисел в каждой стро­ке i. Пусть, например, все т экспертов дали одинаковую ранжировку для всех п объектов. Тогда в каждой строке матрицы будут расположены одинаковые числа. Следовательно, суммирование рангов в каждой i-й стро­ке дает m-кратное повторение i-го числа:

.

Возводя в квадрат и суммируя по i, получаем значение первого члена в (5.22):

. (5.23)

Теперь предположим, что эксперты дают несовпадающие ранжировки, например, для случая п = т все эксперты присваивают разные ранги одному объекту. Тогда

.

Сравнивая это выражение с при т = п, убеждаемся, что первый член в квадратных скобках формулы (9) ра­вен второму члену и, следовательно, оценка дисперсии равна нулю.

Таким образом, случай полного совпадения ранжиро­вок экспертов соответствует максимальному значениютоценки дисперсии. Подставляя (5.23) в (5.22) и выпол­няя преобразования, получаем

. (5.24)

Введем обозначение

. (5.25)

Используя (5.25), запишем оценку дисперсии (5.15) в виде

. (5.26)

Подставляя (5.24), (5.25), (5.26) в (5.17) и сокращая на множитель (п—1), запишем окончательное выражение для коэффициента конкордации

. (5.27)

Данная формула определяет коэффициент конкордации для случая отсутствия связанных рангов.

Если в ранжировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе форму­лы (5.17) становится меньше, чем при отсутствии связанных рангов. Можно показать, что при наличии связанных рангов коэффициент конкордации вычисляется по формуле [21]:

, (5.28)

где

. (5.29)

В формуле (5.28) - показатель связанных рангов в j-й ранжировке, - число групп равных рангов в j-й ранжировке, - число равных рангов в k-й группе связанных рангов при ранжировке j-м экспертом. Если совпадающих рангов нет, то =0, =0 и, следовательно, Tj = 0. В этом случае формула (5.28) совпадает с форму­лой (5.27).

Коэффициент конкордации равен 1, если все ранжи­ровки экспертов одинаковы. Коэффициент конкордацни равен нулю, если все ранжировки различны, т. е. со­вершенно нет совпадения.

Коэффициент конкордации, вычисляемый по формуле (5.27) или (5.28), является оценкой истинного значения коэффициента и, следовательно, представляет собой слу­чайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распреде­ление частот для различных значений числа экспертов т и количества объектов п. Распределение частот для W при 3≤m≤20 и 3≤n≤7 вычислено в [52]. Для боль­ших значений nиmможно использовать известные ста­тистики. При числе объектов n>7 оценка значимости коэффициента конкордации может быть произведена по критерию χ2. Величина Wm(n1) имеет χ2 распределе­ние с v= п-1 степенями свободы.

При наличии связанных рангов χ2 распределение с v=n-1 степенями свободы имеет величина [22]:

. (2.30)

Пример. Результаты ранжирования шести объектов пятью экспертами представлены в табл. 5.4.

Вычислим коэффициент конкордации и произведем оценку его значимости.

Величина S определяется формулой (5.25). Среднее значение r в этой формуле равно

.

.

Поскольку в ранжировках имеются связанные ранги, то вычисление коэффициента конкордации выполним с использованием формулы (5.28). Вычислим величины Tj (5.29):

ТАБЛИЦА 5.4

1,5
2,5 1,5 2,5
2,5 2,5
4,5 4,5
4,5 4,5 5,5
5,5

 

Подставляя Tj, S и n=6, m=5 в формулу (5.28),получаем:

.

Оценим значимость коэффициента конкордации. В данном случае число степеней свободы v = 5. Табличное значение χ2 для v =5 и 5% уровня значимости χ²табл=11,07. Подставляя значения величины в формулу (17), получаем

.

Поскольку 11,07<21,8, гипотеза о согласии экспертов в ранжировках принимается.

Энтропийный коэффициент конкордации определяется формулой [34] (коэффициент согласия):

, (5.31)

где Н — энтропия, вычисляемая по формуле

, (5.32)

 

а Hmax — максимальное значение энтропии. В формуле для энтропии — оценки вероятностей j-го ранга, при­сваиваемого i-му объекту. Эти оценки вероятностей вы­числяются в виде отношения количества экспертов , приписавших объекту Оi ранг j к общему числу экспер­тов.

. (5.33)

Максимальное значение энтропии достигается при равновероятном распределении рангов, т. е. когда . Тогда

(5.34)

Подставляя это соотношение в формулу (5.32), получаем

. (5.35)

Коэффициент согласия изменяется от нуля до едини­цы. При Wэ = 0 расположение объектов по рангам рав­новероятно, поскольку в этом случае Н=Нmax. Данный случай может быть обусловлен либо невозможностью ранжировки объектов по сформулированной совокупно­сти показателей, либо полной несогласованностью мне­ний экспертов. При Wэ=1, что достигается при нулевой энтропии (Н = 0), все эксперты дают одинаковую ранжи­ровку. Действительно, в этом случае для каждого фик­сированного объекта Оi все эксперты присваивают ему один и тот же ранг j, следовательно, =1, а = 0 (k≠j, k=1, 2,..., n). Поэтому и H = 0.

Сравнительная оценка дисперсионного и энтропийно­го коэффициентов конкордации показывает, что эти ко­эффициенты дают примерно одинаковую оценку согла­сованности экспертов при близких ранжировках. Одна­ко если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные (прямая и обратная), то дисперсионный коэффициент конкордации будет равен нулю, а энтропийный коэффициент коикордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделения мнений на две противоположные группы. Объем вычис­лений для энтропийного коэффициента конкордации не­сколько больше, чем для дисперсионного коэффициента конкордации.

 

§ 5.4. Обработка парных сравнений объектов

 

При решении задачи оценки большого числа объектов (ранжирование, определение относительных весов, бал­льная оценка) возникают трудности психологического характера, обусловленные восприятием экспертами мно­жества свойств объектов. Эксперты сравнительно легко решают задачу парного сравнения объектов. Возникает вопрос, каким образом получить оценку всей совокуп­ности объектов на основе результатов парного сравнения, не накладывая условия транзитивности? Рассмотрим алгоритм решения этой задачи. Пусть m экспертов про­изводят оценку всех пар объектов, давая числовую оценку

(5.36)

Если при оценке пары экспертов высказались в пользу предпочтения , экспертов высказались наоборот и экспертов считают эти объекты равноценными, то оценка математического ожидания случайной величины равна

(5.37)

Общее количество экспертов равно сумме

. (5.38)

Определяя отсюда и подставляя его в (5.37), получаем

(i , j = 1,2,…,n). (5.39)

Очевидно, что .Совокупность величин образует матрицу , на основе которой можно по­строить ранжировку всех объектов и определить коэф­фициенты относительной важности объектов.

Введем вектор коэффициентов относительной важно­сти объектов порядка t следующей формулой:

, (t = 1, 2,…..) (5.40)

где - матрица математических ожиданий оценок пар объектов, - вектор коэффициентов относительной важности объектов порядка t. Величина равна

. (5.41)

Коэффициенты относительной важности первого по­рядка есть относительные суммы элементов строк мат­рицы X. Действительно, полагая t =1, из (5.40) получаем

; . (5.42)

Коэффициенты относительной важности второго по­рядка (t =2) есть относительные суммы элементов строк матрицы X².

; (5.43)

Если матрица Х неотрицательна и неразложима, то при увеличении порядка t→∞ величина сходится к максимальному собственному числу матрицы X

, (5.44)

а вектор коэффициентов относительной важности объек­тов стремится к собственному вектору матрицы X, соот­ветствующему максимальному собственному числу λо:

; . (5.45)

Эти утверждения следуют из теоремы Перрона — Фробениуса [33].

Определение собственных чисел и собственных векторов матрицы производится решением алгебраического уравнения

|X-λE|=0, (5.46)

где Е — единичная матрица, и системы линейных урав­нений

; (5.47)

где k — собственный вектор матрицы X, соответствующий максимальному собственному числу λо. Компоненты соб­ственного вектора есть коэффициенты относительной важности объектов, измеренные в шкале отношений.

С практической точки зрения вычисление коэффици­ентов относительной важности объектов проще произво­дить последовательной процедурой по формуле (5.40) при t=1, 2, ... Как показывает опыт, 3—4 последователь­ных вычислений достаточно, чтобы получить значения λо и k, близкие к предельным значениям, определяемым уравнениями (5.46), (5.47).

Матрица неотрицательная, поскольку все ее элементы (5.39) неотрицательны. Матрица называется неразложимой, если перестановкой рядов (строк и одно­именных столбцов) ее нельзя привести к треугольному виду

, (5.48)

где — неразложимые подматрицы матрицы X. Пред­ставление матрицы X в виде (5.48) означает разбиение объектов на l доминирующих множеств

. (5.49)

При l=n матрица X неразложима, т. е. существует толь­ко одно доминирующее множество, совпадающее с ис­ходным множеством объектов. Разложимость матрицы X означает, что среди экспертов имеются большие раз­ногласия в оценке объектов.

Если матрица X неразложима, то вычисление коэф­фициентов относительной важности (i = l, 2, ..., n) по­зволяет определить, во сколько раз один объект превос­ходит другой объект по сравниваемым показателям. Вычисление коэффициентов относительной важности объектов позволяет одновременно построить ранжиров­ку объектов. Объекты ранжируются так, что первым объ­ектом считается объект, у которого коэффициент относи­тельной важности наибольший. Полная ранжировка определяется цепочкой неравенств

,

из которой следует

.

Если матрица X является разложимой, то определить коэффициенты относительной важности можно только для каждого множества . Для каждой матрицы определяется максимальное собственное число и соответ­ствующий этому числу собственный вектор. Компоненты собственного вектора и есть коэффициенты относитель-ной важности объектов, входящих в множество . По этим коэффициентам осуществляется ранжировка объ­ектов данного множества. Общая ранжировка объектов дается соотношением

Таким образом, если матрица X неразложима, то по результатам парного сравнения объектов возможно как измерение предпочтительности объектов в шкале отно­шений, так и в шкале порядка (ранжирование). Если же матрица Х разложима, то возможно только ранжиро­вание объектов.

Следует отметить, что отношение предпочтения может быть выражено любым положительным числом С. При этом должно выполняться условие . В частности, можно выбрать С=2 так, что если , то = 2, если , то = 1, и если , то =0. В этом случае при одном эксперте (m=1) решение рас­смотренной задачи совпадает с решением задачи о ли­дере [8].

 

§ 5.5. Определение взаимосвязи ранжировок

 

При обработке результатов ранжирования могут возник­нуть задачи определения зависимости между ранжиров­ками двух экспертов, связи между достижением двух различных целей при решении одной и той же совокуп­ности проблем или взаимосвязи между двумя призна­ками.

В этих случаях мерой взаимосвязи может служить коэффициент ранговой корреляции. Характеристикой взаимосвязи множества ранжировок или целей будет яв­ляться матрица коэффициентов ранговой корреляции. Известны коэффициенты ранговой корреляции Спирмена и Кендалла.

Коэффициент ранговой корреляции Спирмена опре­деляется формулой [56]:

, (5.50)

где — взаимный корреляционный момент первой и второй ранжировок, D1, D2 — дисперсии этих ранжиро­вок. По данным двум ранжировкам оценки взаимного корреляционного момента и дисперсии вычисляются по формулам:

, (5.51)

; , (5.52)

где n — число ранжируемых объектов, , —ранги в первой и второй ранжировках соответственно, , — средние ранги в первой и второй ранжировках. Оценки средних рангов определяются формулами:

; . (5.53)

Вычислим оценки средних рангов и дисперсий в пред­положении, что в ранжировках отсутствуют связанные ранги, т. е. обе ранжировки дают строгое упорядочение объектов. В этом случае средние ранги (5.53) представ­ляют собой суммы натуральных чисел от единицы до n, поделенные на n. Следовательно, средние ранги для обе­их ранжировок одинаковы и равны

. (5.54)

При вычислении оценок дисперсий заметим, что если раскрыть круглые скобки в формулах (5.52), то под зна­ком сумм будут находиться натуральные числа и их квадраты. Две ранжировки могут отличаться друг от друга только перестановкой рангов, но сумма натураль­ных чисел и их квадратов не зависит от порядка (пере­становки) слагаемых. Следовательно, дисперсии (5.52) для двух любых ранжировок (при отсутствии связанных рангов) будут одинаковы и равны

, (i =1, 2). (5.55)

Подставляя значение К12 из (5.51) и D1, D2 из (5.55) в формулу (5.50), получим оценку коэффициента ранго­вой корреляции Спирмена

. (5.56)

Для проведения практических расчетов удобнее поль­зоваться другой формулой для коэффициента корреля­ции Спирмена. Ее можно получить из (5.56), если вос­пользоваться тождеством

(5.57)

В равенстве (5.57) первые две суммы в правой части, как это следует из выражения (5.55), одинаковы и рав­ны

. (5.58)

Подставляя в формулу (5.56) значение суммы из (5.57) и используя равенство (5.58), получаем следу­ющую удобную для расчетов формулу коэффициента ранговой корреляции Спирмена:

. (5.59)







Дата добавления: 2015-08-30; просмотров: 881. Нарушение авторских прав

codlug.info - Студопедия - 2014-2017 год . (0.138 сек.) русская версия | украинская версия