/
Автор: Корнеева В.М. Хвастунов P.M. Ягелло О.И. Поликарпов М.П.
Теги: машиностроение учебное пособие издательство москва квалиметрия
Год: 2002
Текст
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
Российский Государственный // У/ \\ Московский Государственный
университет нефти и газа Щ\ I технический университет
им. И. М. Губкина \\m* II им- н- э- Баумана
Серия «Управление качеством,
стандартизация и сертификация»
P.M. Хвастунов, О.И. Ягелло,
В.М. Корнеева, М.П. Поликарпов
ЭКСПЕРТНЫЕ ОЦЕНКИ
В КВАЛИМЕТРИИ
МАШИНОСТРОЕНИЯ
Учебное пособие
Москва
2002
АВТОРСКИЙ КОЛЛЕКТИВ:
Хвастунов Р. М., проф. МГТУ им. Н. Э. Баумана, акад. АПК, д.б.н.;
Ягелло О. И., в.н.с. АНО «Технонефтегаз», к.т.н.;
Корнеева В. М., доц. МГТУ им. Н. Э. Баумана, д.т.н.;
Поликарпов М. П., с.н.с. АНО «Технонефтегаз», к.т.н.
Серия «Управление качеством, стандартизация и сертификация»
ЭКСПЕРТНЫЕ ОЦЕНКИ
В КВАЛИМЕТРИИ МАШИНОСТРОЕНИЯ
Учебное пособие
ISBN 5-93I57-059-4
© АНО «ТЕХНОНЕФТЕГАЗ». 2002
ВВЕДЕНИЕ
Экспертные оценки применяют в квалиметрии наряду с
средственным измерением свойств объектов в натуральных
ницах и единицах физических величин, при назначении
циентов весомости свойств объектов и др. Получение экспертных
оценок подразумевает использование экспертных методов.
Экспертные методы используют, главным образом, в тех
чаях, когда квантификация1 какого либо свойства объекта
можна другим способом или вызывает затруднение получение
достоверных данных путем физических или статистических
рений искомой величины. Например, оценить эстетические
ства изделий и назначить коэффициенты весомости фактически
невозможно без привлечения экспертных методов. Часто какой-
либо показатель качества изделия легко измерим
но, но степень желательности уровня его проявления при этом
неясна. В этом случае также прибегают к экспертным методам.
Экспертные методы и оценки применяют на всех ступенях
основной схемы квалиметрии. Их используют как при разработке
методик оценивания качества (МОК) (генерация, группировка
казателей качества продукции и т.д.), так и при последующем
мерении качества продукции по разработанной МОК (оценивание
уровня проявления показателей качества образца).
Экспертные методы можно разделить на методы
альной работы с экспертом и методы работы с экспертной
пой. К числу первых относят заочное, смешанное, мобильное
анкетирование, интервью, косвенный опрос. Для различных
раций с экспертной группой разработан ряд экспертных методов,
среди которых можно назвать, например, морфологический
лиз, мозговую атаку, способ «лицом к лицу», способ «комиссий»,
«Мини-Дельфи», «Ватиканский Дельфи», способ итераций и др.
Способы отбора экспертов и формирования экспертных групп
Количественное выражение.
3
разрабатывают отдельно и на сегодняшний день они достаточно
развиты. Существуют также способы определения необходимого
числа экспертов в экспертной группе.
Нередко специалисты из различных научных областей, в
новном, мало знакомые с сутью и технологией экспертных
дов, выражают скептическое отношение к применению
ных методов, особенно в технических отраслях. Это мнение мало
чем обоснованно. Ведь экспертные методы не являются
нием квалиметрии, но лишь ей использованы. Их применяли
долго до возникновения самой квалиметрии, и сегодня широко
используют в различных областях человеческой деятельности,
например, в такой сфере высокой ответственности принятия
шений как медицина. Прогностические исследования, в том
ле, выполняемые в государственных интересах федеральными
службами, также основаны на экспертных оценках.
Точность результатов экспертизы основана на корректном
выборе и грамотном, квалифицированном применении методов
формирования экспертной группы, методов индивидуальной
боты с экспертом и экспертной группой, способов формальной и
содержательной обработки экспертных оценок.
Экспертные методы в различных своих аспектах подробно
изложены в многочисленной литературе соответствующей
тики. Методы отбора экспертов, индивидуального опроса
тов и операции с экспертной группой, используемые в
рии, см. в [9, 11].
В данной работе изложены способы получения и
ской обработки тех видов экспертных оценок, которые нашли
наибольшее применение в квалиметрии.
Книга рассчитана на специалистов, использующих в своей
работе экспертные методы, а также на студентов старших курсов
технических вузов.
4
1. ВИДЫ ЭКСПЕРТНЫХ ОЦЕНОК
И УСЛОВИЯ ИХ ОБРАБОТКИ
Экспертными оценками (далее «э.о.») называют все данные, в
любой форме, полученные от экспертов в ходе групповой
тизы. Также э.о. называют обобщенные данные, полученные
сле выполнения экспертных операций и статистической
ки оценок, полученных в результате экспертизы.
Экспертные оценки играют весьма важную роль в решении
задач квалиметрии вообще и квалиметрии машиностроения, в
стности. Практически все современные методики оценивания
чества промышленной продукции базируются на использовании
э.о. Экспертные оценки лежат в основе всех современных методик
управления качеством на предприятиях. Это обусловливает
ходимость знакомства инженерно-технических работников с
тодами получения и статистической обработки э.о. Между тем,
лишь недавно курсы квалиметрии и управления качеством, в
ках которых рассмотрены некоторые виды э.о., введены в
грамму машиностроительных вузов, а специальных курсов или
разделов математики, посвященных э.о., нет вообще. Крайне
много и методических материалов по указанному предмету. Все
это приводит к неверным, методически ошибочным действиям
при получении и использовании э.о. и, в конечном счете, к
бочным решениям, получаемым на их основе. Сказанное
вило целесообразность подготовки настоящего пособия, которое,
конечно, не заполнит пробел, но, как можно надеяться, сумеет
стимулировать интерес инженеров-машиностроителей к
нию высокоэффективным средством работы.
В задачах квалиметрии машиностроения преимущественно
применяют э.о. следующих видов: точечные, ранговые, балльные,
экспертные кривые и экспертные группировки.
Экспертные оценки разных видов существенно отличаются
друг от друга по способам получения и по кругу тех
ских операций, которые могут быть применены для их обработки.
5
В каждом из основных видов э.о. можно выделить подвиды
нок, которые также несколько различны между собой в этих же
отношениях. В настоящем пособии мы попытались изложить
новные сведения, необходимые специалисту-машиностроителю
для пользования э.о. этих видов и подвидов.
Целью статистической обработки э.о., независимо от их вида,
является определение такого значения оцениваемой величины,
которое можно считать обобщенным суждением экспертной
группы, выраженным в той или иной форме. Однако это
щенное суждение может быть получено только после того, как
методически (организационно) и статистически показано, что:
1) члены экспертной группы действительно использовали
всю имевшуюся и возникшую в ходе работы информацию,
сающуюся рассматриваемых вопросов;
2) суждения членов экспертной группы достаточно
ванны для того, чтобы можно было определять обобщенное
дение статистическим методом.
Выполнение 1-го из этих условий требует использования
личных организационных приемов работы с экспертами,
чивающих наиболее полное представление ими информации,
относящейся к предмету экспертизы, наиболее полный
ронний анализ этой информации в ходе работы экспертной
пы. Изложение этих методов и приемов требует, конечно,
ной работы и в настоящем пособии отсутствует. Но с ними можно
ознакомиться, например, в работе [11].
Выполнение 2-го условия требует применения чисто
мальных, статистических методов, которые должны показать
таточную согласованность индивидуальных оценок экспертов в
группе, а именно:
1) отсутствие в экспертной группе «еретиков» — экспертов,
придерживающихся собственного суждения, существенно
чающегося от суждений других экспертов;
2) отсутствие «школ», т.е. подгрупп экспертов, с
ными суждениями внутри подгрупп, но существенно
щимися между подгруппами.
6
Если в экспертной группе имеет место хотя бы один из этих
видов рассогласованности, то обобщенное суждение формировать
нельзя. Следует поступить следующим образом.
1) Провести собрание экспертной группы, на котором
дить причины расхождений и, устранив их, повторить
ние. Например, если причина расхождений — неодинаковое
держание, вкладываемое экспертами в поставленную оценочную
задачу или в отдельный вопрос, то следует уточнить это
ние и предложить всем экспертам придерживаться единой
товки этого содержания.
2) Если согласованности добиться не удалось, то следует
делить всю совокупность экспертных суждений (оценок) на
ренне согласованные группы и проводить дальнейшую работу в
нескольких вариантах — по числу согласованных групп.
3) Если вариант 2) неприемлем, распустить экспертную
пу, изменить принципы отбора экспертов и сформировать ее
ново.
Эта последовательность действий характерна для любых
дов экспертных оценок, при обнаружении их несогласованности.
По отношению к выпадающим оценкам экспертов, даже одного
эксперта, нельзя поступать так, как по отношению к выпадающим
результатам инструментальных измерений, т.е. отбрасывать их
как заведомо ошибочные. Причиной расхождения
ных оценок может являться различие информации, которой
полагают эксперты или же различие логики их мышления. Весьма
часто бывает, что отдельный эксперт, предложивший
скую» оценку оказывается прав, когда остальные эксперты
баются. Поэтому отсутствие согласованности оценок, даже и
после обсуждения, не является основанием для отбрасывания
падающей оценки.
Как будет видно из изложенного в п. 2, теоретические основы
статистической обработки точечных э.о. разработаны пока слабо.
Большинство практически применяемых способов базируются на
более или менее обоснованных эмпирических правилах, а иногда
7
и принятых no интуиции постулатах. Конечно, должна быть
работана какая-то теория, использующая представления о
лях происхождения экспертных оценок. Пока можно говорить
лишь об элементах такой теории, заложенных в работах [4, 12, 15]
и немногих других. Тем не менее, методология э.о., как и ква-
лиметрия в целом, развиваются и совершенствуются. Более 20 лет
назад вышли из печати первые, и до сих пор единственные,
циальные методические документы — ГОСТы, определяющие
правила получения и обработки экспертных оценок в системах
управления качеством (ГОСТ 23554.0-0.2. Экспертные методы
оценки качества промышленной продукции). По-видимому,
довало бы приступить к подготовке расширенного переиздания
этих документов. Мы стремились, чтобы некоторые разделы
стоящей работы могли быть использованы при таком
нии. Именно поэтому в некоторых случаях мы рассматриваем как
теоретические положения, так и эмпирически найденные
лы и правила, хотя бы последние и не имели еще теоретического
обоснования.
8
2. ТОЧЕЧНЫЕ ЭКСПЕРТНЫЕ ОЦЕНКИ
2.1. Виды точечных оценок
Точечные экспертные оценки (табл. 2.1) или, как их еще
зывают, «оценки типа времени осуществления события»
ют в виде одного числа {одноточечные оценки), двух чисел
{двухточечные или интервальные оценки), трех и более чисел
{процентные или вероятностные оценки).
Таблица 2.1
Примеры точечных оценок (числа условные)
Вопрос эксперту
В каком году будет внедрена первая
мышленная система передачи энергии
тем сфокусированного электромагнитного
излучения?
В каких пределах будет осуществлен
пуск большегрузных автомобилей на
сийских автозаводах в период 2010-2015 гг.?
Приведите оптимистическую
вую при самых благоприятных условиях),
пессимистическую (при сочетании всех
благоприятных условий) и наиболее
ную оценки сроков выполнения данной работы.
Укажите вероятный процент охвата
растающим итогом) сельских школ
пейской части России компьютерными
классами по периодам: до 2010, 2010-2015,
2015-2020, позднее.
Оценки
2020
100-110
тыс/год
30 дней
60 дней
37 дней
20%
35%
50%
до 75%
Вид
ной продукции
Точечная
э.о.
Интервальная
э.о.
Трехточечная
э.о.
Вероятностная
э.о.
Процентными или вероятностными оценками называют
чечные э.о., которые соответствуют той или иной степени
ности эксперта в том, что оцениваемая величина не превзойдет
соответствующего значения или же находится в пределах данного
9
интервала. Степень уверенности эксперта при этом выражают в
процентах или в долях единицы.
Для получения вероятностных оценок можно было бы
ложить эксперту последовательно ответить на серию вопросов:
•S до какого года и> событие наверняка не произойдет?
•S к какому году 1ю вероятность осуществления события
ставит 10%?
■S к какому году tjs вероятность осуществления события
ставит 25%?
И так далее.
Однако произвести столь подробные оценки эксперту трудно.
Скорее всего, эксперт наметит наиболее ранний и наиболее
ний сроки осуществления события, а остальные оценки проставит,
используя линейную интерполяцию или какой-либо другой
щенный прием. Поэтому для получения вероятностных оценок
применяют другой способ: период прогнозирования делят на
тервалы и предлагают экспертам указать вероятность
ления события в каждый из этих временных интервалов.
В квалиметрии продукции машиностроения точечные э.о.
применяют преимущественно в задачах прогнозирования, а также
в задачах экономического характера (оценки вероятных доходов и
расходов), в задачах оценивания запасов ресурсов и др.
2.2. Статистическая обработка одноточечных оценок
Выбор статистических характеристик, применяемых при
работке точечных оценок, зависит от вида ряда распределения
частостей э.о. Однако вид теоретической функции ряда
ления этого вида экспертных оценок неизвестен. Большей частью
его предполагают близким к логарифмически-нормальному,
гда — близким к нормальному или равномерному. Встречаются и
другие предположения. Экспериментальные исследования этого
проса приводили к противоречивым и неустойчивым результатам.
Литературные данные и результаты выполненных нами
тов [1] позволяют считать, что точечные э.о. не распределены по
10
какому-либо единому закону. Вид функции распределения
ных э.о., по-видимому, зависит от постановки вопроса, характера
решаемой задачи и других обстоятельств, пока еще неизвестных.
№
асимметричное
Ах)
X
симметричное
Кх)
асимметричное
симметричное
Рис. 2.1. Вид функции кривых распределения для унимодальных (а)
и бимодальных (б) распределений точечных э.о.
С практической точки зрения более важен вопрос не о виде
функции распределения точечных э.о., а о том, являются ли э.о.,
полученные в результате ответа экспертов на какой-либо вопрос,
достаточно согласованными. Согласованность или же
ванность э.о. определяются унимодальностью или
стью кривой распределения, а также степенью рассеяния (интер-
11
валом вариации) оценок. Кривые распределения точечных э.о.
гут быть унимодальными и полимодальными (рис. 2.1).
Появление полимодального распределения свидетельствует о
наличии в экспертной группе подгрупп с существенно различным
мнением о значении оцениваемой величины. Вычисление
стических средних, в том числе медианы (Me), в этом случае не
имеет смысла. При дальнейшей работе с экспертами необходимо
выявить причины расхождения суждений, провести консультации
между экспертами с целью взаимной оценки аргументации, вновь
получить э.о. и лишь после достижения унимодальности
деления переходить к дальнейшим операциям.
Поэтому при статистической обработке точечных э.о.
то использовать квартальные характеристики: Me, первый и
тий квартили (ф и с/г), способ вычисления которых и операции с
которыми не требуют предположений о виде распределения э.о.
Для удобства анализа индивидуальные оценки располагают
слева направо от меньшей к большей, образуя так называемый
вариационный ряд.
Медиана Me — это такое значение оцениваемой величины,
слева от которого находится 50% всех оценок. Если число э.о. —
нечетное, то Me совпадает со средней по номеру оценкой. Пели —
четное, то Me находится посередине интервала между двумя
седними оценками, с номерами, ближайшими к среднему.
Первый квартиль q\ — это такое значение оцениваемой
чины, не более которого имеют 25% всех э.о. Не более третьего
квартиля с/з имеют, соответственно 75% всех э.о. Расстояние
ду квартилями
Rt/ = q?-q\ B.1)
называется интерквартильным размахом и служит одной из
характеристик рассеяния. Понятно, что между квартилями
дится 50% всех оценок.
Расстояние между наибольшим и наименьшим значениями
оценок
12
называется размахом вариации и также используется как
ристика рассеяния.
Применение распространенной характеристики рассеяния —
среднеквадратического отклонения
(где х — среднее арифметическое) не имеет никаких
ществ перед применением квартальных расстояний. Если
деление близко к нормальному, между о и R4 имеется простое
отношение
-7? = 0,68а. B.4)
2 "
При значительной асимметрии распределения вычисление о
совершенно теряет смысл, в то время как квартальные расстояния
во многих случаях еще могут быть использованы.
Согласованность и выпадение индивидуальных оценок
Общепринятые правила и критерии определения
ности точечных э.о. пока еще отсутствуют. Необходимы
нейшие экспериментальные и теоретические исследования. В
стоящее время рекомендации и указания касающиеся того, какие
оценки считать согласованными, вырабатывают, практически,
каждый раз заново, исходя из сущности задачи. Поэтому
димые дальше правила и примеры следует рассматривать, как
ориентировочные, подлежащие обдумыванию и корректировке с
учетом конкретной задачи и конкретных условий работы.
Для того, чтобы проверить группу точечных э.о. на
ванность, следует, прежде всего, изобразить полученные данные
на графике и наметить необходимые проверки. Если отдельные
оценки далеко отстоят от компактной группы, то для проверки их
на выпадение можно использовать критерий d' (прил. 1). При этом
следует вычислить отношения:
13
d' = ^-^ или d' = X" J""'1 , B.5)
Л', Xn Xn Л',
где Х|, x„ — минимальное (максимальное) значения оценок в
риационном ряду, т.е. оценки, подозреваемые на выпадение; X2,a„_i —
значения оценок, ближайшие к подозреваемым на выпадение.
Если вычисленное значение d' превышает критическое,
веденное в прил. 1, то выпадение достоверно с указанной в
це вероятностью.
Пример 2.1 Пусть получены оценки 6-и экспертов: 2, 4, 4, 4, 5, 6.
4
3
1 2 5 6
Н 1 1 Ь
X] - Х2
Х\ — Х(,
Рис. 2.2. Графическое представление распределения точечных э.о.
Иллюстрация применения критерия d' для выявления выпадающих оценок.
Числа в верхней части графика — номера э.о. в вариационном ряду
Вычисляя значение d для подозрительной на выпадение оценки
хь находим
х^ - х6 2-6
Поскольку для л = 6 критическое значение d$5 = 0,49, то х, —
действительно выпадающая оценка с вероятностью более 95%.
Разницу между оценкой /-го эксперта х, и медианой Me
вают абсолютным отклонением г'-го эксперта:
14
v,- = Xj- Me. B.6)
Относительное отклонение /-го эксперта измеряют в долях
соответствующего квартиля. Так, если х, < Me, то относительное
отклонение /-го эксперта будет
Относительное отклонение оценки может служить
лем «еретичности» эксперта. Значение v кр, после которого
ку эксперта можно считать «еретической», устанавливают исходя
из условий задачи и вида распределения э.о. Во многих случаях
еретиками можно считать тех экспертов, оценки которых
няются больше чем на 2,5 квартиля. Как показывают наблюдения,
эти эксперты часто имеют оригинальные мнения и менее других
склонны менять их при обсуждении. Однако есть экспертные
тодики, в которых согласованными считают те индивидуальные
оценки, которые находятся внутри интерквартильного интервала,
а остальные — еретическими.
Разницу между оценкой /-го эксперта и истиной Т (если она
известна) называют абсолютной ошибкой /-го эксперта
8, = Xj - Т.
Эту характеристику используют в теоретических
ниях, а также при применении метода параллельных тестов, когда
эксперта просят дать оценку некоторой величины, точное
ние который известно опрашивающему. На основании
женных оценок судят о способности эксперта к оцениванию
типных величин, значение которых неизвестно опрашивающему.
Выявление бимодалыюсти
Для выявления бимодальности (двувершинности)
ления э.о. можно рекомендовать следующее. Изобразив
ные оценки на графике, следует разделить весь диапазон вариаций
на удобное число равных интервалов — от 3 до 8. Затем найти
15
интерквартильный размах R(/, выразив его в количестве принятых
интервалов. Далее следует воспользоваться табл. 2.2, где
дены качественные оценки значений интерквартильного размаха
и с их помощью судить о согласованности индивидуальных э.о.1
Таблица 2.2
Значения интерквартильного размаха и их качественная оценка
для шкалы интервалов с различным числом градаций
Качественная оценка значения
Полное согласие
Единодушие
Хорошее согласие
Среднее согласие
Плохое согласие
Бимодальность
Отчетливая бимодальность
Значения R4 при числе градаций шкапы
3
0,6
0,8
1,0
1,25
1,5
1,75
2,0
4
0,7
1,0
1,3
1,7
2,1
2,5
3,0
5
0,8
1,2
1,6
2,1
2,7
3,3
4,0
6
0,9
1,4
1,9
2,5
3,3
4,1
5,0
7
1,0
1,6
2,2
3,0
4,0
5,0
6,0
8
1,1
1,8
2,6
3,4
4,7
5,8
7,0
Пример 2.2. Пусть получены оценки 10 экспертов: 2, 4, 4, 4, 5, 6,
2 4 6 8 10
t t
Ч\ Яг
Рис. 2.3. Графическое представление распределения точечных э.о.
К примеру проверки бимодальности распределения. Числа в верхней части
графика означают номера э.о. в вариационном ряду
Приведенный способ выявления бимодальности предложен известным
специалистом в области теории принятия решений P.M. Фрумкиной для
пользования в экспериментально-психологических исследованиях.
16
Исходя из вида распределения оценок на рис. 2.3 можно
положить бимодальность распределения. Находим значения
лей: q, = 4,0; <7з = 8,5. Весь диапазон значений оценок между
меньшей х, = 2 и наибольшей х10 = 10 удобно разделить на 4 равных
интервала. Согласно табл. 2.2 это значение соответствует
ристике от «плохого согласия» до «бимодальности».
Чтобы получить более определенный результат, исключим из
распределения отклоняющуюся оценку Хт = 2. При этом, очевидно,
согласованность оценок не может понизиться. Тогда, при тех же
чениях квартилей, удобно выбрать деление диапазона на 6 равных
интервалов. Интерквартильный размах займет 4,5 интервала, что
соответствует «отчетливой бимодальности». Следовательно,
зируемая группа э.о. не согласованна, — она должна быть разделена
на 2 подгруппы.
Коэффициент вариации
Распространенным показателем рассеяния (согласованности)
точечных э.о. является коэффициент вариации, выражаемый
обычно в %:
*, =^--^-100%. B.8)
2Ме
Согласованность оценок считают слабой, если kv > 50%. Во
многих случаях оценки можно считать хорошо согласованными,
если kv < 20%. Применение коэффициента вариации возможно
только в тех случаях, когда все оценки имеют одинаковый знак и
не слишком малы по абсолютной величине.
С помощью kv можно провести сопоставление
сти оценок, полученных экспертными группами при разных
виях, например, до обсуждения проблемы и после обсуждения, и
установить тот предел, после которого аргументация экспертов
перестает оказывать влияние на распределение оценок.
Пример 2.3. На вопрос о сроке ввода в эксплуатацию первой
нии скоростного наземного транспорта с автоматическим
ем в Москве восемь экспертов предложили следующие оценки:
2008; 2010; 2020; 2030; 2030; 2040; 2050; 2060.
17
После проведенного обсуждения и выявления аргументов были
получены новые оценки экспертов:
2010; 2015; 2020; 2020; 2025; 2030; 2030; 2060.
Повысилась ли согласованность оценок?
Решение. Вычислим и сопоставим характеристики
ных рядов до обсуждения и после него (табл. 2.3). Заметим, что при
вычислении kv нужно использовать, конечно, не численные значения
оценок в годах, а время упреждения х, т.е.
т = (оценка года) - (год, в который производится прогноз).
Таблица 2.3
Результаты подсчетов характеристик вариационных рядов
Условия
получения
оценок
До обсуждения
После обсуждения
Размах
вариации
52
50
Me
2030
2022
Ч\
2015
2027
Ч-i
2045
2030
Интерквар-
тильный
интервал
Rq = 4i-<l\
15
6,5
Коэффициент
вариации
*,. = *" %
50
29,5
Как видно из табл. 2.2, согласованность оценок заметно
лась (/с<,1) = 50%; /с^2) = 30%) несмотря на то, что размах вариации в
результате обсуждения почти не изменился. Этот пример достаточно
типичен: в действительности эксперты, предложившие
ные оценки, меняют их менее охотно, чем эксперты, предложившие
умеренно отклоняющиеся от Me оценки.
Свойства медианы как характеристики среднего
В результате групповой экспертизы часто следует получить
такую оценку некоторой величины, которая являлась бы наиболее
близкой к истинному значению этой величины, неизвестному в
момент экспертизы. Например, если следует оценить запасы
водородного сырья в новом месторождении, то, в конечном счете,
следует получить оценку, возможно более близкую к той, которая
будет впоследствии найдена объективными методами.
Приближения обобщенной экспертной оценки к истине
биваются применением различных организационных способов
18
управления работой экспертной группы так, чтобы
ные э.о. стремились сгруппироваться вблизи истины, а также
бором таких способов статистической обработки э.о., при
нении которых получаемые значения параметров оказываются
наиболее близкими к истине.
С этой точки зрения медиана распределения точечных э.о.
обладает полезными свойствами, которые обусловливают ее выбор
в качестве характеристики среднего. Эти свойства следующие:
1. Не менее половины всех индивидуальных э.о. дальше от
истины, чем медиана.
2. Сумма абсолютных значений отклонений э.о. от медианы
минимальна по сравнению с суммой абсолютных значений
нений э.о. относительно любой другой характеристики среднего.
Для сравнения заметим, что относительно арифметического
среднего минимальна сумма квадратов отклонений оценок.
Против использования медианы и интерквартильного
ха иногда выдвигают возражение, что они практически
вительны к резко отклоняющимся оценкам отдельных экспертов,
которые могут оказаться более близкими к истине, чем оценки
большинства. Однако, как мы уже говорили, еретические оценки
и не следует учитывать при расчете групповых средних. Анализ
этих оценок следует производить отдельно.
2.3. Статистическая обработка вероятностных оценок
Вероятностные экспертные оценки (э.о.) или оценки
тивной уверенности эксперта, применяют преимущественно в
дачах прогнозирования, а также в задачах оценивания объемов
наличных ресурсов (полезных ископаемых, производственных
мощностей конкурирующих фирм) и др. Перед назначением этих
оценок необходимо весь диапазон изменения оцениваемого
зателя разделить на 3-8 интервалов, желательно равных между
собой. Для каждого интервала эксперт проставляет значение
роятности нахождения оцениваемой величины в этом интервале.
19
При этом сумма вероятностей, указанных каждым экспертом, для
всех интервалов первоначально может быть и не равна единице.
Далее оценку, присвоенную экспертом каждому
му интервалу, делят на сумму его оценок для всех интервалов и
умножают на 100, т.е. нормируют. Получают ступенчатую
грамму (гистограмму) распределения вероятностей, которая
ставляет собой индивидуальную оценку вероятности нахождения
оцениваемой величины внутри каждого интервала.
Возьмем оценки эксперта 4 из таблицы 2.4 — числа в
ках. Сумма их составляет 140. Разделим каждое из этих чисел на
их сумму — получим нормированные оценки вероятности по
тервалам (числа без скобок). Посмотрим диаграмму (рис. 2.4а).
Для этой диаграммы можно определить положение медианы
Me и квартилей ц\ и оз по формулам:
Me = *., (Me) +
Ч\ = х, (<7i) +
Чу =*.,(?.0 +
0.5-1>,
р(Ме)
Р(Я\)
PiQi)
\
•Дх(М?).
Ьх(Я\) ■
■bx(qy).
> B.9)
/
где хл(Ме), xn(q\), xn(q?) — значения оцениваемой величины на
вой стороне тех интервалов, в которых находятся медиана,
вый и третий квартили; ЪРЯ — сумма оценок вероятностей для
всех интервалов, находящихся слева от интервалов, в которых
ходятся Me, q\ и qy, Ах(Ме), Ax(q\), Лх(</з) — ширина интервалов, в
которых находятся Me, q\ и q$, в единицах оцениваемой величины;
р(Ме),р (q\),p (<7з) — оценки вероятностей для этих интервалов.
Построение обобщенной диаграммы вероятностных оценок
выполняют следующим образом. Для оценок, относимых к
сованной группе, выполняют суммирование нормированных оце-
20
нок вероятности по каждой градации отдельно и деление на их
общую сумму. Получаемая диаграмма и все ее характеристики
(медиана, квартили и др.) представляют собой обобщенное
дение согласованной экспертной группы.
Определение согласованности индивидуальных
ных оценок производят по-разному, в зависимости от того какие
параметры обобщенного распределения представляют
шую важность в условиях данной задачи. При этом могут иметь
место следующие вопросы:
1) согласованны ли оценки в отношении положения медианы
распределений?
2) согласованны ли оценки в отношении характеристики
сеяния — интерквартильного интервала?
3) согласованны ли оценки в отношении минимально
симально) возможного значения оцениваемой величины?
Могут быть поставлены и другие вопросы.
Каким же образом их решать?
Решение вопросов 2) и 3) требует работы с двухточечными
(интервальными) оценками, способы обработки которых будут
рассмотрены в п. 2.5. Рассмотрим здесь способ решения вопроса 1)
о согласованности оценок в отношении положения медианы.
Пусть с позиций постановки задачи важно проверить
сованность оценок в отношении положения медианы. Тогда
полняем следующие действия.
• Вычисляем все индивидуальные оценки медианы и
дим подозрительные на выпадение, т.е. крайние. Выбираем одну
из них — проверяемую.
• Для всех оценок, кроме проверяемой, строим обобщенную
гистограмму распределения. Также строим гистограмму
деления, к которой принадлежит проверяемая медиана.
• Задаемся доверительной вероятностью, начиная с которой
будем считать медиану проверяемой гистограммы отличающейся
от медианы основной группы.
• Сравнивая графики распределения, находим оценки этой
вероятности с позиций обобщенной гистограммы и с позиций
21
проверяемой гистограммы. Если найденные оценки вероятности
превосходят принятое критическое значение, считаем
мую индивидуальную оценку медианы выпадающей.
Пример 2.4. Даны (см. табл. 2.4) вероятностные оценки 4-х
пертов относительно ожидаемых запасов сырья в некотором
рождении по 8 интервалам (все оценки без скобок —
ные; в скобках — для примера — до нормировки; объем запасов — в
условных единицах). Требуется проверить согласованность оценок
по положению медианы.
Таблица 2.4
Вероятностные оценки запасов сырья
(по интервалам возможного объема запасов)
Эксперты
э,
э2
Э3
э4
Э, + Э2 + Э3
Менее
100
—
—
—
—
100-
120
—
—
5,0
A5)
11,0
2,0
120-
150
9,0
10,0
10,0
B8)
20,0
10,0
150-
200
16,0
14,0
15,0
D2)
30,0
15,0
200-
250
18,0
20,0
20,0
C0)
21,0
19,0
250-
300
36,0
33,0
30,0
A5)
11,0
33,0
300-
350
14,0
16,0
15,0
A0)
7,0
15,0
Более
350
7,0
7,0
5,0
—
6,0
Решение. Находим индивидуальные оценки медианы по ф-ле B.9):
Me, = 251; Ме2 = 259; Ме3 = 250; Ме4 = 178.
Подозрительной на выпадение является оценка Ме4 = 178.
Строим обобщенную гистограмму для оценок первых трех экспертов
(нижняя строка табл. 2.4). Медиана обобщенной гистограммы Ме0 = 256.
Зададимся доверительной вероятностью. Следует, во-первых,
отметить, что в статистике э.о. выбирают меньшее значение этой
критической величины, чем в статистике данных инструментальных
измерений. Так, если в последней принимают 99%, 95%, иногда 90%,
то доверительную вероятность для экспертных оценок принимают
80%, 75% и иногда даже 67%.
Во-вторых, если в «обычной» статистике проверку различий
ят на том, что с ростом числа оценок п среднеквадратическое
нение среднего арифметического уменьшается пропорционально Vn ,
22
г
Mt>4
а
11
20
30
21
М?о
11
7
100
120
150
200
250
300
350
0
М<?4
Г
15
10
19
' 33 -
15
б
100
120
150
200
250
300
350
Рис. 2.4. Иллюстрация к примеру проверки согласованности вероятностных
оценок в отношении положения медиан:
а) гистограмма оценок Э4. Здесь х„(Ме) = 150; x„(q\) = 120; дгл(<7:0 = 200;
б) обобщенная гистограмма оценок экспертов Эь Э2, Э> Здесь х„(Ме) = 250;
лгл(^,)=150;д:лЫ = 250
23
то в статистике э.о. критерий отличия базируется на оценке
ности того, что данное значение — медиана — индивидуальной
оценки принадлежит к данному обобщенному распределению и
оборот, — что медиана обобщенного распределения может быть
лучена в данном индивидуальном распределении.
В данном примере Ме4 отрезает на обобщенной гистограмме с
левой стороны 20,4% оценок, а Ме0 отрезает на проверяемой
грамме 8,3% оценок. Следовательно, доверительная вероятность
различий составляет 79,6% и 91,7%. Итак, если выбрать
тельную вероятность 75% то медиана Ме4 — выпадающая с позиций
обоих распределений.
2.4. Среднее и рассеяние трехточечных оценок
Трехточечные экспертные оценки используют в задачах ква-
лиметрического прогнозирования, при оценках экономической
эффективности разработок и в других задачах, чаще всего их
применяют при построении сетевых графиков выполнения работ
(т.н. система ПЕРТ [10], для которой они и были впервые
жены, например, при разработке цепочек технологических
цессов на машиностроительных предприятиях, составлении
фиков строительства новых предприятий и т.п.). В этом случае
ответственный исполнитель, выступающий в качестве эксперта,
назначает три оценки продолжительности выполнения своей
боты: оптимистическую, наиболее вероятную и
скую. Эти оценки принять обозначать а,тиЬ.
Оптимистическая оценка должна соответствовать такому
риоду времени, в течение которого данная работа может быть
выполнена при сочетании всех благоприятствующих факторов.
Наиболее вероятная оценка должна соответствовать наиболее
роятному (модальному) сроку. Пессимистическая оценка должна
соответствовать наибольшему сроку выполнения работы в
виях сочетания всевозможных тормозящих факторов.
Целью статистической обработки трехточечных э.о. является
определение такого расчетного срока выполнения работы tc, кото-
24
рый наиболее близок к фактическому сроку выполнения работы /ф.
Кроме того, рассчитывают среднеквадратическое отклонение о
вероятных сроков выполнения работы. С помощью а в
шем оценивают рассеяние времени выполнения всей цепочки
бот, лежащих на критическом пути сетевого графика.
Ввиду того, что трехточечные оценки обычно назначает один
эксперт (исполнитель работы), определение согласованности их,
как правило, не производят. При необходимости определение
гласованности производят отдельно для параметров а и Ь, как это
делают для интервальных оценок (см. п. 2.5). Определение
сованности оценок параметра т не производят.
Для того, чтобы вычислить /с, необходимы некоторые данные
о виде функции плотности вероятностей Д/) в выражении через
параметры а, т и Ь. Авторы системы ПЕРТ предположили, что
распределение вероятностей для фактического срока выполнения
работы соответствует бэта-распределению, определенному на
тервале [а, Ь\.
f{t) = c{t-aY{b-t)\ B.10)
где с — нормирующая константа; а и Р — параметры формы
пределения.
Если мода бэта-распределения М0, оценкой которой, по
положению авторов ПЕРТ, является величина т, колеблется в
широких пределах от а до (о + Ь)/2, то среднеквадратическое
клонение изменяется всего лишь от (Ь - а)П до (Ь - а)/5. Поэтому
в системе ПЕРТ была постулирована также формула для расчета
среднеквадратического отклонения
0 = Ь~а B.11)
6
Исходя из этих предположений была выведена формула для
расчета среднего времени выполнения работы
а + 4т + Ь
t= . B.12)
25
Если не отрезке [а, Ь] сопоставить положение точек /с, т и
(а + Ь)/2 (при т<(а + 2I2), то можно видеть, что Ге расположено на
'/з расстояния между т и (а + ЬI2. Таким образом, по формуле
B.12) tc>m, если т ближе к а, чем к Ъ и rc<w, если т ближе к Ъ,
чем к а.
т
2 т
1,8
1,6
1,4
1,2
1
0,8
0,6
0,4
0,2
0
^
a +•&-
>-
0,1
0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9
Рис. 2.6. Плотность вероятности бэта-распределения по формуле B.10)
, о „ ,-, За+ 22?
при а = 1, р = 2. При этом te = .
Показано взаимное расположение точек /и, /е, Ь, (а + ЬI2
Однако некоторые эксперименты [7] показали следующее.
1) При расчете оценки среднего времени выполнения работ
по трехточечным э.о. наилучшее приближение к фактическим
данным дает формула
За + 2т + b
t„ -■
B.13)
Но при этом оценка чаще получается завышенной по
нию с фактической, чем заниженной.
2) Вопреки предположениям авторов системы ПЕРТ,
чаемые экспертами оценки а и Ъ не являются оценками мини-
26
малы-юго и максимального сроков выполнения работ. Эти оценки
приблизительно соответствуют 30% и 90% квантилям
ского распределения.
3) Для характеристики рассеяния значений /с, среднеквадра-
тического отклонения о наилучшее приближение дает формула
Ъ-а
а = —• B-14)
Но эта оценка также чаще завышена, чем занижена.
Итак, при обработке трехточечных э.о. времени выполнения
работ (осуществления события) рационально использовать
мулы B.13) и B.14), имея в виду указанные особенности их
менения.
2.5. Двухточечные (интервальные) оценки
Двухточечная оценка — это оценка с помощью двух чисел
хтт и х,тх, предназначенных для ограничения некоторого
ла возможных значений оцениваемой величины и объединенных
между собой общностью операции оценивания, в результате
торой эти числа получены. В частности, операция оценивания
может состоять в независимом производстве двух одноточечных
оценок: один эксперт, например, указывает вероятный срок
ла некоторого события, а другой — вероятный срок его
ния. Однако этот способ производства двухточечных оценок
характерен для задач, в которых применяют э.о. Начало и конец
интервала оценивает один и тот же эксперт с помощью некоторой
мысленной модели оцениваемого явления, в которой числа х„„„ и
х„шх взаимосвязаны.
Во многих работах применяют способ статистической
ботки двухточечных э.о., основанный на предположении о том,
что числа хп1щ и хтах есть оценки левой и правой границ интервала
возможного осуществления истинного значения оцениваемой
личины, причем плотность вероятности появления истинного
чения внутри данного интервала подчинена бэта-распределению с
теми или иными параметрами (см. рис. 2.7). Вначале по
дуальным оценкам находят среднее арифметическое оценок левой
и правой границ интервала и далее используют те или иные
мулы для /с и о.
27
3
2,5
2f
1,5
1
0,5
0
0
----- -
„А. N
ff
а = 5
. Р = 1,5 -
т
-
а=3
В. = 1,5
I' ' I
0,2
0,4
0,6
0,8
0,2
0,4
0,6
0,8
0
■
/
-J^—
а-
„ 0 =
у
=-5-
= 5
а =
— р=
/
= 1
U
0,2
0,4
0,6
0,8
1
Рис.2.7. Вид функции плотности вероятности бэта-распределения
при различных значениях а и C
Помимо допущений о виде функции распределения и о
чениях ее параметров, приведенный способ расчета использует
предположение о том, что оцениваемая величина в
ности может быть выражена одним числом (как, например, срок
осуществления события) и применение интервальной оценки
ляется не принципиально необходимым, но только удобной
мой опроса экспертов. Между тем возможны случаи, когда
ваемая величина не может быть выражена одним числом, но
жет быть указан диапазон ее изменения.
Например:
Укажите интервал колебаний нагрузки в энергосети
приятия в ночное время;
В какой период произойдет массовый переход к
ческому безрельсовому городскому автотранспорту?
В этих случаях вычисление Зс и о не приводит к какому бы
то ни было уточнению знаний о предмете оценивания по
нию со знанием х„„„ и хпшх и поэтому нецелесообразно. Способ
статистической обработки интервальных э.о. должен опираться на
структуру оценки и модель применяемой операции оценивания.
О моделях психологической операции оценивания
Двухточечная оценка имеет четыре основные элемента:
нимальное значение хтт, максимальное значение хтах, среднюю
точку хо и длину интервала (или просто интервал) / (рис. 2.8). Зная
любые два элемента, можно найти остальные.
ось макс
ось мин ^
Л-мин J
i—
1
Xq
1
•^макс
•
Рис. 2.8. Схематическое изображение двухточечной оценки
с указанием ее элементов
29
При назначении интервальных оценок экспертами результаты
оценивания большей частью представляют в виде величин х„„„ и
Хтах, однако сам ход психологической операции оценивания
жет быть различным. Можно представить себе следующие модели
мысленной операции оценивания:
A. Эксперт независимо производит оценку начала х,,„„ и
ца хтах интервала.
Б. Эксперт оценивает среднюю точку хо и выбирает длину
интервала /, после чего мысленно рассчитывает хт,п и хтах.
B. Эксперт оценивает хт,„, затем длину интервала / и
тывает х„шх.
Возможны и другие модели операции оценивания.
Если бы при производстве экспертами двухточечных оценок
имела место модель А, то ранги экспертных оценок начала и
ца интервала не были бы коррелированны. Действительно,
мем предложенные пятью экспертами оценки начала и конца
которого интервала (рис. 2.9). Пусть оценки начала расположены
в порядке 1, 2, 3, 4, 5.
ось макс 2 4 15 3
ось мин
•
Рис. 2.9. Иллюстрация расположения минимальных и максимальных
значений двухточечных оценок при условии справедливости модели А
Тогда при независимом выборе оценки конца интервала для
отдельных экспертов будут располагаться хаотично, т.е.,
мер, в порядке 2, 4, 1, 5, 3, и коэффициент ранговой корреляции
между этими рядами будет близок к нулю. Опыт же показывает,
что коэффициент ранговой корреляции э.о. начал и концов
торого интервала всегда положителен и во многих случаях близок
к единице. Поэтому можно уверенно утверждать, что мысленная
операция оценивания эксперта не состоит в независимом выборе
30
оценки начала интервала х,ш„ и конца интервала х„шх. Были
дены опыты, которые показали, что при постановке перед
тами вопроса типа «Укажите наибольшее и наименьшее значение
(некоторой величины)» различные эксперты применяют
ные мысленные операции оценивания. Выбор характеристик
ложения и рассеяния интервальных э.о., по-видимому, зависит от
вида модели операции оценивания, порождающей данную
купность оценок. Поэтому при подготовке вопросов для
ния интервальных э.о. необходимо ориентировать эксперта на
ределенный способ оценивания. Например, ориентация па модель В:
Укажите момент начала периода массового перехода к
томатизированному безрельсовому городскому транспорту и
длительность этого периода.
Рхли эксперты ориентированы на использование одной и той
же мысленной операции оценивания, то статистическая обработка
интервальных э.о. сводится к статистической обработке двух
ноточечных оценок. Так, при использовании модели В могут быть
вычислены сначала медиана и квартили всех оценок хш,„, а затем
эта же операция повторена для оценок длительности интервала /.
Пример 2.5. Укажите вероятный момент технического
ления устройства для полностью автоматизированной подземной
добычи угля и длительность периода до его широкого внедрения
Эксперты
Оценки момента начала х^
Длительность периода /
1 2 3 4 5 6 7
2015 2018 2020 2020 2025 2030 2040
20 15 15 10 12 10 7
Статистическая обработка.
Медиана оценок начала — 2020 г., квартили — 2018 и 2030 гг.
Длительность периода внедрения: медиана — 12 лет, квартили —
10 и 15 лет.
Как видно из приведенного примера, при условии
ции экспертов на использование определенной операции
вания статистическая обработка оказывается достаточно простой,
а трактовка результатов не вызывает трудностей.
31
В связи со своеобразием двухточечных э.о. возникает вопрос:
каков же критерий «еретичности» интервальной оценки? Следует
ли считать оценку эксперта принадлежащей согласованной группе
в одном из ее элементов и «еретической» в другом? Насколько
должен отклоняться от согласованной группы каждый из
тов оценки, чтобы оценку в целом следовало считать «еретической»?
Эти вопросы в настоящее время исследованы недостаточно.
Экспериментально установлено, что наилучшее приближение
к истине усредненной интервальной оценки имеет место в том
случае, если «еретическими» считать те индивидуальные оценки,
ни нижняя, ни верхняя граница которых не затрагивает крайних
границ интервала, образованного согласованной группой оценок.
Так, например, на рис. 2.10 «еретической» следует считать оценку
эксперта Э).
-Х-1,макс ЛЬ.макс
.мим
Рис. 2.10. Расположение «еретической» оценки Э| относительно
совокупности согласованных оценок
Оценка эксперта Эз не является, по данному критерию,
тической», поскольку хъпы накладывается на интервал,
ной согласованной группой.
Конечно, приведенные рекомендации сугубо
ны. Вопрос о критериях «еретичности» интервальных оценок и
более широкий вопрос о способах их статистической обработки
нуждаются в тщательном дальнейшем изучении.
32
3. БАЛЛЬНЫЕ ЭКСПЕРТНЫЕ ОЦЕНКИ
Балльные экспертные оценки (далее «э.о.») применяют в
дующих случаях:
а) при определении значений коэффициентов весомости
ничных и комплексных показателей качества некоторого объекта,
входящих в структурную схему показателей качества этого объекта.
б) при определении значимости («полезности», «весомости»,
«важности», «ценности», «желательности», «целесообразности»)
той или иной градации частного (единичного) показателя
ва. В этом случае полученные балльные оценки обычно
ют для построения экспертной кривой, отражающей зависимость
значимости (и т.д.) возможных значений единичного показателя
качества от значений этого же показателя в его натуральном
ражении.
в) при определении значений целостных оценок качества, т.е.
оценок, получаемых без проведения вычислительных операций со
значениями оценок частных показателей. Например, обычные
оценки знаний учащихся, применяемые в школах, представляют
собой целостные оценки качества этих знаний.
Существует несколько десятков, а может быть, более сотни
способов определения (или, как еще говорят, «назначения»)
балльных оценок значимости показателей, их градаций, изделий в
целом и других объектов, однако для приложения в задачах
шиностроения практически используют около десяти. Это
няется как специфичностью постановки задач и особенностями
объектов машиностроения, так и, в основном, недостаточным
комством инженеров-машиностроителей с методами экспертных
оценок.
Способы назначения балльных оценок значимости, как для
изделий в целом, так и частных показателей качества и их
ций, в общем, одни и те же. Но, все же, каждый способ имеет
свою преимущественную область применения, определяемую
Удобством его использования. Здесь мы рассмотрим некоторые
33
наиболее употребительные в задачах машиностроения экспертные
и формальные способы: вспомогательной шкалы, парных
ний, компенсации, сравнения с базовым значением. На их
ре мы проиллюстрируем приемы выполнения основных
ний к балльным оценкам и попытаемся показать, в каких случаях
эти способы удобнее применять. Но, все же, надежные
дации по выбору способа назначения балльных оценок пока
сутствуют, и в этом приходится полагаться на опыт и интуицию
инженера-квалиметролога.
3.1. Требования к способам определения балльных оценок
В квалиметрии к балльным оценкам предъявляют три
ных требования.
Первое требование вытекает из необходимости выполнения
аддитивных операций, т.е. сложения и вычитания баллов.
Алгоритмы расчетов, используемые при оценивании
ва, обязательно включают в себя аддитивные операции. Так,
новной алгоритм квалиметрии, определяемый деревом свойств,
представляет собой комбинацию операций умножения и
рования:
w = Smn. -Y.m2ji '••■•Zm*-u< -HmkjiSji > C-1)
где mkji — балльная оценка значимости i-го показателя в у'-ой
группе, находящейся на к-ом уровне дерева свойств; 8-
ная оценка проявления г'-го показателя ву'-ой группе на последнем,
к-ом уровне дерева свойств.
Поскольку в расчетных алгоритмах оценивания качества (как
и в формуле C.1)) используют аддитивные операции, то с
димостью вытекает требование, чтобы сами балльные оценки
ли определены в шкале интервалов. Это означает, что операция
назначения баллов должна хотя бы приблизительно обеспечивать
равенство как-то экспериментально (психофизиологически или
34
статистически) определяемых «расстояний» между соседними
баллами. То есть, должно быть какое-то экспериментальное
вание для утверждения, что градация (проявление) показателя,
обозначенная 2 баллами, настолько же «полезнее» градации,
значенной 1 баллом, насколько градация, обозначенная 3 баллами
«полезнее» градации, обозначенной 2 баллами и т.д. Только в
этом случае можно рассчитывать средний балл по согласованной
группе экспертных оценок и выполнять другие расчеты,
зующие аддитивные операции.
Второе требование — индивидуальная воспроизводимость.
Способ назначения баллов, которым пользуется каждый
перт, должен быть таким, чтобы можно было проверить, что
перт действительно уверен в своей оценке. Для этого при опросе
эксперта (в процессе назначения им балльных оценок) применяют
«контрольную операцию», которая позволяет эксперту с других
позиций взглянуть на сравниваемые объекты и вновь
венно выразить свои ощущения.
Третье требование — межэкспертная воспроизводимость.
Способ назначения баллов, которым пользуется эксперт,
должен быть таким, чтобы при его повторении другим экспертом
были получены те же или достаточно близкие оценки.
Если требование межэкспертной воспроизводимости не
полнено, т.е. оценки отдельных экспертов рассогласованны, то
прежде, чем переходить к формальным методам статистической
обработки, следует выполнить содержательный анализ, а именно:
провести собрание экспертной группы, на котором
жить экспертам, назначившим резко различающиеся оценки,
обосновать свои позиции;
после этого вновь провести опрос экспертов с целью
чения ими оценок. Как правило, после обсуждения сходимость
оценок возрастает.
Рассмотрим теперь основные экспертные и формальные
собы назначения балльных оценок.
35
3.2. Способ вспомогательной шкалы
3.2.1. Сущность способа и нормирование коэффициентов
весомости
Наиболее употребительная вспомогательная шкала,
значенная для назначения балльных оценок значимости
лей, самих показателей или же изделий в целом, представляет
бой совокупность словесных описаний, которые в обобщенной
форме характеризуют значимость любого из этих оцениваемых
объектов с позиций предназначения разрабатываемой методики
оценивания качества (МОК) (см. табл. 3.1).
Вспомогательная шкала может быть составлена также из
рисуночных изображений какого-либо объекта или явления
(например, развития деформаций при нагрузке). Могут быть
пользованы фотографии, технические характеристики, реальные
образцы (например, при оценивании качества композиционного
решения изделия). При разработке всех таких шкал важно
чить выполнение указанных требований и тогда становится
вомерным выполнение аддитивных и других рассмотренных
лее операций с баллами.
Если вспомогательная шкала составлена из словесных
ний, то желательно, чтобы она имела «симметричную» форму, т.е.
имелась «нейтральная» градация, отражающая безразличие с
зиций желательности (или полезности), а другие градации
лагались симметрично относительно нейтральной. Например,
градации «весьма желательно» соответствовала бы «совершенно
нежелательно». Эта рекомендация объясняется тем, что, как
зано в психофизиологии, «расстояния» между градациями такой
шкалы воспринимаются человеком, как одинаковые. Таким
зом, автоматически обеспечивается выполнение первого
ния к балльным оценкам.
Однако симметричная форма вспомогательной шкалы не
зательна. Далее, в примерах будут использованы как
ные, так и несимметричные шкалы.
36
Число градаций симметричной шкалы принимают обычно 5
или 7, изредка 3 или 9. Проставлять оценки удобно так: средней
градации (нейтральной) присваивают 0 баллов, остальным
циям — целые положительные и отрицательные числа с шагом 2.
Это делают для того, чтобы некоторые проявления оцениваемого
объекта («промежуточные» по суждению эксперта) между
циями вспомогательной шкалы могли быть оценены целым
четным числом баллов.
В дальнейшем для оценок значимости объектов при
нении статистической обработки, как правило, оказывается более
удобным избавиться от отрицательных значений оценок и
нить их на положительные, начиная с нуля. «Симметричные»
оценки удобнее назначать, а с «несимметричными»,
ными, удобнее проводить расчетные операции.
Таблица 3.1
Пример «симметричной» вспомогательной шкалы, предназначенной
для оценивания значимости показателей качества с целью
их использования в разрабатываемой МОК
Характеристика значимости,
«весомости» показателя
Весьма важный показатель.
пользовать обязательно.
Важный показатель. Желательно
использовать.
Показатель средней значимости.
Нельзя сказать, что важный
затель, но не стоит и заведомо
отбрасывать.
Маловажный показатель.
зовать в последнюю очередь.
Совершенно неважный
тель. Использовать не следует.
Значения оценок весомости
При
назначении
+4
+2
0
-2
-4
После преобразования в
положительные
8
6
4
2
0
37
В ходе опроса эксперт должен соотнести каждый
мый показатель с одной из градаций вспомогательной шкалы и
присвоить показателю соответствующее число баллов. Вели по
суждению эксперта оцениваемый показатель по своей значимости
занимает промежуточное положение между двумя соседними
дациями вспомогательной шкалы, то ему присваивают
вующее промежуточное число баллов.
В тех случаях, когда балльные оценки предназначены для
ределения коэффициентов весомости показателей или их
ций, входящих в структурную схему показателей качества (т.е.
при построении «дерева свойств»), производят их нормирование,
т.е. такое пропорциональное преобразование, чтобы их сумма
оказалась равной 1,10 или 100.
Пример 3.1. В одной из методик оценивания качества грейдеров,
используемых на строительстве автодорог в средней полосе России
[8], было построено дерево свойств, включающее следующие
номические показатели (рис. 3.1). На основании исходных балльных
оценок, полученных с помощью вспомогательной шкалы табл. 3.1,
требуется определить окончательные нормированные оценки
мости показателей.
Пусть эксперт считает, что важнейшим показателем назначения
в данных условиях эксплуатации является ширина отвала и
ет ему +4 балла (т.е. это исходная оценка). Высота подъема отвала
по его суждению маловлиющий фактор и ему можно поставить -1 и
т.д. После простановки оценок единичных показателей совершенно
аналогично проставляют оценки значимости комплексных
лей. Так, учитывая конкретную обстановку строительства, эксперт
может считать, что факторы назначения, безусловно, важнейшие, а
факторы технологичности существенно меньше влияют на качество
выполнения функций. Тогда соответствующие оценки весомости
гут быть +4 и +1.
После преобразования всех оценок в положительные (см. рис.
3.1) можно перейти к расчету коэффициентов весомости. Для этого
следует каждую из оценок весомости показателей в группе разделить
на их сумму. Естественно, при этом сумма коэффициентов
сти для показателей каждой группы становится равной 1.
38
Оценки
ные
ния
И П Н
4 8 0,62
гичности
в
атации
И П Н
1 5 0,38
Ширина отвала
Высота отвала
Высота подъема
отвала
Угол
ного перекоса
отвала
Угол поворота
отвала в плане
Число видов
сменного
рудования
Тип
сии
Среднее время
замены
дования
Транспортная
скорость
ные
4
2
-1
1
-3
4
1
2
0
ные
8
6
3
5
1
8
5
6
4
рованные
0,35
0,26
0,13
0,22
0,04
0,35
0,22
0,26
0,17
После
чения
теля E)
0,36
0,27
0,14
0,23
Рис. 3.1. Фрагмент дерева свойств для оценивания качества дорожных
бульдозеров (к примеру определения коэффициентов весомости
лей). Обозначения: И — исходные; П — положительные;
Н — нормированные оценки
Показатель «Угол поворота отвала в плане» имеет
ент весомости т5 = 0,04. В квалиметрии принято показатели с т,< 0,1
исключать из расчетного алгоритма на том основании, что эксперт не
может выполнять оценивание с точностью выше 0,1. Поэтому
чаем этот показатель и пересчитываем нормированные
енты весомости (рис. 3.1, правый столбец).
Для выполнения контрольных операций можно поступить
дующим образом: найти весомости частных показателей с учетом
39
весомости групповых показателей (т.е. межгрупповые а%, найденные
путем перемножения коэффициентов показателя и его группы) и
предложить эксперту сравнить значимости пары частных
лей, взятых из различных групп.
Например, для показателей «Высота подъема отвала» и
нее время замены оборудования» межгрупповые коэффициенты
дут:
/77213 = тП1 ■ m213 = 0,62 0,14 = 0,087 ,
m223 = m112 • m223 = 0,38 • 0,26 = 0,099.
Как видно, эти значения близки. Поэтому, если эксперт
дает равнозначимость показателей, то исправления не нужны. При
иных суждениях эксперта исходные оценки следует уточнить.
3.2.2. Статистическая обработка
Статистическую обработку индивидуальных балльных
нок выполняют с целью получения «обобщенных» оценок, т.е.
значений, характеризующих некоторую центральную тенденцию
суждений экспертов, или же с целью определения достоверности
тех или иных изменений оценок.
Задачами статистической обработки балльных оценок
ются:
а) определение «согласованности» индивидуальных оценок, а
именно:
• выявление выпадающих оценок — «еретических»;
• выявление возможного наличия бимодальности
ления оценок,
б) для оценок, принадлежащих к согласованным группам:
• определение оценки среднего, характеризующей
тральную тенденцию для индивидуальных оценок каждой
сованной группы;
• определение оценок рассеяния (концентрации) этих
видуальных оценок,
40
в) для двух групп балльных оценок (не обязательно
ванных), полученных в различных условиях или же в динамике,
до и после некоторого события, могущего повлиять на оценки, —
определение достоверности происшедших изменений оценок и
достоверности различия характеристик распределения.
Несмотря на большую роль, которую приобрели балльные
оценки не только в задачах квалиметрии машиностроения, но и в
других метрологических задачах науки и техники, общепринятые
правила их статистической обработки еще не сформировались.
Это объясняется, конечно, недостаточным развитием самой
рии балльных оценок, практически, отсутствием таковой теории.
Приводимые далее способы обработки балльных оценок
зируются на эмпирически найденных закономерностях их
деления, эмпирических критериях согласованности и выпадения.
Поэтому приводимые способы обработки следует рассматривать
как рекомендуемые, подлежащие корректировке в зависимости от
конкретного материала и постановки конкретной задачи.
Для характеристики центральной тенденции согласованной
группы балльных оценок применяют их среднее арифметическое
значение, вычисленное с точностью до одного знака после запятой.
Концентрацию оценок вблизи среднего характеризуют
зателем концентрации Р-долей (или процентом) оценок,
щихся вблизи среднего в так называемом «интервале
ности», охватывающим от 1 до 4 ближайших баллов. Величина
Q = 1 -Р характеризует рассеяние оценок за пределы этого интервала.
Интервал согласованности выбирают в зависимости от вида
конкретного распределения экспертных оценок, так, чтобы он
ватил баллы, назначенные наибольшим числом экспертов, а также
с учетом числа градаций вспомогательной шкалы. При малом
числе градаций D-6) интервал согласованности должен быть уже,
при большом (9-11) — может быть расширен. Во всех случаях
интервал согласованности не должен превышать более 4 соседних
баллов.
41
Достаточно согласованной считают группу оценок, рассеяние
которых не превышает заранее принятого уровня а. Значение а
принимают в зависимости от ответственности решаемой задачи от
0,05 до 0,25. Если доля выпадающих оценок больше а, то,
можно, плохо составлено описание градаций оцениваемого
зателя, плохо подобраны эталоны, составляющие шкалу
ний показателя, и эти недочеты следует устранить. Но возможно,
что здесь проявляется различие точек зрения экспертов па
мость оцениваемого показателя или желательность его
ленного проявления и тогда следует провести обсуждение этих
точек зрения.
Далее в примере 3.2 (п. 3.2.3) проиллюстрировано возможное
влияние проведенного обсуждения на сходимость
ных экспертных оценок.
Если доля выпадающих оценок больше а, и при этом 3 или
более из них расположены с одной стороны от интервала
ванности, то, возможно, они образуют собственную
ную группу и их можно проверить на согласованность, пользуясь
тем же способом.
Вопрос о «еретичности» индивидуальной балльной оценки с
теоретической стороны пока тоже не решен. Одно из практически
применяемых правил состоит в следующем: балльную оценку
сомости считают «еретической», если ее исключение изменяет
среднее арифметическое на 0,5 балла или более.
Для характеристики рассеяния оценок в целом в
нии используют размах R, разницу между максимальным и
мальным значениями индивидуальных балльных оценок, а также,
иногда, о — среднеквадратическое отклонение индивидуальных
балльных оценок от среднего:
Однако в отличие от показателей Р и Q, которые
ся полезны при проверке достоверности различия распределений
42
экспертных оценок, вызванного влиянием некоторого фактора,
показатели R и о весьма слабо реагируют на это влияние, что
ко снижает их практическую полезность.
3.2.3. Проверка достоверности изменений распределения
балльных оценок под влиянием некоторого фактора
Встречаются ситуации, когда на оцениваемые объекты
действует некоторый внешний фактор, и это влияет на оценки
объектов по тому или иному показателю. Например,
ствование технологии производства изделия может сказаться как
на его функциональных показателях, так и на показателях
ности, эргономичное™ и др. Влияние внешнего воздействующего
фактора на параметры распределения балльных э.о. проявляется:
• в сдвиге оценок к одному из концов шкалы, что и
дит к сдвигу арифметического среднего при приблизительно
храняющемся рассеянии;
• в разнонаправленных сдвигах оценок, что приводит к
менению рассеяния при приблизительно сохраняющемся среднем.
Достоверность влияния, проявляющегося в смещении оценок,
можно проверить, выбирая положение границы, разделяющей
вое, полученное после воздействия фактора распределение на
вую и правую части, и рассчитывая значение %2. При этом
ное распределение оценок (до воздействия фактора) принимают за
основу сравнения, строя так называемое «ожидаемое» или
тическое» распределение:
.1,().IС П,<)Ж
Здесь пл и пп — фактические числа оценок, слева и справа от
выбранной границы в новом распределении;
Лл.ож и Яи.ож — ожидаемые числа оценок, рассчитываемые
пропорционально частостям оценок слева и справа от выбранной
границы в исходном распределении.
43
Пример 3.2. При оценивании значимости эксплуатационной
нологичности в МОК дорожных строительных машин (см. прим. 3.1)
10-ю экспертами (профессиональными водителями строительных
машин) показателю «Транспортная скорость» были назначены
дующие оценки B-я строка табл. 3.2 и рис. 3.3).
Таблица 3.2
Числовые данные к примеру воздействия фактора на распределение
балльных экспертных оценок
Номер эксперта
Оценка до обсуждения
Оценка после обсуждения
1
-2
0
2
-1
0
3
-1
0
4
1
1
5
1
1
6
2
1
7
2
1
8
2
2
9
2
2
10
3
3
а
4
2 2
0
-3-2-10 1 2 3 4
0 0 0
-3 -2-10 1
3
2
Рис. 3.2. Гистограммы распределения балльный оценок до и после
ния (см. текст). Пунктирными линиями выделен интервал согласованности
после обсуждения
Как можно видеть с помощью гистограммы рис. 3.2а, оценки
пертов резко рассогласованны. Среднее этих оценок есть т1 = 0,9.
Наибольшие числа оценок приходится на значения 1 и 2 балла.
этому следует выбрать интервал согласованности, включающий эти
значения. Выпадающими оказываются 4 индивидуальные
ные оценки. Концентрация составляет Р = 0,60, а рассеяние Q = 0,40,
что недопустимо много. Поскольку распределение э.о. бимодально,
то причина рассогласованности, скорее всего, состоит в
вом понимании экспертами того, в каких условиях применяют
«транспортную скорость».
44
Допустим, что было проведено обсуждение этого вопроса, и
сле уточнения условий транспортирования те же эксперты
жили новые оценки C-я строка табл. 3.2 и рис. 3.26).
Среднее этих оценок т2 = 1,1, т.е. проведенная работа не
вела к существенному сдвигу среднего. Поскольку наибольшие числа
оценок приходятся теперь на 0, 1 и 2 балла, то целесообразно
брать интервал согласованности, включающий эти три значения.
гда выпадающей оказывается только оценка 10-го эксперта, а
ния Р \л Q составляют 0,90 и 0,10, что говорит о резком повышении
концентрации и достаточной согласованности оценок. Исключая
падающую оценку, находим окончательно т = 0,9, Р= 0,90.
Для проверки достоверности эффекта повышения концентрации
удобно объединить числа оценок во всех градациях вне интервала
согласованности. Тогда числа оценок до обсуждения внутри и вне
интервала согласованности будут 6 и 4, и их принимаем в качестве
«фактических», а числа оценок после обсуждения 9 и 1 — в качестве
«теоретических» (см. ф-лу 3.3). Вычисленное значение %2 = 3,75
больше Хд0 =2,71 (при t = 1), что подтверждает достоверность
ния проведенной работы на повышение концентрации
ния экспертных оценок.
3.3. Способ парных сравнений
Способ парных сравнений удобно применять для
ния весомости единичных или же комплексных показателей,
дящих в одну группу дерева свойств.
Берут показатели одной группы, подлежащие оцениванию.
Па бумаге строят таблицу размерности п ■ (п - I), где п —
число показателей в группе. По левой и верхней сторонам
цы записывают названия (или просто номера) показателей.
но записывать первым наиболее значимый по предварительному
суждению эксперта показатель и далее — по убыванию
сти. Такое расположение облегчает проверку внутренней
тиворечивости индивидуальных оценок эксперта, ибо числа в
ждой строке должны монотонно убывать слева направо. Если они
где-то возрастают, то оценки эксперта заведомо внутренне
воречивы.
45
Наиболее значимый показатель оценивают в 10 баллов.
Сравнивания его со вторым показателем, последнему
ют в первой строке (в ячейку A, 2)) оценку в баллах,
вующую его значимости, например, 6 баллов. После этого первый
показатель сравнивают с третьим и т.д. Закончив заполнение
вой строки, таким же способом заполняют вторую, принимая, па
этот раз, весомость второго показателя в 10 баллов и т.д. Пример
заполненной экспертом таблицы для группы частных показателей,
составляющих технологический аспект эксплуатации (см. прим.
3.1) в кабине водителя дорожной строительной машины, приведен
в табл. 3.3.
Таблица 3.3
Вид индивидуально заполненной матрицы парных сравнений
(числа в скобках — после уточнения)
Номера показателей
A)
B)
C)
D)
B)
6
C)
4
8
D)
3 B,5)
4
5
E)
2A,5)
2
3
6
Заполнение таблицы выполняют не менее 3-х экспертов. Как
видно из описания способа, контрольная операция состоит в том,
что при сопоставлении значимости каждого показателя с каждым
появляется возможность несколькими путями рассчитать оценки
значимости показателей и затем сопоставить полученные оценки
между собой.
Обработка заключается в следующем.
1) Вычисляют относительные оценки весомости каждого
казателя несколькими путями.
2) Если относительные оценки весомости некоторого
теля у одного эксперта, полученные различными путями,
дятся больше, чем на 0,2, проводят повторный опрос эксперта,
указывая ему на обнаруженное несоответствие.
46
3) Если относительные оценки весомости одного и того же
показателя у разных экспертов расходятся более, чем на 0,2, то
проводят обсуждение расхождений и корректируют
ные оценки.
4) Если оценки весомости согласованны, вычисляют их
нее по всем экспертам, что и дает окончательную оценку весомости.
Пример 3.3. Используем заполненную индивидуальную таблицу
3.3. Отношение весомостей показателей следующее:
По строке
1
2
3
4
B) : A)
0,6
C) : B)
0,67
0,8
D) : C)
0,75
0,5
0,5
E) : D)
0,67
0,5
0,6
0,6
Как видно, только для отношения D) : C) по первой строке
ет место недопустимое расхождение. Допустим, после указания на
это расхождение, эксперт проставил в ячейке A,4) значение 2,5
ла и, чтобы не изменилось соотношение весомостей 4-го и 5-го
зателей, в ячейке A,5) — 1,5 балла (числа в скобках в табл. 3.3).
гда получаем внутренне согласованные оценки и рассчитываем
дивидуальные средние:
По строке
1
2
3
4
B):A)
0,6
C) : B)
0,67
0,8
D) : C)
0.63
0,5
0,5
E) : D)
0,6
0,5
0,6
0,6
0,6 0,73 0,54 0,57
Рассчитываем индивидуальные нормированные коэффициенты
весомости.
Весомость 2-го показателя относительно 1-го определена
ственным образом: тгл = 0,6;
Весомость 3-го показателя относительно 1-го определяют двумя
путями: непосредственно тт = 4:10 = 0,4; и через 2-ой показатель:
m3/2/i = m3/2- Шгл = 0,730,6 = 0,44. Среднее тт = 0,42.
Весомость 4-го показателя относительно 1-го определяют
средственно, а также по цепочке — через 2-й и 3-й:
47
тт =2,5:10 = 0,25;
m4/3/2/i = т413- т3,2- т2п = 0,54-0,73-0,6 = 0,24.
Среднее тт = 0,25.
Наконец, весомость 5-го показателя также найдем двумя путями:
тъп = 1,5:10 = 0,15;
т5/4/з/2/1= 0,57-0,54-0,730,6 = 0,13;
Среднее т5П = 0,14.
Поскольку сумма коэффициентов весомости всех показателей
должна быть равна 1, то рассчитываем нормированные
енты весомости по формуле
Выполнив подсчеты, находим:
т, = 0,44; т2 = 0,27; т3 = 0,18; т4 = 0,11.
Рассчитав аналогично нормированные коэффициенты
сти для других экспертов, находим (в случае согласованности их
оценок по каждому показателю) групповые средние, которые и
ставляют собой окончательные значения коэффициентов весомости.
3.4. Способ компенсации
Способ компенсации особенно удобно применять для
вания значимости градаций частных показателей, имеющих
чественные шкалы измерения (интервалов и отношений).
Сущность способа состоит в следующем: эксперт задается
снижением уровня одного из частных показателей X на единицу
его величины (или, для показателей с порядковой шкалой, на одну
градацию). Затем он решает, на какую величину нужно увеличить
уровень другого показателя Y, для того, чтобы компенсировать
принятое изменение показателя X. После этого за
щие друг друга изменения показателей принимают равные по
лютной величине и противоположные по знаку изменения баллов.
Подбор компенсирующих изменений можно производить,
сравнивая между собой каждую пару частных показателей, вхо-
48
дящих в данный комплексный показатель. Но для упрощения
процедуры обычно выбирают один какой-либо показатель,
нение которого удобно сопоставлять с изменениями других
зателей, и в качестве основной процедуры подбирают
рующие изменения всех прочих показателей по отношению к
выбранному. Сопоставление компенсирующих изменений всех
прочих показателей между собой выполняют как контрольную
операцию.
Пример 3.4. При разработке новой конструкции прогулочного
тера основными показателями существенными с позиции
ля, являются полезная нагрузка, расход топлива в литрах на 100 км и
максимальная скорость. Допустим, для выбора оптимального
тания значений показателей производят опрос экспертов способом
компенсации. При этом выбирают некоторое базовое сочетание
чений основных показателей (в табл. 3.4, столбец 2) и, придавая
важнейшему показателю различные приращения, определяют по
оценкам экспертов компенсирующие приращения других показателей
(см. табл. 3.4).
Таблица 3.4
Запись компенсирующих приращений
Показатели
Полезная нагрузка (кг)
Расход топлива на 100 км (л)
Максимальная скорость (км/ч)
Исходные
значения
400
10
40
Компенсирующие приращения
-80
-3
+ 10
-50
-1,5
+7,5
+50
+ 1
-5
+80
+ 1,5
-8
Пусть базовое сочетание: полезная нагрузка - 400 кг, расход
плива — 10 л, и скорость — 40 км/ч. Если выбрать полезную нагрузку
на 50 кг больше, то для сохранения той же скорости эксперт согласен
допустить рост расхода топлива на 1 л или же снижение скорости на
5 км/ч.
Увеличение полезной нагрузки еще на 30 кг эксперт считал бы
компенсированным ростом расхода топлива на 1,5 л либо же
нием скорости на 10 км/ч.
Аналогично эксперт назначает компенсирующие приращения
расхода топлива и скорости при возможном снижении полезной
грузки на ту или иную величину.
49
Пусть теперь 0 баллов означает базовое значение показателя.
Если приращение полезной нагрузки на 50 кг оценить в 10
лов, то увеличение расхода топлива на 1 л следует оценить в -10
баллов. Снижение скорости на 5 км/ч также должно быть оценено в
-10 баллов. Однако увеличение скорости следует оценить ниже, в
+10 баллов за 7,5 км/ч, т.е. зависимости здесь не обязательно
нейны.
Полученные результаты позволяют построить так называемые
«кривые безразличия» в координатах значений каждой пары
телей (рис. 3.3). Каждая кривая соединяет сочетания значений
зателей, равнопредпочтительных с позиций экспертов.
о
о
Л!
12
11
я
m
s с;
g S 10 -
О *
Н I
5 9 +
х
О- г,
: 45
; 40
: 35
к т
i 5
■0 *
С .
и л
i §
о 2
о 9-
* о
ё 8
— 30
320 360 400 440 480
Полезная нагрузка, кг
Рис. 3.3. Кривые безразличия для сочетания значений основных
потребительских показателей. Видна несимметричность
компенсирующих приращений
Статистическую обработку оценок, назначенных способом
компенсации, производят в целом так же, как и при
нии способа вспомогательной шкалы. Вначале следует
жить внутренние противоречия в оценках каждою эксперта.
Обнаруженные противоречия предъявляют эксперту. Эксперт
должен самостоятельно устранить эти противоречия, изменив
которые из оценок. После того, как достигнуто внутреннее согла-
50
сование оценок каждого эксперта, выполняют основную часть
статистической обработки, в ходе которой анализу и обобщению
подлежат оценки различных экспертов.
При этом в качестве исходного материала, т.е. в качестве
подлежащих обработке данных, следует использовать именно
назначенные экспертами оценки, но не те или иные их
ния или функции. Иначе могут иметь место неконтролируемые
искажения э.о., приводящие к грубо ошибочным результатам их
обработки. Назначенные экспертами индивидуальные оценки
рабатывают так же, как и оценки, полученные способом
гательной шкалы.
3.5. Сравнение с эталонным значением
Количественное сопоставление уровня проявления
женности) показателя в оцениваемом объекте с некоторым
лонным уровнем его проявления является одним из часто
зуемых способов присвоения баллов. Понятно, что такое сравнение
возможно только при количественной шкале изменения
ля. При этом выбирают некоторую формулу, характеризующую
отклонение наблюдаемого проявления х, от эталона хзт и
тывают балльную оценку непосредственно по этой формуле.
В роли эталона выбирают наилучшее, оптимальное значение
показателя или, напротив, недопустимое, браковочное значение,
или же другие значения. Так, если оцениваемый показатель —
уровень технологических отходов, то «оптимальным» можно
принять некоторое теоретически минимальное значение xmi„ и
балльную оценку 5, фактического уровня отходов х, можно
считывать по формулам:
8. =jfci™., 8,-=в-ф'-*-Ч C.5)
Изменяя к, можно выбирать различную крутизну падения
графика.
51
5,
Xmin Xj
Рис. 3.4. Вид падающей зависимости балльной оценки от значения
показателя в соответствии с ф-ми C.5): «чем больше, тем хуже»
Таким образом, балльная оценка проявления показателя тем
меньше, чем больше отходность производства изделия.
Для обоснованного применения способа сравнения с
ным значением следует правильно выбрать эталонное значение и
корректно выбрать вид формулы 8 = 8(хэш,х;).
3.5.1. Выбор эталонных значений показателей
Используемые для оценивания качества показатели могут
иметь следующие фиксируемые численные значения:
ные, предельные (браковочные), базовые и действительные
средственно изменяемые). Номинальные и предельные содержатся
в нормативно-технологической документации, в плановых
ниях и других документах. При оценивании качества они могут
быть использованы как эталоны, если требуется оценить уровень
соответствия оцениваемого изделия нормативным требованиям.
Базовые значения показателей применяют для оценивания
роста технического совершенства новых серий изделий данного
52
назначения по сравнению с предыдущими для сравнения
татов работы производственных единиц и для оценивания
ва (или технического уровня) планируемых к выпуску изделий с
целью определения их конкурентоспособности на внешнем или
внутреннем рынке. При оценивании прогресса производства или
сравнении качества работы производственных единиц базовые
значения берутся из отчетных документов за прошлый период
боты (квартал, год). В случае оценивания качества
мой продукции для продажи на внешнем рынке, базовые значения
показателей должны представлять собой оптимальную
тивную совокупность значений с упреждением па период
должительности разработки изделия и планируемой реализации
его на рынке.
Если для установления базовых значений показателей
пользуют некоторые существующие «базовые» образцы изделия,
то понятно, что использование устаревших образцов приведет к
искаженной, завышенной оценке качества. Применение
жаемого образца, наделяемого неоправданно завышенными
чениями показателей качества или неосуществимыми в
ности значениями, может привести к утверждению нереальных
или слишком дорогих проектов.
Базовый образец выбирают из изделий, аналогичных
ваемому по типу, назначению, условиям эксплуатации. Таким
образом, дизельный двигатель нельзя сопоставлять с
ным, шоссейную машину — с автомобилем повышенной
димости и т.п.
Группа однородных изделий, рассматриваемых с целью
бора базовых образцов, должна представлять значительную часть
общего объема этой продукции, устойчиво конкурентоспособную
на предполагаемом рынке сбыта.
Эталонные значения классификационных показателей
вого образца (грузоподъемность, производительность, мощность
или др.), как правило, могут отличаться от оцениваемого изделия
не более чем на 5-10%. Исключение составляет случай, когда
ределяют качество группы конструктивно и технологически род-
53
ственных изделий, входящих в параметрический или типоразмер-
ный ряд. В этом случае базовым образцом может служить один
типовой представитель ряда аналогичной продукции.
3.5.2. Выбор вида формулы, представляющей
мость балльной оценки от изменяемого значения
Этот выбор зависит от представлений потребителя (с позиций
и в интересах которого производится разработка) о том, каким
образом изменяется полезность проявления свойств с изменением
значений соответствующего показателя. Например, потребитель
может считать, что полезность нарастает приблизительно линейно
от некоторого х„„„ до х,шд. Тогда следует выбрать формулу C.7) и т.д.
Далее во всех формулах диапазон балльных оценок принят от
О до 1, но, понятно, что соответствующим умножением он может
быть произвольно изменен.
Итак, пусть потребитель считает, что:
1) Начиная с некоторого хт,„, чем больше значение
зателя, тем лучше, однако максимум полезности не может быть
достигнут ни при каком v,. Например, это может быть яркость
которого сигнального источника света. Тогда следует
вать одну из формул C.6), см. график рис. 3.5.
Для противного суждения потребителя («чем больше, тем
хуже») приведены формулы C.5) и соответствующий график рис. 3.4.
2) Начиная с некоторого лг„„„ до хтах качество (полезность)
нарастает (падает) приблизительно линейно. Такими
лями могут быть: коэффициент использования оборудования во
времени, процент аварийности определенного типа устройств за
период эксплуатации и др. Тогда следует использовать нужную
формулу из C.7), см. график рис. 3.6.
3) При значениях лг„„„ и хтах качество минимально, но при
некотором хуп находящемся внутри интервала, максимально.
Такими показателями могут быть «Усилие, требуемое для
мещения рычагов», «Освещенность на рабочем месте» и др. Эту
зависимость можно выразить формулой C.8), см. график рис. 3.7.
4) Качество падает (повышается), начиная с некоторого
xmi„ к хтах от 1 до 0 нелинейно, т.е. вначале быстро, затем
леннее, см. рис. 3.8 и ф-лы C.9).
54
Xf
Рис. 3.5. Вид нарастающей до насыщения зависимости балльной оценки от
значения показателя в соответствии с ф-ми C.6)
8,. =1_в-*('.-'-), 5,. =1-Jt-
C.6)
Рис. 3.6. Вид линейно нарастающей (падающей) зависимости балльной
оценки от значения показателя в соответствии с ф-ми C.7)
5.=
X;
Я. _ -^max xi
C.7)
55
Xyr
Xi
Рис. 3.7. Вид зависимости балльной оценки от значения показателя
с экстремумом внутри интервала— по ф-ле C.8)
"/" C\Xi -^niiii / V*max Xi ) '
C.8)
Значения а и b в ф-ле C.8) определяют форму кривой, с —
нормирующая константа (см. также рис. 2.7).
Рис. 3.8. Вид падающей зависимости балльной оценки от значения
показателя в тех случаях, когда зависимость существует только
на интервале хтт—х„шу в соответствии с ф-ми C.9)
(
8; =
У
г
1
\2
X .
у mm
C.9)
Существует ряд формальных приемов, основанных на тех
или иных допущениях о виде функции распределения плотности
56
вероятностей значений измеряемого показателя на всей
ности оцениваемых объектов. Чаще всего делают предположение
о нормальном законе распределения и, исходя из этого закона,
назначают 5%, 10% и т.д. границы градаций.
Например, при оценивании качества изделий бытовой
тротехники, выпускаемых сериями, учитывают количество
чительных дефектов в образцах одной серии, таких, как
дения окраски (царапины); некоторые повышения потребляемой
мощности (вызванное неточностями изготовления отельных
лей и неточностями баланса), повышенный шум при работе и т.д.
Принимают, что количество дефектов каждого вида в
дельных сериях подчинено нормальному закону распределения.
Среднее и дисперсия значений каждого показателя заранее
делены. Теперь появляется возможность указать граничные
чения числа дефектов так, чтобы они соответствовали квантилям
нормального распределения. Допустим 5 баллов получает серия, в
которой число дефектов данного вида меньше 5%-го
ного уровня, 4 балла — если меньше 25% и, далее,
но, можно выбрать границы на уровне 50%, 75% и 95%. Рис. 3.9
иллюстрирует сказанное.
Баллы
0 5 25 50 75 95 Х%
Рис. 3.9. Иллюстрация способа присвоения баллов на основании сведений
о функции распределения вероятностей значений показателя
57
Общие недостатки всех рассмотренных способов назначений
баллов, основанных на сравнении с эталонными значениями,
стоят в следующем:
1) Отсутствует содержательное обоснование параметров, а
да и наличия, характерных элементов графиков — точек перегиба,
участков различных знаков кривизны, участков монотонности.
2) Нет возможности с помощью аналитических формул
зить скачкообразные изменения желательности при достижении
некоторого значения. Например, если для успешной работы
снаряда в данных условиях необходима мощность двигателя не
менее некоторой М,„„, а дальнейшее увеличение мощности
тически не сказывается на производительности, то аналитически
эту зависимость выразить не удается.
3) Отсутствует возможность представить «плато» —
вал значений показателя, при которых оценка качества остается
на максимальном уровне. Между тем, это плато должно
вовать при любых измерениях качества, т.к. никогда максимум
желательности не достигается в какой-то одной точке, но всегда
существует в некотором интервале.
Таким образом, способ сравнения с базовым значением, при
его внешней логичности, имеет ряд принципиальных недостатков,
которые ограничивают его использование.
3.5.3. Об использовании функций желательности Хар-
рингтона
Для аналитического представления зависимости балльной
оценки качества от значений изменяемого показателя часто
меняют способ Харрингтона [13]. В его основе лежит стремление
использовать некоторый универсальный вид зависимости,
нимый для любых свойств. Суть способа состоит в следующем.
Пусть xmin и Хтах — нижний и верхний пределы значений
казателя некоторого свойства, а х, — измеренное значение.
образуем шкалу изменений х так, чтобы минимальное значение
равнялось-1, а максимальное 1-1 (см. ф-лу C.10)).
58
2xi-(x„
C.10)
Если измеряемое свойство таково, что наибольшая
ность достигается посередине диапазона, то на диапазон z
дывается весовая функция 5, изменяющаяся от 0 до 1:
5, =exp(-|z,|"').
C.11)
Если же измеряемое свойство по желательности относится
к типу «чем больше, тем лучше», то для него весовую функцию
вычисляют по формуле
8,. =ехр(-ехр(-г,)т). C.12)
8,
0,37
8/
1
0,37
z 0
а б
Рис. 3.10. Графики 1-й (а) и 2-й (б) функций Харринггона
Изменяя параметр т, можно получить различную
ность графика (рис. 3.10а) или же различную крутизну графика
(рис. 3.10E).
Далее, различным значениям 8, предложено придать
вую трактовку в соответствии с табл. 3.5.
Рассматривая способ Харринггона, можно увидеть
вольность ряда принятых допущений как в смысле выбора вида
преобразующих функций, так и в смысле выбора числовых значе-
59
ний, разделяющих различные по содержательной трактовке
дации. Можно предложить множество формул, позволяющих
лучить колоколообразную зависимость или волнообразную
вую (ф-лы 3.11-3.12). Но именно выбор одной из этих формул
требует обоснования, которое должно опираться на
тальные данные или содержательные соображения.
Таблица 3.5
Содержательная трактовка значений 8„
полученных по способу Харрингтона
5,
1,0-0,8
0,8-0,63
0,63 - 0,40
0,40-0,30
0,30-0
Содержательная трактовка
Превосходное и приемлемое значение качества,
тельно превышающее значение по соответствующему
зателю любого аналогичного изделия.
Хорошее и приемлемое значение качества,
щее оптимальное коммерческое значение, которому
ветствует 5, = 0,63.
Недостаточно хорошее, но все же приемлемое для
ческих изделий значение. Для конкурентоспособности оно
должно быть повышено.
Граничная зона. Часть продукции уже не будет
ствовать техническим требованиям. Значению 5, - 0,37
ответствует xmin или x„ULK.
Неприемлемо. Свойство, находящееся на таком низком
уровне может помешать использованию соответствующего
изделия.
Также и выбор значений 8,, разделяющих, по существу,
чения самого измеряемого показателя на различные по
тельной трактовке градации, должен быть обоснован какими-либо
экспериментальными данными.
Кроме того, и сам вид зависимости 8, от х, при оценивании
показателей качества реальных изделий далеко не всегда
ствует графикам функций Харрингтона (см. п. 6 «Экспертные
кривые»).
60
Таким образом, использование рассмотренных функций
пряжено с теми же сомнениями, которые приведены в п. 6.2.
Итак, в настоящем разделе рассмотрены способы назначения
балльных оценок, нашедшие наибольшее распространение в
чах квалиметрии машиностроения. Заключая, отметим, что, по
нашему суждению, формальные приемы, не опирающиеся на
держательный анализ задачи, не позволяют получать надежные
балльные оценки.
61
4. РАНГОВЫЕ ЭКСПЕРТНЫЕ ОЦЕНКИ
Ранговые экспертные оценки — один из наиболее часто
пользуемых инструментов квалиметрии технических объектов.
На рис. 4.1 изображены плоские и пространственные фигуры
(графы), вершины которых соответствующих ранжировкам, а
ребра соединяют ранжировки, отстоящие друг от друга на одну
инверсию (для 3, 4 и 5 ранжируемых объектов).
Рис. 4.1. Графы, иллюстрирующие ранжировки. К примерам 4.4, 4.5
62
4.1. Назначение и общие свойства ранговых оценок
4.1.1. Общие сведения о ранговых оценках
Ранговыми экспертными оценками или просто
ми» называют оценки объектов или их свойств, полученные на
основе устанавливаемого экспертом предпочтения одного объекта
перед другим с точки зрения меры изучаемого свойства и
жаемые обычно в виде чисел натурального ряда — рангов,
своенных отдельным объектам.
Ранжировки выражают также в виде последовательностей
символов, изображающих объекты, с указанием между ними
ношения предпочтения. Например, ранжировка A>B>C>D
ставляет предпочтения объектов по проявлению некоторого
зателя качества от максимального Л до минимального D.
В отношении некоторых сравниваемых объектов эксперт
жет выразить безразличие по уровню проявления оцениваемого
показателя и тогда это безразличие обозначают А ~ В. Объектам, в
отношении которых выражено безразличие, устанавливают
ний для них ранг. В этом случае говорят о наличии связанных
рангов в ранжировках. Количество объектов, получивших
ковый ранг, называют длиной связи.
В квалиметрии ранжировки применяют при решении
дующих задач:
а) при построении деревьев свойств для предварительного
расположения показателей, входящих в одну группу, по
нию их весомости (значимости), если оценки этой весомости
трудно определить непосредственно, без ранжирования;
б) при упорядочении объектов по предпочтению с точки
ния совокупного проявления в них всех свойств, составляющих
качество, с учетом целесообразности и гармоничности их
ния (при построении так называемого «базисного ряда»).
Важным частным случаем этой задачи является определение
приоритета конкурирующих инвестируемых проектов, НИР или
ОКР по очередности их выполнения, то есть отбора некоторых из
предложенных разработок для первоочередного выполнения.
Иногда встречается противоположная задача, когда из числа
проранжированных объектов следует выделить «аутсайдеров»,
63
т.е. объекты, неприемлемые для дальнейшей работы по какому-
либо признаку;
в) при выполнении квалимётрического анализа, когда
рованию подлежат выявленные факторы, негативно влияющие на
качество с точки зрения уровня этого негативного влияния;
г) при прогнозировании требований потребителей к качеству
планируемой к выпуску продукции, для выявления
мых ими сочетаний проявлений свойств;
д) при отборе объектов, одинаковым образом проранжиро-
ванных всеми экспертами, из большого числа проранжированных
объектов, например, при составлении интервальных шкал
ния свойств, составляющих качество в некоторых способах
строения базисного ряда и др.
Числа, присвоенные оцениваемым объектам — ранги,
вают лишь положение каждого объекта в построенном ряду
почтения по отношению к другим объектам, но не обеспечивают
равенство приращений уровня оцениваемого свойства между
ектами, имеющими пары соседних рангов, т.е. ранги
ют собой номера последовательных градаций шкалы порядка, но не
градации шкалы интервалов. Поэтому результаты обычных
метических операций с рангами не могут иметь тот же смысл, что
и результаты тех же операций с числами натурального ряда.
Если, например, три насоса по производительности имеют
ранги 1, 2 и 3, то 2 — это арифметическое среднее между 1 и 3.
Но это не значит, что производительность 2-го насоса выше
изводительности 3-го настолько же, насколько ниже
тельности 1-го. Вообще, проявление оцениваемого показателя в
объекте, характеризуемое средним рангом, лишь случайно может
совпасть со средним уровнем проявления этого показателя в
гих оцениваемых объектах, если уровень проявления измерять в
какой-либо натуральной шкале.
По этой причине нельзя придавать общепринятый смысл
ким математическим операциям с рангами, как сложение рангов,
возведение в квадрат, извлечение корня. Тем не менее, многие
способы статистической обработки ранжировок включают
занные операции.
Отчасти это обусловлено традицией, привычкой к операциям
с числами натурального ряда, но, главным образом, тем, что ре-
64
зультаты методически обоснованной обработки ранговых оценок
зачастую совпадают с результатами методически неверной, но
«привычной». По этой причине расхождения между результатами
строго обоснованной обработки ранговых оценок и «привычной»
не бросаются в глаза. К тому же расхождения трудно обнаружить,
так как для этого следует выполнить обработку обоими способами
(некоторые вопросы соотношения обобщенных ранжировок,
лученных различными способами, рассмотрены в п. 4.2.5). Однако
в ситуациях, когда по результатам обработки принимают
венные решения, способы обработки ранжировок тоже должны
быть методически безупречны.
4.1.2. Условия обоснованности экспертных ранжировок
Для того, чтобы получить от экспертов обоснованные
ровки необходимо соблюдать условия, способствующие
нию этой обоснованности. Главные из этих условий следующие:
определенность цели, единство уровня и группы сравниваемых
объектов, полное предварительное знакомство эксперта со всем
набором сравниваемых объектов.
Трудно формально объяснить значение соблюдения
ных условий, тем более, что при их невыполнении ранжировки
все равно могут быть получены. Однако резко снизится
ванность предпочтений, которую, конечно, очень трудно
жить (для этого следует провести повторный опрос). Может
расти рассеяние индивидуальных ранжировок, но это возрастание
также трудно обнаружить, поскольку неизвестно, каким было бы
рассеяние при соблюдении приведенных условий. Рассмотрим
содержание условий более подробно.
1) Определенность цели
При постановке задачи перед экспертами следует
нейшим образом с привлечением тщательно подобранной
тирующей информации разъяснить назначение обобщенной
жировки, получаемой в результате экспертизы. В противном случае
эксперты, по-разному поняв цель работы, будут исходить в своих
предпочтениях из различных соображений и их ранжировки могут
быть резко рассогласованы.
65
Например, в одном из НИИ технического профиля
лось ранжирование выполненных разработок по их качеству.
лью ранжирования было выдвижение лучших разработок на
дународную ярмарку. Однако организатор, не придав значения
разъяснению цели, предложил экспертам расположить работы в
порядке убывающего качества научного результата. Большинство
экспертов, решив, что результаты ранжировки будут
ны при назначении премий (как это обычно бывало к концу года),
исходило в своих предпочтениях из сложности решенной задачи,
количественного и качественного состава исполнителей, их
росовестности и т.п. Построив ранжировки, эксперты неожиданно
узнают истинное назначение результатов экспертизы. Тогда они,
естественно, радикально пересматривают свои оценки, так как на
первое место выдвигается конкурентоспособность предлагаемой
продукции, возможность ее продажи в той или иной стране и т.п.
2) Единство уровня и группы подразделения, к которым
сятся ранжируемые объекты
Если достижение основной цели сопоставления объектов
зовем ее целью 1-го уровня) предполагает достижение группы
зависимых подцелей B-й уровень), каждая из которых состоит из
подцелей 3-го уровня и т.д., то сравнению по важности могут
подлежать только объекты, относящиеся к одному уровню и к
ной группе подразделения.
Например, крупные разработки государственного значения
для выполнения разделяют на отдельные задания, последние — на
еще более мелкие и т д., пока выполнение полученных частей не
станет доступным сложившимся коллективам исполнителей. Если
речь идет о сопоставлении по важности различных заданий, то
сравнивать можно только задания одного уровня, т.к. сравнивать,
допустим, разработку новой конструкции электрогенератора с
разработкой методов упрочнения его отдельных деталей
шенно неправомерно: одно не имеет смысла без другого.
66
Если эксперту предложить все же сопоставить по важности
объекты разных уровней подразделения, то эксперт в процессе
обдумывания может представить себе их общую цель (допустим,
способствование научному прогрессу в топливно-энергетическом
комплексе) и предложит оценку исходя из этого своего
ления. Таким образом, эксперт, по сути, ответит не на
ный ему вопрос, а на некоторый другой, хотя организатору будет
казаться, что получен ответ на поставленный вопрос.
3) Ознакомление с набором сравниваемых объектов
Полное предварительное знакомство эксперта со всем
ром подлежащих сравнению объектов необходимо для того, чтобы
эксперт мог осознанно или неосознанно учесть влияние наличия
одних объектов на взаимное расположение других. Не исключено,
что в зависимости от того, имеется или нет в числе сравниваемых
объект С, эксперт установит предпочтение объектов^ и В.
Пусть, например, по финансовым ограничениям в план
работок фирмы могут быть включены только разработки,
шие первые места в обобщенной ранжировке. Сравнивая
ные проекты А и В, эксперт отдает предпочтение проекту А: А>В.
После этого он узнает, что заявлена также разработка С,
мый результат которой в значительной степени охватывает
результат А, но С требует меньших затрат и имеет другие
инства. Тогда эксперт указывает: С>А; С>В. Кроме того,
нение разработки А перестает быть целесообразным и эксперт
меняет предпочтение (В>А) так, чтобы сдвинуть А на одно из
следних мест.
4.1.3. Способы получения ранжировок
Ряды предпочтения (ранжировки) могут быть построены
тодами последовательного сравнения, частичного или полного
попарного сравнения и др. Предпочтение объекта А перед В
значают А>В. Если эксперт выражает безразличие (равенство
объектов с точки зрения уровня оцениваемого качества), то его
67
обозначают А~В. Если в ряду предпочтения знак безразличия
сутствует, то ряд называют полностью упорядоченным, в
ном случае — частично упорядоченным.
Метод последовательного сравнения при построении ряда
предпочтения состоит в следующем. Вначале эксперт сравнивает
два произвольно взятых объекта А и В. Предположим, А>В.
чаем ряд предпочтения, состоящий из двух объектов.
Каждый следующий объект С, также выбранный произвольно,
поочередно сравнивают с каждым из объектов уже составленного
ряда, начиная с первого (или последнего). Сравнение происходит
до тех пор, пока справа от сравниваемого объекта не окажется
нее предпочтительный по сравнению с ним объект, а слева —
лее предпочтительный. Тогда сравниваемый объект С вдвигают в
ряд предпочтения между указанными объектами. После
ния всех объектов А, В, С, D, Е получаем ряд предпочтения
A>B>C>D>E.
Нумеруя объекты в полученном ряду в порядке их
ния, получаем ранжировку.
Возможна ситуация, когда место расположения в ряду
почтения одного объекта, например С, влияет на взаимное
ложение двух других объектов А и В (случай взаимовлияния
расположения объектов). При использовании метода
тельного сравнения это взаимовлияние эксперт, как правило,
ко замечает и учитывает, так как все объекты одновременно
дятся в поле зрения эксперта. Например, устанавливая место для
объекта С, он может, в зависимости от выбора этого места,
нить расположение объектов А и В в ранее составленном ряду
предпочтения. При этом окончательная ранжировка эксперта
лучается всегда транзитивной, то есть в ней невозможны случаи,
когда А>В, В>С, С>А. Напротив, при использовании метода
ных сравнений эксперт сосредоточивает свое внимание на паре
объектов, упуская из виду расположение остальных. Эксперту
раздо труднее заметить взаимовлияние расположения
мых объектов и изменить ранее установленное предпочтение.
этому, а также из-за большого объема работы, вызывающего
68
усталость эксперта, в матрице парных сравнений часто
ваются нетранзитивности.
Метод полных попарных сравнений состоит в том, что
перт рассматривает все возможные сочетания объектов по два,
устанавливая каждый раз предпочтение одного объекта другому.
При этом объекты в каждой паре предъявляют один раз в одном
порядке, а другой раз — в противоположном. Это имеет смысл в
тех случаях, когда можно предположить, что ощущения эксперта
будут зависеть от порядка предъявления объектов. Например,
если эксперту предстоит сравнивать интенсивность окраски
верхности двух образцов, причем их нельзя рассматривать
временно, то можно предположить, что порядок предъявления
образцов скажется на силе восприятия. Поэтому такие образцы
следует предъявлять эксперту сначала в одном порядке, а через
некоторое время — в другом.
Результаты полных попарных сравнений заносят в
ную матрицу следующим образом. Справа от главной диагонали
располагают оценки предпочтений, полученных в тех предъяв-
леньях, когда какой-либо объект, записанный выше другого,
предъявляют первым. Слева записывают результаты тех сравнений,
когда первым предъявляют объект, записанный ниже другого.
Результаты фиксируют следующим образом. Если объект,
предъявляемый первым, предпочитают второму, то в
вующую ячейку проставляют единицу. В противном случае
ставляют ноль.
Например, пусть эксперту предъявляют объект В, а затем А и
эксперт предпочитает В. Тогда слева от главной диагонали в
ячейке столбца А проставляют 1. Если при предъявлении А, а
тем В он вновь предпочитает В, то в ячейке строки А столбца В
проставляют 0.
Заполненная матрица парных сравнений имеет вид:
А
В
: С
j D
А
X
1
0
0
В
0
X
0
0
С
1
1
X
0
D ;
1
1
0 \
X
69
После того, как матрица парных сравнений заполнена,
ет проверить ее на непротиворечивость. Это означает, что в
дых двух ячейках, расположенных симметрично относительно
главной диагонали, не должны стоять одинаковые цифры. Если
для каких-либо двух ячеек это условие не выполнено, то стоящие
в них цифры заменяют дробью '/г, что соответствует отношению
безразличия. В нашем примере таково соотношение объектов С и
D. Исправленная таким образом матрица принимает вид:
А
В
С
D
А
X
1
0
0
В
0
X
0
0
С
1
1
X
'/2
D
1
1
'/,
X
После устранения противоречивости следует проверить
рицу на нетранзитивность. Если перестановкой строк и столбцов
удается добиться, чтобы все большие оценки расположились по
одну сторону от главной диагонали, то представленная в матрице
система предпочтений эксперта транзитивна. После такой
становки расположение объектов по сторонам матрицы будет
соответствовать ряду предпочтения данного эксперта.
Нетранзитивная система предпочтений появляется,
мому, только за счет невнимательности эксперта, то есть за счет
того, что при одном из сравнений он не учитывал тот или иной
фактор. Достаточно обратить внимание эксперта на
ность предложенной им системы предпочтений, чтобы эксперт
обнаружил и устранил ошибку.
Некоторые авторы полагают, что нетранзитивность
ровки говорит о неспособности эксперта провести
щее сравнение, хотя эксперт и сохраняет иллюзию, что для него
это доступно. При дополнительном опросе эксперт устраняет
транзитивность не потому, что он имеет для этого достаточные
основания, но лишь из стремления (может быть, неосознанного)
избежать явных противоречий в своих оценках. Поэтому эти ав-
70
торы предлагают сохранять нетранзитивные ранжировки для
дальнейшей обработки.
Однако представляется, что дополнительный опрос эксперта
в случае нарушения транзитивности все же следует проводить. В
ходе этого опроса можно выяснить основания для предпочтения,
которыми руководствуется эксперт. Аргументы, указанные
пертом, могут оказаться полезными и в дальнейшем, при
дении обсуждений.
Метод частичных попарных сравнений отличается от метода
полных попарных сравнений тем, что эксперт определяет
почтения не для всех возможных пар объектов, а только для
торых пар, причем однократно, то есть повторное предъявление
объектов в обратной последовательности не производят.
ство сравнений при этом обычно стараются сделать
ным, достаточным для уверенного построения ряда предпочтения.
Результаты частичных попарных сравнений записывают в
матрицы парных сравнений. Построение ранжировки по данным
матрицы осуществляют так же, как и при использовании полных
попарных сравнений.
4.1.4. Представление о согласованности ранжировок
Целью статистической обработки индивидуальных
вок является получение «обобщенной» ранжировки, которая
которым «наилучшим» образом представляет обобщенное
ние экспертов в случае достаточной согласованности их
дуальных ранжировок между собой. Однако понятие
шей» согласованности различно для разных задач (в том числе
приведенных выше в п. 4.1). Выбор статистических характеристик
среднего, согласованности, как и всех операций статобработки,
также зависит от содержания решаемой квалиметрической задачи.
Вне зависимости от вида задачи в группе индивидуальных
ранжировок (как и в экспертных оценках других видов) выделяют
рассогласованность экспертов по типу «школы» и по типу
ков».
71
«Школой» называют часть экспертов из состава экспертной
группы, чьи индивидуальные ранжировки достаточно
ны между собой, но отличаются от обобщенной ранжировки
новной, большей, части экспертов, чьи индивидуальные
ровки также хорошо согласованы между собой, но рассогласованы
с обобщенной ранжировкой экспертов, образующих «школу».
«Еретиком» называют отдельного эксперта, чья ранжировка
не согласована (по принятому для этой задачи критерию) с
щенной ранжировкой согласованной экспертной группы.
Как правило, получение обобщенной ранжировки возможно
только для индивидуальных ранжировок, принадлежащих к одной
согласованной группе.
Любые две ранжировки, различающиеся взаимным
жением хотя бы двух объектов, можно считать согласованными в
одних задачах и рассогласованными в других задачах.
Например, ранжировки различающиеся расположением
ектов Л и В:
A>B>C>D,
B>A>C>D.
являются согласованными, если задача состоит в выборе 2-х
дирующих объектов из 4-х (например, в задаче определения
оритета НИР). Тогда обобщенная ранжировка будет иметь вид:
(A~B)>C>D.
Если же задача состоит в выборе одного лидирующего
екта, то эти же ранжировки нельзя считать согласованными.
Характеристики положения и характеристики
ности положения объектов, входящих в ранжировки
Пусть имеется т экспертов, производящих ранжирование п
объектов. Положение объекта А во всей совокупности
вок можно характеризовать с помощью следующих показателей:
1) частость присвоения объекту А ранга 1 (частость
мально возможных оценок для объекта Л):
A) _ Число экспертов, присвоивших объекту А ранг 1 _
Оби fee число экспертов
72
2) частость присвоения объекту А ранга не более г:
(<,) _ Число эксп., присвоивших объекту А ранги от 1 до г
Л Общее число экспертов
3) модальный ранг объекта гм„ — ранг, присвоенный объекту
наибольшим числом экспертов;
4) для каждой пары объектов А и В может быть определена
частость предпочтения объекта А объекту В и наоборот. Эти
личины обозначают Р(А>В) или Р(В>А). Меньшую из этих
чин используют для характеристики неопределенности взаимного
расположения объектов. Таким образом, максимальная
ленность расположения объекта будет равна 0,5.
Отношение чисел экспертов, предложивших предпочтения
А>В и В>А, то есть п(А>В):п(В>А), представляет собой удобную
форму записи промежуточных результатов при решении
ческих задач.
Неопределенность положения объекта А по совокупности
экспертных ранжировок можно характеризовать с помощью таких
показателей:
5) концентрация расположения оценок объекта А возле
дального ранга: указывает долю экспертов, присвоивших объекту
модальный ранг и два ранга смежных с ним;
6) размах (диапазон) отклонений объекта: указывают
симальный и минимальный ранги, присвоенные объекту.
Существуют формально (безотносительно к содержанию
дачи) вводимые характеристики согласованности ранжировок,
основанные на произвольно выбираемой мере «расстояния»
ду ними. В задачах квалиметрии их используют редко. Тем не
нее рассмотрим основные из них.
4.1.5. Формальные характеристики взаимосвязи
сти) ранжировок
Близость двух ранжировок может быть оценена числом
бых фиксированных «элементарных» операций, переводящих од-
73
ну из них в другую. Простейшей из таких операций является
версия» — перемена мест пары рядом стоящих объектов.
мер, ранжировка
В>С>Л>1)>Е
может быть приведена к расположению по алфавиту переменой
мест объектов Л и С, а затем объектов Л и В. Таким образом,
стояние между этими ранжировками — две инверсии. Этот
затель обычно обозначают S (или S„ если по контексту требуется
учесть также неинвертированные расположения объектов,
чество которых обозначают S+).
Максимальное расстояние между двумя ранжировками,
дая из которых содержит п объектов равно:
п(п -1)
5,,„,с=^у-- D.3)
При сравнении двух ранжировок вычисляют S. и величину
S+ = 5маКс - S- Отношение их разницы 5 = 5+ - 5. к максимальной
величине S_wlhC дает так называемый коэффициент ранговой
ляции Кендэла:
25
т = -Г-у D.4)
Значения т меняются в пределах от-1 до +1. Значения,
кие к +1 говорят о значительной близости суждений экспертов,
значения, близкие к 0 — об отсутствии связи между суждениями
и значения, близкие к -1 — о противоположности суждений.
Если бы в качестве элементарной операции мы приняли факт
перемещения одного объекта со своего места на другое
мо от числа позиций, на которые он перемещен, то аналогично
был бы получен коэффициент ранговой корреляции Спирмена:
74
где d — разница рангов, присвоенных каждому отдельному
екту в двух ранжировках. Суммирование производится по всем
объектам.
Для характеристики согласованности группы
ных ранжировок наиболее часто применяют коэффициент кон-
кордации:
12-УE, -Sf
т-{п — п)
где:
5, — сумма рангов, полученных данным объектом во всех
ранжировках;
S — средняя сумма рангов, полученная одним объектом;
т — число экспертов;
п — число ранжируемых объектов.
Между W, рассчитываемым по формуле D.6), и
том ранговой корреляции Спирмена имеется однозначная
циональная связь. Если для всех возможных пар ранжировок / и J
из данной группы вычислить коэффициенты рц, то можно W найти
по формуле
mW = 1 + —Ур.. . D.7)
т
Таким образом W, вычисляемый по формуле D.7) является
«спирменовским», хотя и называется коэффициентом Кендэла и
Смита. Если вместо р Спирмена подставить в формулу D.7)
чения какого-либо другого коэффициента ранговой корреляции
между парами ранжировок, например, т Кендэла, то можно
чить «кендэловский» и другие коэффициенты конкордации.
нако эти показатели никогда не используют на практике, так как
неясны их преимущества перед «спирменовским», вычисляемым
по формуле D.7).
Коэффициент конкордации меняется в пределах от 0 (полная
несогласованность) до 1 (полная согласованность). Его можно
75
применять для сравнения согласованности двух групп экспертных
ранжировок, например, при назначении ранговых оценок одной и
той же группой экспертов с использованием различных методов.
Согласованность группы считают высокой при W> 0,8. Но чаще
W применяют для поиска экспертов, предложивших ранжировки,
наиболее отличные от групповых, ■— «еретиков».
При этом W вычисляют для всей группы экспертов в целом, а
затем для группы, из которой один эксперт исключен. Если при
этом W возрастает, то это означает, что исключенная ранжировка
«разрыхляла» группу. Исключая поочередно каждого эксперта,
находят эксперта, ранжировка которого наиболее сильно
рыхляла» группу и, следовательно, в наибольшей степени
лась от групповых оценок.
Если подобный анализ проводят для большой группы
тов, причем после исключения первого «еретика» анализ проводят
снова и отбирают второго «еретика» и так далее, то можно
тить, что после исключения г'-го эксперта дальнейшее
ние приводит к снижению W. Это позволяет обнаружить группу
экспертов, оценки которых наиболее близки — экспертов одной
«школы».
4.2. Алгоритмы обобщения ранжировок
Выбор алгоритма получения обобщенной ранжировки, как и
выбор других операций статистической обработки ранжировок,
зависит от сущности решаемой задачи. Алгоритмы обобщения
могут быть сформулированы с использованием представленных в
п. 4.1.4 характеристик положения и вариабельности положения
объектов, а также и с учетом содержательных положений.
ствуют алгоритмы чисто описательные, не опирающиеся на
кие-либо числовые оценки. В настоящем разделе будут
рены некоторые, наиболее употребительные алгоритмы, однако
нельзя абсолютизировать их роль. В квалиметрии могут
титься задачи, требующие применения иных, в том числе ранее не
существовавших, алгоритмов.
76
4.2.1. Наиболее вероятная ранжировка
Пусть имеется ряд, состоящий из объектов: А, В, С ..., и т
экспертов производят индивидуальные ранжировки этих
тов. Положим, для простоты изложения, что одинаковые ранги
разным объектам эксперты не присваивают. Тогда частости
почтений Р{А>В)... (см. п. 4.1.4) могут служить оценками
ностей предпочтений. Каждую пару объектов можно расположить
в порядке, соответствующем большей из вероятностей
тения: А>В\ А>С\ В>С ..., и таким образом, может быть построен
ряд наиболее вероятного предпочтения: А>В>С...
Применение алгоритма наиболее вероятной ранжировки в
некоторых случаях невозможно. Например, если взять
ки трех объектов:
А>В>С;
В>С>А;
С>А>В,
то при расположении объектов по наибольшей вероятности
чаем:
А>ВB : 1); В>СB : 1); С>ЛB : 1).
Таким образом, эта группа ранжировок по отношению к
ному алгоритму рассогласована и чисто формальным способом не
может быть обобщена. Возникшие противоречивые оценки
ны быть пересмотрены экспертами, то есть должен быть
влен переход к содержательному анализу или же выбран другой
алгоритм обобщения.
4.2.2. Алгоритм выделения лидера
Основу алгоритма составляет правило выделения лидера. Это
правило предусматривает все случаи, когда объект может быть
признан первым в группе объектов.
Пример правила выделения лидера. Объект А считают
ром группы, если он занимает первое место в большем числе
жировок, чем любой другой объект. Если два объекта (А и В)
занимают первое место в одинаковом числе ранжировок, то лиде-
77
ром считают тот из них, который занимает большее число вторых
мест и т.д.
Алгоритм выделения лидера состоит в том, что после
ления лидирующего объекта этот объект исключают из всех
жировок и правило выделения применяют к оставшимся объектам.
В приведенном примере правило выделения лидера «мягкое».
Оно позволяет провести обобщение при самом незначительном
предпочтении одного из объектов другому. Однако это правило
может быть принято и настолько «жестким», чтобы гарантировать
любую степень уверенности в предпочтении экспертами одного
из объектов.
Пример жесткого правила выделения лидера. Объект А
ется лидером группы если он занимает первое место не менее, чем
в 9/|0 всех ранжировок.
Бхли применение такого жесткого правила не позволяет
делить очередной лидирующий объект, то можно:
1) установить отношение безразличия между претендующим
на лидерство объектом В и следующим за ним С и, рассматривая
их совместно как единый объект (В ~ С), проверить его лидерство
по отношению к следующим объектам;
2) изменить алгоритм обобщения;
3) перейти к содержательной операции обобщения с
чением экспертов.
4.2.3. Алгоритм перехода границы
Если смысл обобщения состоит в выделении только группы
объектов, занявших первые к мест в обобщенной ранжировке (см.
п. 4.1. и пример 4.4 — задача приоритета), то важен именно
прос о том, по какую сторону установленной границы расположен
тот или иной ранжируемый объект. Алгоритм обобщения должен
быть построен с учетом этого обстоятельства.
Алгоритм перехода границы состоит в том, что £-1 объектов
выделяют по мягкому правилу выделения лидера. Последний же,
к-й объект, выделяют по достаточно жесткому правилу. Это по-
78
зволяет достигнуть необходимой уверенности в рациональном
отборе каждого из к первых объектов по сравнению с каждым из
последующих. Ксли же отобрать к-н объект по жесткому правилу
не удается, то его исключаю! из ранжировок и по жесткому
вилу проверяю! выбор (k-l)-vo объекта и гак далее, до тех пор,
цока некоторый /-Й объект A<к) не окажется отобранным с
ной уверенностью. Принятие решения в отношении объектов,
чиная с /+1, требует в этом случае проведения содержательных
операций.
4.2.4. Алгоритм выбора наиболее согласованно проран-
жированных объектов
В некоторых задачах (см. п. 4.1) обобщенную ранжировку
требуется составить из объектов, одинаковым образом
женных друг относительно друга всеми экспертами. То есть, если
например, имеем ранжировки:
A>B>C>D:
D>B>C>A,
то стабильно здесь только предпочтение В>С. Все остальные
предпочтения в ранжировках различны. Следовательно и
щенная ранжировка будет иметь вид В>С.
Для выявления наиболее согласованно проранжированных
объектов можно применить матрицу предпочтений (см. пример
4.3). В ячейках матрицы приводят частоты прямого и обратного
предпочтений экспертами объектов, проставленных в
вующих строке и столбце матрицы. Далее выбирают в первой
строке ячейку с абсолютным предпочтением (т.е. все эксперты
придерживаются одинакового мнения). Пусть это будет ячейка с
объектами А и В. Тогда, рассматривая столбец и строку,
ствующие объекту В, вновь находят ячейку с абсолютным
почтением для объектов В и С и т.д. до исчерпания всех объектов.
При этом получают одну из возможных обобщенных ранжировок.
79
4.2.5. Соотношение обобщенных ранжировок, полученных
с помощью различных алгоритмов обобщения
13 связи с изложенным в и. 4.1.1 и в пи. 4.2.1-4.3.5 может
никнуть вопрос: не приводит ли простое расположение объектов
по возрастанию суммы рангов к тем же результатам, что и
нение рассмотренных алгоритмов?
Во многих случаях, действительно, обобщенные ранжировки
получаются тождественными. Однако возможны ситуации, когда
результаты обобщения различны. Возьмем, например, ранжировки:
A>B>C>D;
A>B>C>D;
B>C>D>A.
Применение алгоритма выделения лидера (мягкое правило),
приводит к ранжировке
А>В>С>1).
Расположение же объектов по возрастанию суммы рангов да-
Ci раНлчИрОЬку
B>A>C>D.
Вот, например, данные практической задачи, взятые из
ты [13]. Требовалось определить, какой элемент установки
тропогружного насоса (УЭЦН) требует повышения надежности в
первую очередь. Экспертам было предложено проранжировать
модули УЭЦН по частоте отказов. Экспертную группу составили
6 человек. Результаты экспертного опроса приведены в табл. 4.1.
В табл. 4.2 представлены результаты обобщения частных
ранжировок по шести методам.
Как видно из табл. 4.2, обобщенная ранжировка при
ных методах обобщения изменяется незначительно. Первые три
ранга во всех случаях получают одни и те же объекты.
ния начинаются с объектов, имеющих 4-й и 5-й ранги. Как можно
увидеть с помощью данных, приведенных в табл. 4.1, эти
дения обусловлены явно «еретическими» оценками экспертов 4, 5 и 6.
80
Таблица 4.1
PejyjibTaTbi экспертного ранжирования
частоты отказов элементов УЭЦН
Элемент У ЭЦП.
вид отказа
Кабель
Электродвигатель
Насос
Эксплуатационные
причины
Гидрозащита
Станция управления
ПК Г
«Полет»
1 а юсепаратор
Трансформатор
Эксперт
1
2
3
4
5
6
Ранг
2
1
4
3
5
8
8
8
8
10
1
2
3
4
7
5,5
9,5
9,5
8
5,5
2
3
4
1
8
5
9.5
6,5
9,5
6,5
1,5
1,5
3
7,5
4
7,5
7,5
7,5
7,5
7,5
1
4
3
8
5
8
2
8
8
10
3
2
1
7
7
7
7
7
7
9
Сумма
рангов
(средний
ранг)
10,5A,75)
13,5B,25)
1 8 C)
30.5 E.08)
36 F)
41 F,83)
43,5 G,25)
46.5 G.75)
48(8)
48,5 G,08)
Практически, в задачах квалиметрии чаще всею требуется
выделить именно объекты, занимающие первые места в
ной ранжировке, и здесь, как можно видеть, различные способы
обработки дают хорошо совпадающие результаты. Однако, если
бы имело значение относительное расположение всех элементов в
ранжировке (а такие задачи встречаются все-таки довольно часто),
то выбор метода обобщения влиял бы на результат экспертизы.
Таким образом, для различных алгоритмов результаты
менения, вообще говоря, различны. Но главное не в том, получены
ли одинаковые или различные результаты, а в том, что
ние алгоритма должно основываться на логике принятия решения
в конкретной задаче. Тогда открывается возможность для
мания границ применяемости алгоритма и, в случае
сти, для дальнейшего усовершенствования алгоритма. В методах
квалиметрии именно логичная последовательность действий,
гичный выбор способа выполнения операций, а не формальная
обработка данных необходима для достижения успеха.
81
Таблица 4.2
Итоговые ранги по некоторым методам обобщения
Элемент УЭЦН,
вид отказа
Кабель
Электроде и гател ь
Насос
Эксплуатационные
причины
Гидрозащита
Станция
управления
НКТ
«Полет»
Трансформатор
Газосепаратор
Метод обобщения
ма
рангов
ление
лидера
(по
вому
месту)
ление
лидера
(по
двум
первым
местам)
ление
лидера
(по
трем
первым
местам)
ление
сайдера
Аль-
тер-
нати-
ва
Кон-
дор-
се*
Итоговый ранг
1
2
3
4
5
6
7
8
10
9
1
2
3
4
6
7
5
9
8
10
1
2
3
4
6
7
5
9
8
10
1
2
3
4
5
7
6
9
8
10
1
2
3
5
4
6
9
7
10
8
1
2
3
4
5
6
9
9
10
9
В
нем
1
2
3
4,2
5,2
6,5
6,8
8,5
9
9,3
* Примечание. См., например, [5, 12].
4.3. Примеры решения задач,
связанных с обработкой ранжировок
Пример 4.1. Задача приоритета.
При формировании плана инвестируемых исследований и
работок в условиях ограниченного финансирования из числа
ленных 8 тем могут быть отобраны только 4. Выполнено
ние заявленных тем с точки зрения целесообразности их включения
в план пятью экспертами. Требуется проверить согласованность
ранжировок экспертов и построить обобщенную ранжировку.
82
Таблица 4.3
Исходные данные к примеру построения
обобщенной ранжировки способом выделения лидера
'),
ъ
э.,
э4
Ъ
1
1
1
4
3
2
3
3
2
2
.3
2
4
1
5
4
4
2
3
1
5
6
6
7
7
6
8
5
8
4
7
5
8
5
8
8
7
7
6
6
Решение
Поскольку нам требуется выбрать ровно 4 ранжируемых
та, то следует применить алгоритм перехода границы. Применяя
кое правило выделения лидера, находим первые 3 выделенных
екта: 1>3>2>...
После вычеркивания этих объектов из всех ранжировок, получаем:
Э, 4 5 6 7 8
32 4 6 8 5 7
33 4 6 5 8 7
34 4 7 8 5 6
35 5 7 4 8 6
Итак, мы видим, что объекты 1, 2, 3 входят в формируемую
группу совершенно уверенно, голосами всех 5 экспертов. Объект 4
входит в эту группу 4 голосами из 5. Эксперта 5 можно
вать как «еретика», так как в отношении объекта 4 он
ся особого суждения.
Если, по условиям работы, можно пренебречь его суждением, то
получаем обобщенную ранжировку:
A>3>2)>4>E~6~7~8).
Если бы встал вопрос о взаимном расположении аутсайдеров,
то это можно выполнить двумя путями: последовательно исключая
лидеров или же последовательно исключая аутсайдеров. В обоих
случаях получаем:
5>6>8>7.
83
Пример 4.2. Выбор комплектации изделия.
При выборе для запуска в производство наиболее актуальной
комплектации ЭЦН на предприятии, производящем это
ние, было опрошено 7 экспертов, представлявших различные
ные компании (потребителей электропогружного оборудования).
перты проранжировали варианты исполнения деталей и узлов ЭЦН
(см. ниже перечень и табл. 4.5), не относящиеся к базовой
тации (табл. 4.4), с точки зрения предпочтительности их
ния в новой модификации насоса.
Таблица 4.4
Базовая комплектация насоса
Исполнение
насоса
Без
точных опор
Исполнение
раб. колеса
Одноопорное
Чугун
СЧ03Ц01БТУ
26-411-001-88;
Исполнение
вала
Пруток
Д-Г-З-Т-
03Х14Н7ВТУ
14-1-3645-83
Шайба
леса
Текстолит
ПТК,
ший сорт
ГОСТ 5-78
Втулка
Сталь 40X14
ГОСТ 5632-72
Перечень предложенных исполнений элементов ЭЦН:
Колесо рабочее:
А1. Чугун ЧН16Д7ГХШ ТУ 26-06-1305-95;
А2. Полиамид ПА610-РМ1-Т1 ТУ 6-05-2057-87;
A3. Порошок ЖГр1Д15 ТУ3631-001-24064238-94
Вал насоса:
Б1. Пруток Д-Н65Д29ЮТ-ИШ (К-монель) ТУ 14-1-3917-85;
Б2. Пруток Д-Г-3-Т-38ХМЮА ГОСТ.
Шайба колеса:
81. Резина Ш-ЗВ-12 3825с ТУ 381051082-86;
82. Графит силицированный СГ-П ТУ 48-20-89-90;
Защитная втулка:
П. Латунь Л63 ГОСТ 1066-80;
Г2. Бронза 04Ц4С17 ГОСТ 613-79;
ГЗ. Полиамид ПА610-РМ1-Т1 ТУ 6-05-2057-87;
Г4. Порошок ЖГр1Д15 ТУ3631-001-24064238-94.
84
Д. Промежуточные опоры
Е. Двухопорное рабочее колесо
Требуется: выяснить, какие сочетания различных исполнений
элементов ЭЦН образуют наиболее предпочтительные комплектации
для разных потребителей и построить обобщенные ранжировки.
Таблица 4.5
Ранжировки экспертов относительно предпочтительности
ния вариантов исполнения узлов в новой модификации насоса
Исполнения
элементов ЭЦН
А1
А2
ЛЗ
Б1
Б2
В1
В2
П
Г2
ГЗ
Г4
Д
Е
э,
5
6
7
3
8
4
9
10
10
10
10
1
2
э2
11
4
3
1
12
13
10
9
2
5
6
7
8
Эксперть
Э3
4
7
7
3
9
5
6
10
11
13
13
1
2
э4
13
13
13
10
10
12
12
9
9
9
9
1
7
э5
10
13
13
1
3
11
9
4
2
8
5
6
7
э6
7
10
5
2
12
3
4
6
1
11
13
8
9
э7
3
10
11
4
12
5
13
7
8
7
9
2
1
При решении необходимо учитывать следующее:
1) в комплектацию не могут быть включены объекты,
шие в рамках согласованной группы ранг ниже 6, т.к.
ся шесть элементов ЭЦН и все предложенные исполнения
тов при их изготовлении будут иметь себестоимость выше, чем у
ответствующих элементов в базовом варианте;
2) в комплектацию не может быть одновременно включено
сколько объектов одной группы (обозначенные одной и той же
вой, например, А1 и А2), т.к., допустим, рабочее колесо не может
быть изготовлено одновременно из двух различных марок чугуна.
85
Решение
Прежде всего формируем согласованные группы экспертов.
гласованность понимаем как совпадение суждений в отношении
скольких первых объектов. Берем эксперта 1 и подбираем ближайших
к нему в отношении объекта Д (ранг 1) эксперта 3. На схеме а (табл.
4.6) видно, что здесь возможны две группы экспертов: 1, 3, 4 и 2, 5.
Включаем теперь объекты ранга 2 (схема б). Согласованными
оказываются снова две группы: 1, 3, 7 и 2, 5, 6 (в отношении объектов
Д, Е и Б1, Г2 соответственно).
Включаем в рассмотрение объекты ранга 3 (схема в). Третий
объект внес рассогласованность в первую группу, в ней остались
только эксперты 1 и 3, при этом они придерживаются одинакового
мнения относительно трех включенных объектов (Б1, Д, Е). Вторая
группа, напротив, осталась без изменений как по составу экспертов,
так и по предпочтительным объектам (Б1, Г2).
Включаем в рассмотрение объекты ранга 4 (схема г). Мнения
экспертов 1 и 3 остались согласованными по тем же трем объектам
(Б1, Д, Е). При этом эксперт 3 образовал группу с экспертом 7 по
тырем объектам (А1, Б1, Д, Е). В группе экспертов 2, 5, 6 изменений
опять не произошло. Отметим, что все согласованные группы
душны в отношении Б1 (необходимости включения этой
ции в комплектацию ЭЦН).
Включаем в рассмотрение объекты ранга 5 (схема д). В
нии пяти объектов (А1, Б1, В1, Д, Е) согласованными оказываются
мнения экспертов 1, 3, 7, т.е. группа приобрела состав, полученный
после второй итерации (см. схему б). Состав и мнение группы
пертов 2, 5, 6 — без изменений.
Включаем в рассмотрение объекты ранга 6 (схема е). Картина
предыдущей итерации осталась без изменений, кроме того, что
ние эксперта 5 относительно объекта Д оказалось согласованным с
мнением группы экспертов 1, 3, 7.
Так как требовалось выяснить предпочтение потребителей в
ношении исполнений шести элементов ЭЦН, то дальнейшие
ции не имеют смысла.
Какие же решения следует принять по результатам экспертного
опроса? Налицо две согласованные группы экспертов (школы): 1, 3, 7
и 2, 5, 6. Они придерживаются одинакового мнения в отношении
групп объектов {А1, Б1, В1, Д, Е} и {Б1, Г2}. Отсюда очевидно, что два
варианта комплектации ЭЦН, приведенные в табл. 4.7, следует
пустить в (круп'но)серийное производство.
86
Таблица 4.6
Последовательные шаги формирования групп экспертов (школ),
придерживающихся близких представлений относительно
предпочтительности ранжируемых объектов (к примеру 4.2)
Схема а
А1
А2
A3
щшшш
Б2
В1
В2
П
Г2
ГЗ
Г4
шши
Е
ЩЦ
1
111
III
в
1
И
1
1Ш
Э4
1
шшшш
1
Э6
1
Э7
1
Схема б
87
Схема к
\жмш0ш!шщ
А1
А2
A3
Б2
В1
В2
П
ГЗ
Г4
1«Я
Схем
34
ш11
А2
A3
Б2
В1
В2
П
ГЗ
Г4
88
Схема д
$ШШШж
Э4
ШШ^'/Ш/Ш^ШШ^М
жшжшмж
УШШ/л
А2
A3
Б2
В2
П
Г2
Г4
ШИ1
Ш
Схема е
34
А2
A3
Б2
ш
В2
П
ГЗ
Г4
89
Таблица 4.7
Варианты комплектации -ЩН,
принятые по результатам экспертного опроса
Исполнения
элементов,
денные в
вую
цию
Б1, Г2
А1, Б1, В1, Д, Е
нение
насоса
Без
ных
опор
С про-
межу-
точны-
ми
рами
Исполнение
рабочего
колеса
Одноопорное
Чугун
СЧ03Ц01Б
ТУ 26-41 1-
001-88
Двухопорное
Чугун
ЧН16Д7ГХШ
ТУ 26-06-
1305-95
Исполнение
вала
Пруток Д-
Н65Д29ЮТ-
ИШ
(К-монель)
ТУ 14-1-
3917-85
Пруток Д-
Н65Д29ЮТ-
ИШ (К-
монель) ТУ
14-1-3917-85
Шайба
колеса
Текстолит
ПТК,
ший сорт
ГОСТ 5-78
Резина Ш-
ЗВ-12 3825с
ТУ
381051082-
86
В гул ка
Бронза
04Ц4С17
ГОСТ
613-79
Сталь
40X14
ГОСТ
5632-72
Эксперт 5 — «еретик». По его суждению наилучшей
цией является базовый вариант при условии применения
точных опор. Следует ли начинать выпуск таких насосов? Если
требитель, которого представляет эксперт 5, важен для предприятия
и гарантирует большой объем заказа, то, наверное, да. Теоретически
предприятие может выпускать неограниченное количество
каций изделия одного и того же типоразмера, индивидуально подходя
к каждому потребителю, но чаще всего это нецелесообразно. Скорее
следует ограничиться несколькими модификациями, которые могут
найти наибольшее число потребителей. Такими модификациями и
являются две выявленные (табл. 4.7). Поэтому результаты
зы всегда необходимо сопоставлять с реальными возможностями
предприятия.
Кроме рассмотренных школ, согласованных в отношении двух и
более объектов, экспертиза выявила четыре пары экспертов,
сованных относительно одного объекта (табл. 4.8). Модификации
ЭЦН, включающие эти объекты, имеют «право на жизнь», в первую
90
очередь, после указанных в табл. 4.7 и «еретичной» модификации
эксперта 5. Его вариант комплектации на третьем месте, т.к. в
шении необходимости использования промежуточных опор с ним
гласна целая «школа».
Таблица 4.8
Пары экспертов, согласованные относительно одного из объектов
(к примеру 4.2)
Согласованные пары экспертов
Э5 —Э6
Э1 — Э2
ЭЗ — Э6
Э2 — Э6
Объекты согласования
П
А2
В2
Г4
Итак, руководству предприятия следует принять следующий
порядок запуска в серию модификаций ЭЦН (указаны исполнения
вариантов насоса, которые нужно использовать вместо
вующих в базовом варианте) при условии, что все они могут быть
освоены заводом:
{А1, Б1, В1, Д, Е} ~ {Б1, Г2} > {Б1} > {П} - {А2} ~ {В2} > {Г4}.
Пример 4.3. Выбор наиболее согласованно проранжированных
объектов.
При оценивании эстетической составляющей качества объектов
и в некоторых других случаях используют так называемый
ный» (или «ценностный») ряд, составленный из 4-6 лучших в
ческом отношении объектов данного назначения (это могут быть
автомашины, станки определенного назначения, изделия бытовой
техники и др.). Для составления базисного ряда из некоторого числа
A0-15) таких объектов выбирают те, которые всеми экспертами
положены по эстетическому восприятию одинаково. Таким образом,
из представленных экспертами ранжировок т объектов требуется
выбрать п < т объектов, проранжированных всеми экспертами
наково.
Допустим, 4 эксперта проранжировали по предпочтению 10
ектов — А, Б, В, ... , К (см. табл. 4.9), и теперь требуется отобрать
5 некоторых объектов, в предпочтениях которых эксперты полностью
согласны.
91
Таблица 4.9
Индивидуальные экспертные ранжировки 10 объектов (к примеру 4.3)
:
ты
э,
! э2
1 э3
! э4
А
1
2
2
7
Б
2
1
6
1
В
3
4
3
2
Г
4
3
4
4
Объекты
Д | Е
5
10
5
3
6
5
8
5
Ж
7
8
10
6
3
8
7
1
10
И
9
6
9
8
К
10
9
7
9
Решение
Для удобства расположим объекты по мягкому правилу
ния лидера:
Б>А>В>Г>Д>Е>Ж>3>К>И.
В этой же последовательности запишем объекты в верхней
строке и левом столбце матрицы предпочтений (табл. 4.10).
В ячейках матрицы предпочтений слева вверху помещено число
экспертов, предложивших предпочтение XI Y, где X — объект в
ке, Y — объект в столбце. Справа внизу приведено число экспертов,
предложивших обратное предпочтение. Понятно, что нас интересует
только ячейки с заполнением 4/0 (или 0/4), т.к. именно это
ние говорит о полном согласии экспертов в предпочтениях. Из этой
матрицы следует извлечь цепочки объектов с полностью
ными предпочтениями.
Начнем с объекта Б. Просматривая строку, в которой приведены
оценки его предпочтения перед другими объектами (первую),
дим ячейку с полным согласием, т.е. 4/0. Это ячейка Б/В. Запишем Б >
В и от этой ячейки повернем вниз до пересечения с главной
лью, а затем продолжим рассмотрение вдоль строки В (третья).
Здесь полное предпочтение обнаруживается в ячейке В/Д.
ваем Б > В > Д и снова переходим к строке, на которой столбец Д
пересекается с главной диагональю, т.е. к строке Д. Аналогично
ходим предпочтения Д > 3 и 3 > И. Итак, первая цепочка полных
предпочтений имеет вид:
Б>В>Д>3>И.
Вернемся снова к первой строке и на этот раз пропустим ячейку
Б/В и начнем с ячейки Б/Г, где также обнаруживается полное
сие предпочтений: 4/0. Запишем Б > Г и, как в предыдущем случае,
продолжим рассмотрение по строке Г (четвертой). И так далее. На
этот раз выявляется цепочка полных предпочтений:
Б>Г>Д>3>И.
92
Таблица 4.10
Матрица предпочтений 10 объектов 4 экспертами
!Б
А
В
Г
д
:Е
Ж
3
:К
Ш
Б
X
А
2
2
X
В
4
0
3
1
X
г
4
0
3
1
2
2
X
Д
4
0
3
1
4
0
4
0
X
Е
4
0
3
1
3
1
3
1
3
1
X
ж
3
1
3
1
з
1
3
1
3
1
2
2
X
3
4
0
К
4
0
3 I 3
1 ! 1
4 Г 4
0 i 0
4
0
4
0
3
1
2
2
X
4
0
3
1
3
1
2
2
2
2
X
И !
4
0!
4
0
4
0
4
0
4
0
4
0
3
1
4
0
3
1
X
Продолжая рассматривать первую строку, находим цепочки
ных предпочтений:
Б>Д>3;Б>Е>И;Б>3>И;Б>И.
Теперь используем строку, соответствующую объекту А (вторую)
и находим цепочку: А > И.
При аналогичной проверке других строк выявляются цепочки:
В>Д>3>И; В>3>И; В>К; В>И;
Г>Д>3>И; Г>3>И; Г>К; Г>И;
Д>3>И; Д>И;
Е>И; 3>И.
Таким образом, выявлены все возможные варианты
ния объектов при полном согласии в предпочтениях экспертов. По-
93
скольку нам по условию задачи требуется отобрать цепочку из пяти
объектов, то, очевидно, следует выбрать одну из двух первых:
Б>В>Д>3>ИилиБ>Г>Д>3>И.
4.4. Поиск медиан Кемени и средних по Чебышеву
Медианная рай.жировка (медиана Кемени-Снелла)
Гхли каким-то образом определено «расстояние» между
жировками, то можно построить обобщенную ранжировку так,
чтобы сумма ее расстояний до всех индивидуальных ранжировок
была минимальной. Это условие напоминает одно из свойств
дианы и поэтому такую ранжировку называют медианной.
Так, если в качестве расстояния между ранжировками /?, и /?;
принято число взаимных инверсий S, то медианную ранжировку
R\ic строят так, чтобы минимизировать сумму 2,S(Rmc,Ri) - mm.
Этот вид среднего называют «медианой Кемени» (Кемени-Снелла).
Для того, чтобы найти медианную ранжировку, можно
менить следующий способ. Выбираем любую из имеющихся
жировок. Подсчитываем для нее сумму расстояний до остальных
имеющихся ранжировок. Затем, сравнивая выбранную
ку с каждой из остальных, изменяем в ней расположение всего
лишь двух соседних объектов так, чтобы приблизить ее
но к каждой сравниваемой на одну инверсию, как бы делая шаг в
направлении сравниваемой ранжировки. Каждый раз при этом
следует снова подсчитать сумму расстояний до всех ранжировок
для «исправленной» ранжировки. Из числа возможных
ленных» ранжировок выбирают ту, для которой эта сумма
жется минимальной, и вновь повторяют процедуру продвижения
на один шаг. Таким образом приходят к ранжировке, имеющей
минимальную сумму расстояний до всех имеющихся.
Пример 4.4.
Возьмем ранжировки, приведенные в 1-ом столбце табл. 4.11.
Выберем в качестве исходной первую из этих ранжировок.
ем расстояния от нее до каждой из трех других ранжировок и сумму
этих расстояний (см. столбец 2 табл. 4.11). Изменим теперь первую
94
ранжировку перестановкой каждый раз двух соседних объектов так,
чтобы приблизить ее на одну инверсию к каждой из трех других (см.
столбец 3 табл. 4.11 и рис. 4.16): 2134, 1243, 2134. Для каждой из
лученных таким образом ранжировок подсчитаем сумму расстояний
до всех четырех исходных ранжировок (столбец 4). Мы видим, что
наибольшее приближение обеспечивает вариант 2134. Исходя из
него, делаем следующий шаг изменений (см. столбец 5): 2314, 2143,
2143. Суммы расстояний этих ранжировок от исходных остались
прежними (столбец 6). Следовательно, на минимальном расстоянии
E инверсий) от всех ранжировок исходной группы находятся
ровки 2134 и 2143. Таким образом, мы имеем две медианы Кемени.
Таблица 4.11
Пошаговые преобразования ранжировок при поиске медиан Кемени
Исходные
ранжировки
I
I234
2314
2143
2413
X
S
2
7
2
2
3
1-й шаг
изменений
3
2134
1243
2134
X
4
5
7
5
2-й шаг
изменений
5
2314
2143
2143
X
6
7
5
5
Эти последовательные переходы наглядно иллюстрируются
рис. 4.16. Переходя от вершины 1234 к вершинам 2134 и 2143,
убеждаемся в том, что медиан Кемени для данной группы
ровок имеется две и только две.
И надо отметить, что почти для всякой совокупности
ровок это обстоятельство остается справедливым — медиан
зывается несколько.
Средняя ранжировка по Чебышеву
П.Л. Чебышев A821-1894) предложил принцип
ции, широко применяемый сейчас в задачах конструирования
ханизмов. Согласно этому принципу среднее выбирают так,
бы было минимально отклонение от него наиболее удаленного
объекта. Отклонения же других объектов не принимают во вни-
95
мание. Таким образом, среднюю «чебышевскую» ранжировку
бирают Так ЧТОбы Smax (R/Ие, Ri) = ШШ.
Способ отыскания средней чебышевской ранжировки
гичен способу отыскания медианы Кемени. Начиная от любой из
имеющихся ранжировок, подсчитываем расстояние от нее до
ждой из других и находим наиболее удаленную — ту, расстояние
до которой максимально. Изменяем расположение каких-либо
объектов в выбранной ранжировке так, чтобы приблизить ее к
наиболее удаленной. Снова подсчитываем расстояния от этой,
измененной ранжировки до каждой из исходных и, если
мальное расстояние нигде не увеличилось, продвигаемся на
следующий шаг. Средняя по Чебышеву найдена тогда, когда
любое возможное дальнейшее изменение ранжировки приводит к
возрастанию ее расстояния от наиболее удаленной из исходных.
Таблица 4.12
Пошаговые преобразования ранжировок
при поиске средней по Чебышеву
Исходные
ранжировки
1
12345
12354
21345
13245
21453
S I
2
0 6
1
1
1
3
1-й шаг-
изменений
3
12435
S I
4
1 9
2
2
2
2
2-й шаг
изменений
5
21435
S I
6
2 10
3
1
3
1
Пример 4.5.
Пусть имеются исходные ранжировки, приведенные в столбце 1
табл. 4.12. Выберем в качестве преобразуемой первую ранжировку —
12345. Расстояние от нее до каждой их исходных приведены в
столбце 2. Наиболее удаленной является ранжировка 21453. Делаем
1-й шаг по направлению к ней — меняем расположение объектов 4 и
5. Полученная ранжировка приведена в столбце 3, а ее расстояние
до исходных — в столбце 4. Здесь расстояния до каждой ранжировки
не более 2 инверсий. Нетрудно убедиться, что любой следующий
96
шаг приводит к увеличению расстояния хотя бы до одной из
ных ранжировок до 3 инверсий и более.
Это можно наглядно увидеть с помощью рис 4.1. найдите на
гуре в вершины, соответствующие исходным ранжировкам.
дите последовательные изменения и убедитесь, что:
а) средняя по Чебышеву ранжировка 12435 не совпадает с
дианой Кемени, которой здесь является 12345;
б) средних «чебышевских» ранжировок также бывает несколько,
как и медиан Кемени. Так, в данном примере ранжировка 21345
ладает тем же свойством, что и 12435, т.е. является средней по
бышеву.
Медианная ранжировка и чебышевская средняя,
му, могут быть применены в задачах экономического характера,
когда каждое рассогласование агрегированной ранжировки с
дивидуальными связано с некоторым ущербом, измеряемым в
деньгах. В решении задач квалиметрии формальные
стики близости ранжировок пока не нашли применения.
97
5. ЭКСПЕРТНЫЕ ГРУППИРОВКИ
5.1. Назначение и выполнение группировок
Группировки — это экспертные оценки особого вида,
чение которых состоит в том, что объекты рассматриваемой
совокупности эксперт разделяет на «однородные», по его
дению, группы. Понятие «однородности» при этом вытекает in
смысла задачи, для решения которой выполняют группировки.
Встречаются ситуации, когда из рассматриваемой
сти выделяют одну или несколько однородных групп объектов, а
относительно остальных эксперт утверждает только, что они не
принадлежат к выделенным однородным группам, но их
ние не производит.
В квалиметрии группировки выполняют в следующих задачах:
а) выделение однородных групп потребителей,
щих к оцениваемой продукции одинаковые требования;
б) выделение групп однородных объектов, подлежащих
нению между собой в рамках применения разработанной
ки оценивания качества;
в) группировки единичных и комплексных показателей
ства для построения деревьев свойств.
В последнем случае имеют место «иерархические»
ровки, при которых образованные группы нижнего уровня
диняются в группы более высокого уровня и т.д. по иерархии.
Например, из множества профессий, используемых на
приятии машиностроения, «однородную» группу могут
лять профессии, связанные с пребыванием в горячих цехах, с
таллообработкой, с административной работой и т.п.
В то же время множество работников одного цеха может
быть подразделено на близкие между собой группы
стей, отдельные специальности и т.д. вплоть до рабочих мест. Это
и образует иерархическую группировку.
Поскольку выполнение группировок трудно формализуемо и
эксперты далеко не'всегда владеют приемами выполнения этого
98
вида оценок, то прежде, чем предлагать -экспертам выполнять
группировки, организатору следует самостоятельно выполнить
предварительную группировку объектов и представить ее
там в качестве ориентирующей информации.
Допустим, следует выполнить иерархическую группировку
показателей для построения дерева свойств. В подготовленном
списке имеются как частные, так и комплексные показатели
личного уровня. Прежде всего, выделяем частные, т.е.
ственно измеримые показатели. Затем объединяем их в группы с
позиций влияния на общий компонент качества, например
циональные», «информационные», «сохранности» и т.п. Далее,
функциональные, например, показатели можно сгруппировать по
характеру отражаемых ими функций и т.д. В общем, следует
готовить ориентирующий материал для работы экспертов, хотя
бы при этом и были допущены ошибки.
Подготовленные таким образом группировки показателей
эксперты могут корректировать, объединяя тождественные, по их
суждению, перенося показатели из одной группы в другую и
писывая новые. Если некоторый показатель качества эксперты
включают в две группы, то это говорит о неоднозначном
нии смысла, вкладываемого в показатель. Следует уточнить его
мулировку и, может быть, разделить на два различных показателя.
Например, при построении дерева свойств для оценивания
качества производственных условий работы водителя
ной машины показатель «Температура в кабине» некоторыми
экспертами был отнесен к группе «Микроклимат», но
ми, — к группе «Эргономика». После опроса оказалось, что эти
эксперты поняли формулировку как «Возможность регулирования
температуры в кабине». Поэтому показатель был разделен на
«Удобство регулирования температуры» и «Диапазон
руемых значений внешней температуры».
99
5.2. Статистическая обработка группировок
Статистическая обработка группировок включает поиск
падающих» объектов, поиск согласованных групп объектов и
проверку согласованности группировки каждого эксперта с
щим составом объектов в согласованной группе.
Мерой принадлежности объекта а к группе S служит число ц,
указывающее ту часть экспертов, которые включили объект а в
данную группу. Величину а называют «уровнем
сти» экспертов в отношении объекта а:
п
где п (а) — число экспертов, включивших показатель а в группу S;
п — общее число экспертов.
Для включения показателя а в обобщенную группу So
рают критическое значение оскр, достижение или превышение
торого означает включение объекта а в группу So. В наиболее
ветственных задачах акр = 1,0; в менее ответственных — 0,8; 0,Ь6,
но не ниже 0,5.
Итак, рассчитав значения уровня согласованности для
го объекта, включенного хотя бы одним экспертом в группу S,
ходят те объекты, для которых а(а)> акр и эти объекты
ют согласованную группу S0.
Теперь проверяют, насколько группировка каждого эксперта
совпадает с обобщенной группой So. Мерой согласованности
дивидуальной группировки 7-го эксперта с группой So служит
число р\ указывающее долю тех объектов индивидуальной
жировки, которые входят в обобщенную группу So, — irij(S0) от
всех объектов, предложенных экспертом в эту группу, — щ
Р = -^-^, E.2)
/я •
где /я/So) — число объектов, вошедших в обобщенную группу So;
rtij — общее число объектов ву'юй индивидуальной группировке.
100
Индивидуальную экспертную группировку считают
дающей («еретической») если [3 < 0,8 или, в менее ответственных
задачах, [3 < 0,5.
Если группируемым объектам (например, показателям
ства) присвоить некоторые весовые коэффициенты g„ то
тель согласованности Р может быть рассчитан с учетом этих
личин.
Пример 5.1. Предложены индивидуальные группировки 11
зателей 4 экспертами
э.
э2
Э3
э4
S1
A)B)C)D)F)
A)B)C)G)
A)C)D)E)F)
A)B)D)F)(9)
S2
E) (9) A0) A1)
D) E) (9)
(9) A0) A1)
C) E) A0) A1)
S3
G) (8)
F) (8) A0) A1
B) G) (8)
G) (8)
Требуется проверить принадлежность объектов к каждой группе,
проверить индивидуальные экспертные группировки на выпадение и
сформировать обобщенные группы при схкр = 0,66 и ркр = 0,66.
Рассчитываем значения уровня согласованности а объектов по
группам:
S1
A) 1,0
B) 0,75
C) 0,75
D) 0,75
E) 0,25
F) 0,75
G) 0,25
(9) 0,25
Следовательно, при
S10
A)B)C)D)F)
S2
C) 0,25
D) 0,25
E) 0,75
(9) 0,75
A0H,75
A1H,75
S3
B) 0,25
F) 0,25
G) 0,75
(8I,0
A0H,25
A1H,25
акр = 0,66 находим обобщенные группы:
S20
E) (9) A0) A1)
S30
G) (8)
101
Проверяем индивидуальные экспертные группировки на
дение, рассчитывая значение \1:
S1 S2 S3
Э, ' 1,0 1,0 1,0
32 0,6 0,67 ,05
33 0,8 1,0 0,67
34 0,8 0,75 1,0
Принимая ркр = 0,66, следует исключить группировку эксперта
Э2 в группах S1 и S3. Однако, как легко проверить, обобщенные
пировки от этого не изменяются. Если бы обобщенная группировка
изменилась, следовало бы вновь рассчитать показатели
ности индивидуальных групп и повторить построение согласованных
группировок.
Если бы в результате проверки принадлежности показателей
к каждой группе было обнаружено, что некоторые показатели не
вошли ни в одну группу, это означало бы, что либо эти объекты
образуют особую группу, либо их описания по-разному поняты
разными экспертами. В этом случае следует провести обсуждение
с экспертами возникшей ситуации и принять соответствующее
решение.
Также может оказаться, что при проверке индивидуальных
группировок на выпадение, в какой-либо группе обнаруживается
большинство «еретических» индивидуальных группировок. Это
происходит потому, что в группе оказалось слишком мало
тов с большим а, т.е. общих для большинства экспертов. В этом
случае можно попробовать следующее:
а) исключить из всех индивидуальных группировок те
ты, которые входят в другие согласованные группы, тогда
тель р для некоторых экспертов повысится;
б) поочередно исключить индивидуальные группировки,
чиная с тех, у которых наименьшее р\ Тогда, возможно, в
щенную группировку войдет какой-либо еще показатель и
ния Р для некоторых из оставшихся экспертов повысятся.
102
Вообще говоря, для каждой данной совокупности
альных группировок значения акр и ркр не могут быть выбраны
произвольно и независимо друг от друга. Однако
щие исследования еще не проведены и необходимые требования к
соотношению этих величин не установлены.
В некоторых задачах между образуемыми группами
родных объектов устанавливают отношение предпочтения, т.е.
указывают, что одна группа в каком-то смысле лучше, ценнее,
сомее, чем другая. Так, например, при построении дерева свойств
образуемым группам одного уровня присваивают оценки
сти, которые и позволяют установить некоторый порядок их
предпочтения. В этих случаях группировки превращаются в
торый подвид ранговых оценок, и появляется возможность
полнять с ними соответствующие статистические операции.
103
6. ЭКСПЕРТНЫЕ КРИВЫЕ
6.1. Общая характеристика экспертных кривых
Экспертные кривые (далее «э.к.») — это проводимые от руки
графики, изображающие зависимость между значениями двух
казателей, построенные на основе экспертных суждений.
пертные кривые предназначены для того, чтобы дать наглядную
интерпретацию анализируемого явления, выявить характерные
элементы (далее «х.э.») анализируемой зависимости, их взаимное
расположение, найти оценки значений параметров х.э. с тем,
бы с использованием этих данных пролить свет на некоторые
ты изучаемого явления, выработать рекомендации для
ших действий. Иногда после построения э.к. удается обнаружить
ранее не замеченные особенности отображаемого процесса.
Характерными элементами называют участки (детали)
вой, обладающие качественным своеобразием по сравнению с
другими участками, и которые могут оказаться существенными с
точки зрения анализа исследуемого процесса: экстремумы,
ки, участки монотонности, участки перегиба, тенденции, изломы
и т.п.
Данные, используемые при построении э.к. являются, как
правило, качественными и полуколичественными. Вид
ческого уравнения, описывающего э.к., как правило, не интересует
разработчика и остается неизвестным. Несмотря на это,
ты анализа с применением э.к. имеют в ряде случаев
ное выражение.
Так, в приводимых далее примерах построение э.к. служит
для ориентировочного определения значений физически
ляемого показателя, обеспечивающих оптимум качества
ности» — прим. 6.1, 6.2), для обоснования выбора вида формул,
характеризующих явление (прим. 6.5). Весьма часто э.к.
няют для иллюстрации в учебно-методических целях (прим. 6.7,
6.8).
104
В настоящее время выделяют 4 типа э.к.: кривые полезности,
кривые безразличия, функциональные кривые и абрисные или
трековые кривые. Из них первые 3 типа имеют ту общую черту,
что их построение выполняют с максимально достижимой
стью, при этом используют специальную разграфленную бумагу и
различные приемы работы с экспертами, позволяющие возможно
точнее определить значения параметров х.э.
Например, график изменения удобства управления рычагами
строительной машины в зависимости от прилагаемых усилий
(пример 6.1) должен быть построен так, чтобы границы «плато
оптимальности», соответствующего оптимуму качества, были
ределены с точностью ±2-^3 Н.
Характерные элементы играют большую роль в задачах,
занных с применением э.к. Цель построения э.к. всегда состоит в
определении х.э. графика исследуемой зависимости и их
ров. Цель статистической обработки э.к. — в точном определении
состава существенных для решаемой задачи х.э. и в возможно
лее точном определении значений параметров х.э. обобщенной
кривой. В некоторых задачах, например, связанных с построением
семейства э.к. (прим. 6.3), целью статистической обработки может
являться установление взаимосвязи между значениями некоторых
параметров х.э.
При построении э.к. 4-го тина — абрисных — не требуется
точного нанесения координат х.э. на график. В построении
вых этого типа главное — полное выявление всех х.э.
мого трека в нужной последовательности и обозначение на этом
чертеже тех параметров х.э. или соотношений между
ми, которые существенны в условиях решаемой задачи. График
абрисной кривой может быть выполнен весьма приблизительно,
на неразграфленной бумаге. В дальнейшем значения выбранных
параметров х.э. могут быть определены путем опроса экспертов
либо же экспериментально, но эти значения уже не используют
для построения более точных графиков.
Так, траекторию исполнительного органа ткацкого станка в
развертке во времени изображают в виде почти симметричной
105
кривой с двумя вершинами с каждой стороны (рис. 6.6). Главное
при этом — отобразить расположение х.э. — отклонений
жимой траектории от желаемой. Сами же величины этих
ний не обязательно точно отображать на графике.
В настоящем разделе представлена общая характеристика
дач машиностроения, для решения которых применяют э.к. и
ведены для иллюстрации примеры кривых соответствующих
пов. Рассмотрены некоторые, наиболее часто применяемые
собы построения индивидуальных э.к. Рассмотрен также пример
обработки группы индивидуальных э.к. при построении
ной э.к.
6.2. Кривые полезности (желательности)
Кривые полезности применяют для отображения уровня
удовлетворения некоторой потребности субъекта («полезности»,
«вероятности успеха», «качества», «заинтересованности» и т.п.), с
позиций которого производится оценивание, в зависимости от
значений анализируемого показателя. «Субъектом» или
бителем» может являться одно лицо или же некоторый
гент населения, члены которого предъявляют одинаковые
вания к оцениваемому объекту.
Пример 6.1. При разработке новой конструкции строительного
механизма потребовалось определить желательность (удобство) для
оператора тех или иных усилий при перемещении головок рычагов
управления. Желательность оценивали в баллах, причем 4 балла
соответствовали наиболее удобному усилию, а 0 баллов —
но неприемлемому усилию. Для определения оптимума усилий
ним из экспертов была построена кривая полезности, приведенная
на рис. 6.1.
Для построения э.к. полезности чаще всего используют
один из двух способов: способ фиксированных значений
ниваемого показателя и способ фиксированных баллов. В обоих
случаях вначале составляют вспомогательную шкалу (табл. 6.1).
106
ё 4
Л]
ю з
л"
н
о о
о с
X
11
0)
н
я
ф
о
-
а С
б
)N^6
ч
а
^~Y
V
*
:
. . J
:
]
10 20 30 40 50 60 70
Усилие, Н
Рис. 6.1. Кривая полезности, построенная для определения зависимости
удобства управления рычагами строительной машины от усилия на головке
рычага (к примеру 6.1):
а) до коррекции
б) после коррекции
Таблица 6.
Возможный вид вспомогательной шкалы для присвоения баллов
конкретным значениям анализируемого показателя при построении
экспертной кривой полезности (к примеру 6.1)
Характеристики желательности
Оптимальное усилие. В сочетании с оптимальным расположением
рычага обеспечивает наибольшее удобство манипулирования.
Желательное усилие. В некоторых экстремальных ситуациях
пример, при необходимости быстрого реагирования может оказаться
неудобным).
Удовлетворительное (приемлемое) усилие. Несколько затрудняет
управление, требует постоянного самоконтроля оператора.
Значение усилия, приемлемое в крайнем случае. Управление
труднено практически во всех производственных ситуациях.
Усиление неприемлемое. В экстремальных ситуациях может
вести к невозможности управления.
Баллы
4
3
2
1
0
107
Для того, чтобы эксперты могли приступить к построению
кривых желательности было создано устройство для установки
любого усилия перемещения головки рычага — от 5 до 100 Н.
тем при оценивании усилие устанавливалось с шагом 5, 10 и 20 Н.
Тем самым были зафиксированы значения оцениваемого
теля, общие для всех экспертов.
Пусть некоторый эксперт, оценивая желательность
ливаемых на рычаге усилий, назначает следующие балльные
оценки (табл. 6.2).
Таблица 6.2
Данные к примеру назначения и корректировки балльных оценок
при применении способа фиксированных значений показателя
Установленное усилие, Н
Баллы: до корректировки
после корректировки
5
2,5
2,5
10
3,5
3,0
20
4,0
4,0
30
3,5
4,0
40
2,0
2,5
60
1,0
1,0
Эти значения эксперт наносит на координатную сетку и
единяет полученные точки плавной линией (см. рис. 6.1).
После построения эксперт замечает, что при малых усилиях
(до 20 Н) на графике имеется выпуклый участок, что не
ствует представлению эксперта о ходе зависимости. Кроме того,
эксперт считает, что оптимум усилий имеет место не в одной
ке B0 Н), как это следует из построенного графика, а в некотором
диапазоне его значений B0-30 Н). Поэтому эксперт вновь
вает усилия в 20 и 30 Н и производит корректировку назначенных
баллов (табл. 6.2, строка 3).
После корректировки эксперт наносит вновь назначенные
баллы на координатную сетку и строит корректированный график
(рис. 6.1).
Такова схема построения экспертной кривой способом
сированных значений оцениваемого показателя.
Построить кривую полезности можно также способом
сированных баллов. Для условий данного примера это может
быть выполнено следующим образом.
108
Эксперт самостоятельно регулирует усиление перемещения
рычага и, начав с минимальных значений, постепенно увеличивая,
доводит до оптимального. Это значение он фиксирует и назначает
ему 4 балла. Затем, постепенно уменьшая устанавливаемое
ние, эксперт приходит к значениям, оцениваемым в 3 и 2 балла.
Таким образом, появляется возможность построить левую часть
графика (табл. 6.3 и рис. 6.2).
Таблица 6.3
Данные к примеру построения экспертной кривой
способом фиксированных баллов
Баллы
Усилие, Н
Левая ветвь
2
11
3
15
4
23
Правая ветвь
4
34
3
39
2
47
1
70
- 4 т
j
Я Q _
VO °
jf
t 2
X
J
?1
то
с
а> _
£g U \ 1 1 1 1 1 1 \ 1 1 1 1 1 1 i
О 10 20 30 40 50 60 70
Усилие,Н
Рис. 6.2. Кривая желательности усилий, построенная способом
фиксированных баллов (по данным табл. 6.3)
Затем эксперт возвращается к оптимальным усилиям и,
степенно увеличивая их, обнаруживает границу плато
ности, т.е. максимальное усилие, которое все еще является, с его
точки зрения, оптимальным. Далее он аналогично находит
лия, оцениваемые в 3, 2 и 1 балл (см. табл. 6.3), что позволяет
строить правую часть графика.
109
В данном примере использование способа фиксированных
баллов позволяет построить кривую, почти не нуждающуюся в
коррекции, что является преимуществом по сравнению со
бом фиксированных значений показателя. Однако в других
ях более удобным может оказаться первый способ.
Пример 6.2. При испытании приборов, работающих в условиях
вибрации (например, на поездах), на устойчивость к вибрации
гают к «тренировке». Тренировка состоит в том, что выпускаемые
экземпляры устройств подвергаются относительно кратковременным
испытаниям, во время которых величина нагрузки близка к
ной, встречающейся в эксплуатации.
Эти испытания не могут быть слишком длительными, т.к. это
привело бы к износу устройств и снижению их работоспособности. Но
время испытаний не может быть и слишком малым, т.к. при малом
времени могут не проявляться слабые места дефектных
ров. Поскольку определение оптимального времени
ным путем крайне дорого и затруднительно, то в область оптимума
выходят путем построения экспертной кривой полезности с
дующим уточнением границ диапазона оптимальности по
ментальным данным.
Для построения кривой отказов эксперты строили
тельные кривые:
1) экспоненциальную кривую, описывающую вероятность
хода из строя при испытаниях дефектных устройств, за данный
промежуток времени;
2) кривую, примерно соответствующую гамма-распределению,
которое описывает вероятность выхода из строя изделий высокого
качества.
Построив эти две кривые (рис. 6.3, сплошные линии) эксперт
строит суммарную кривую (рис. 6.3, пунктир), имеющую важный
х.э. — интервал /0, внутри которого находится оптимальное время
испытаний. Другой важный х.э. — наличие момента /мин, после
которого начитают появляться отказы.
110
Рис. 6.3. Использование кривых интенсивности отказов для определения
оптимального времени испытаний.
Сплошные линии: а — интенсивность отказов дефектных изделий,
б — интенсивность отказов изделий высокого качества;
пунктир — суммарная кривая
6.3. Кривые безразличия
Задачи, для решения которых применяют «кривые
чия», состоят в разделении поля возможных сочетаний значений
двух показателей на зоны эквивалентности по предпочтению. Как
правило, для решения такого типа задач в каждом поле сочетаний
приходится строить несколько кривых безразличия, образующих
так называемое «семейство» кривых.
Пример 6.3. Вредное воздействие, оказываемое предприятиями
на окружающую среду, зависит как от общего объема
мых веществ V, так и от их приведенной концентрации в выбросах с ,
рассчитываемой с учетом так называемого «класса опасности».
ким образом, каждый источник выбросов может быть
ван двумя числами (с и V), которые образуют поле возможных
таний значений (см. рис. 6.4).
Ill
Средняя концентрация выбрасываемых веществ, С
Рис. 6.4. Кривые безразличия, построенные для сопоставления источников
загрязнения (предприятий, объектов) по опасности вредного воздействия на
окружающую среду
Для сопоставления источников загрязнения по обобщенной
оценке вредного воздействия (на основании которой может быть
ределена очередность и объем природоохранных мероприятий) поле
возможных сочетаний значений показателей с и I/ следует
лить с помощью кривых безразличия на зоны, в пределах каждой из
которых вредное воздействие соответствующих источников следует
считать одинаковым. Чем ближе к верхнему правому углу находится
точка, изображающая источник, тем больше его потенциальная
опасность.
Построение кривых безразличия может быть выполнено как
на основе экспертных оценок предпочтения комбинаций
ных значений показателей, так и с использованием тех или иных
расчетных приемов. Рассмотрим способ построения кривых
различия, базирующихся на предварительно построенных кривых
полезности. Приводимый пример позволяет также
ровать применение кривых безразличия для решения
онной задачи.
112
Пример 6.4. Для изготовления фундаментов опор ЛЭП
няют бетон с высокой удельной электропроводностью R, которая
может принимать значения в интервале от 80 до 160 м Ом/см2м.
новременно бетон может иметь различные марки по прочности О от
40 до 120 Н/см2. Необходимо классифицировать различные марки
бетона по совокупности этих двух показателей с тем, чтобы в
нейшем выбрать комбинацию, обеспечивающую наибольшую
марную полезность при наименьших затратах.
Построим вначале кривые полезности. Возьмем пять возможных
значений прочности: 40, 60, 80, 100 и 120 Н/см2. Допустим, эксперт
считает, что слишком большая прочность бетона не нужна с точки
зрения его предназначения и оптимальной является марка 80. Этой
марке он присваивает высшую оценку полезности — 4 балла. За
наихудшее в данных условиях значение прочности, допустим, 40,
эксперт проставляет 1 балл. Далее эксперт производит оценки в
баллах полезности других возможных значений прочности (см. строку 3
табл. 6.4).
Таблица 6.4
Балльные оценки 5 полезности различных значений прочности Q
и электропроводности R бетона (к примеру 6.4)
R
5 (Я)
Q
5@
80
0
40
1
100
1
60
2,5
120
2
80
4
140
3,5
100
3
160
4
120
2
Аналогично рассуждая, эксперт заполняет 4-ю строку таблицы,
назначая оценки полезности различных значений электропроводности.
Теперь появляется возможность построить кривые безразличия
для сочетаний различных значений этих двух показателей (рис. 6.4),
соединив на графике точки с одинаковыми значениями суммы полез-
ностей. Для суммы полезностей, равной 6, получаем одну кривую,
для суммы, равной 4, — другую и т.д. То есть, мы получаем
во кривых безразличия, покрывающих поле возможных значений
двух факторов.
Если известны затраты, необходимые для выпуска бетона с той
или иной комбинацией рассматриваемых показателей, то легко
шить задачу оптимального выбора. Для этого нужно величины затрат
написать возле соответствующих точек на плоскости параметров и
113
160 4
Рис. 6.4. Семейство кривых безразличия в поле значений показателей
качества бетона. Пунктиром обозначена линия допустимых затрат
провести семейство линий, соединяющих точки равных затрат.
ние каждой линии этого семейства с кривой безразличия,
ной для максимальной суммарной полезности, определяет
мальную комбинацию, достижимую при данных затратах.
Допустим, пунктирная линия на рис. 6.4 есть одна из линий
ных затрат и соответствует тем затратам на бетон, на которые можно
пойти при сооружении данной конкретной ЛЭП. Тогда, как это видно с
помощью рис. 6.4, можно достигнуть суммарной полезности не выше
5 баллов при комбинации Я = 110-120 и Q = 75-80.
С помощью кривых безразличия можно проводить также
лиз устойчивости найденного решения.
6.4. Функциональные кривые
Функциональные кривые применяют для отображения
мосвязи двух показателей при наличии некоторых данных, харак-
114
теризующих взаимосвязь, в тех случаях, когда аналитическое
описание этой взаимосвязи представляется невозможным или
целесообразным. Упомянутые «некоторые данные» или, лучше
сказать, «сведения», характеризующие взаимосвязь, могут быть
выражены в количественной форме или же в форме качественных
или ранговых оценок, а так же просто в виде указаний типа:
«здесь кривая выходит на насыщение» или «направление плавно
меняется примерно на 45°» и т.п.
Графики функциональных кривых, как и других э.к., строят
от руки используя такого рода сведения. Главная задача при этом —
отобразить известные х.э. описываемого явления и все те
ности хода зависимости, которые можно установить из этих
дений и общих представлений о природе отображаемого явления.
Поэтому строить график должен специалист, знакомый с
стью отображаемого процесса или явления. Именно его суждение
о существенных чертах зависимости служит основанием для
деления х.э. графика.
Рассмотрим примеры функциональных кривых,
щихся на использовании как экспериментальных данных, так и
теоретических представлений, которые предопределяют
рые характерные элементы.
Пример 6.5. При оценивании качества работы линий связи на
железнодорожном транспорте проводят проверку их
вости в условиях дозированных помех. При этом несколько экспертов
(профессиональных диспетчеров) оценивают различимость
щих звуковых сигналов (раздельно произносимых слов, или же
ков, передаваемых азбукой Морзе) при нескольких уровнях
ально создаваемых внешних помех возрастающей интенсивности.
Различаемые сигналы эксперт повторяет, записывая на диктофон. В
начале эксперимента интенсивность помех небольшая и
мость составляет 100%. По мере возрастания интенсивности помех
процент различаемых сигналов снижается и, наконец, наступает
мент, когда эксперты не могут различать сигналы и прекращают
боту. Таким образом, значения доли различаемых сигналов R (%) и
интенсивности внешних помех J (дБ) образуют совокупность
ственных данных (табл. 6.5). Для наглядного представления
мой зависимости построим э.к. функционального типа (сплошная
ния на рис. 6.5).
115
Таблица 6.5
Процент различаемых звуковых сигналов R% при различной
интенсивности шума J (дБ) для одного из испытуемых
Уровень шума J, дБ
Процент различаемых сигналов, R%
30
100
50
100
60
83
70
65
80
53
85
39
87
0
Данные, приведенные в табл. 6.5, проиллюстрированы с
щью рис. 6.5.
Как видно, экспертная кривая не слишком удалена от
ментальных точек и удовлетворительно отображает характерные
элементы изучаемой зависимости.
20 40 60 60 Ц
Рис. 6.5. Экспериментальные данные о зависимости процента различаемых
сигналов R% от интенсивности звуковых помех J (дБ):
показаны график зависимости, проведенный от руки (сплошная линия) и
параболы ( ) 2 порядка; ( ) 3 порядка
Но может быть кривые, находимые расчетными методами,
печивают лучшую аппроксимацию полученных данных? Проверим это.
Уравнение 2-го порядка, рассчитанное для данных табл. 6.5,
имеет вид: Я% = - 0,05977 J2 + 5,628 J - 26,178, причем сумма
ратов отклонений Zd2= 9416,5.
С помощью рис. 6.5 видно, что, несмотря на высокую точность
подсчета параметров уравнения, соответствующая кривая
ски искажает характерные черты зависимости. Так, парабола
зывает, что процент различимых сигналов при уровнях шума ниже
116
35 дБ составляет менее 100%, что противоречит логике опыта и не
наблюдалось в действительности. При значениях J = 35-55 дБ
личимость, согласно уравнению параболы, превышает 100%, чего,
конечно, не может быть. На участке J = 55-80 дБ линейная, по
ным опыта, форма зависимости представлена на графике параболы
участком заметной кривизны. Наконец, график параболы не отражает
скачкообразное падение различимости при уровне шума, близком
к 85 дБ.
Повышение порядка (степени) полинома позволяет получить
кривую, проходящую, вообще говоря, ближе к экспериментальным
точкам и даже, при достаточно высоком порядке, абсолютно точно
через все точки. Но при этом график кривой лишь обрастает новыми
х.э., затушевывающими основные черты анализируемой
сти. Так, для нашего примера, парабола 3-го порядка, имеющая
уравнение R% = - 0,0013 J3 + 0,176 J? - 7,9 J + 213,5, (Ed2 = 985,0)
ничуть не улучшает представление зависимости. Напротив, на графике
рис. 6.5 появляются дополнительные экстремумы (точки b, d), не
вечающие экспериментальным данным. Границы участков разной
кривизны (точки а, с) не совпадают с фактически наблюдаемыми
ками изменения хода зависимости.
Если критерием качества работы линии связи выбрать процент
различимости при некотором уровне шума, например, при J = 60 дБ,
то фактически для приведенных данных он составляет R% = 83%. Но
расчет по уравнениям парабол дает 91% и 96%, т.е. существенно
завышенные значения. Таким образом, и сточки зрения практических
приложений применение аналитической аппроксимации
тальной зависимости может привести к ошибочным заключениям.
Итак, при построении функциональных кривых с учетом
ния механизма, порождающего процесс, удается получить
лее точное представление закономерности с качественной стороны
с минимальной количественной ошибкой и за наиболее короткое
время.
6.5. Абрисные (трековые) кривые
Абрисные (трековые) кривые используют в задачах,
ных с графическим изображением перемещений, путей, треков,
I I7
трендов и т.п., состоящих из последовательностей х.э. (точек
региба, участков монотонности и т.п.), однако без строгого
блюдения масштабных соотношений между значениями
ров характерных элементов.
В этом существенное отличие абрисных кривых от
ных кривых других типов. Если при построении э.к. всех ранее
рассмотренных типов основным требованием являлось такое их
изображение, при котором х.э. занимали бы строго определенное
место на графике и значения параметров могли бы быть
лены как можно более точно (что и позволяло решить задачу,
ди которой произведено построение), то это требование отпадает
по отношению к абрисным э.к. В то же время расположение х.э. в
должной последовательности, как правило, с указанием названий
и примерных значений их параметров является важнейшим
бованием построения абрисной кривой, т.к. целью ее построения
является именно наглядное представление состава и взаимного
расположения х.э. и (не всегда) приблизительная оценка значений
их параметров. Анализ состава и взаимного расположения х.э.,
в свою очередь, может привести к определенным выводам о
низме процесса, отображаемого данной абрисной кривой.
Графические изображения траекторий — наиболее
страненный в человеческом обществе тип экспертных кривых.
Каждый, читающий эти строки, неоднократно в своей жизни
пользовал и строил сам трековые кривые. Их применяют и в
нической литературе для наглядного изображения перемещений
механизмов или их части, соотношений величин перемещений.
Очень часто абрисные кривые используют в
дической литературе, для изображения получаемой в опыте
си некоторого процесса, когда назначение приводимого графика
не в максимально точном определении значений параметров х.э.,
как в других типах э.к., но лишь в отражении самой
тельности х.э. и возможно, примерных соотношений между
торыми параметрами х.э. В быту мы используем абрисные кривые
для изображения пути следования к какому-либо объекту. Даже
118
подпись человека можно рассматривать как абрисную кривую,
состав и расположение х.э. которой однозначно определяет
ность пишущего.
Итак, исходя из предназначения абрисной кривой, опрос
пертов при ее построении, в первую очередь, направляют на
явление х.э., их последовательности, обозначение тех параметров
х.э., которые существенны в условиях решаемой задачи.
ление значений этих параметров или соотношений между
ниями представляет собой, как правило, задачу 2-й очереди и
полняется не столь тщательно.
Рис. 6.6. а) Схема исполнительного органа ткацкого станка шарнирно-
рычажного типа, его зевообразовательного механизма (ЗОМа). г— ведомое
звено (ремизка), б) Теоретически оптимальная траектория (сплошная линия)
и достижимая траектория (пунктир), пример абрисной кривой. А и C —
показатели качества приближения траекторий
Пример 6.6. На рис. 6.6 приведена схема исполнительного
на ткацкого станка шарнирно-рычажного типа, его
ного механизма (ЗОМа). Этот тип ЗОМа положительно отличается от
механизмов других типов простотой конструкций, надежностью в
плуатации, плавностью работы на больших скоростях и имеет другие
119
достоинства. Его основным недостатком является невозможность
осуществления теоретически оптимальной траектории ведомого
на, ремизки г. Поэтому качество проектируемого ЗОМа определяется
величиной приближения достижимой траектории, реализуемой
низмом, к теоретически оптимальной (желаемой).
При изображении траектории ремизки на рисунке стремятся,
прежде всего, отобразить общий вид этой траектории, т.е. взаимное
расположение характерных элементов — участков монотонности,
максимумов и минимумов. Однако важнейшими показателями
ства траектории являются показатели Д (мм) — максимальное
нение по положению в период выстоя vi C (град) — отклонение
тижимой длительности выстоя от оптимальной. Именно эти элементы
и должны быть достаточно ясно отображены на абрисной кривой.
После построения э.к. может быть выполнен опрос экспертов
относительно того, какое влияние окажут те или иные значения
клонений Д и р на комплексную оценку качества ЗОМа и тем самым
выбран оптимальный вариант конструкции.
Пример 6.7. При поиске месторождений конкреций в океане на
больших глубинах используют автономные самообучающиеся
раты. Аппарат, находясь в погруженном состоянии на небольшой
соте над дном, вначале совершает поисковые перемещения в
личных направлениях, затем по мере накопления информации о
рельефе дна и течениях, выбирает наиболее перспективное
ление и следует ему, все более сокращая поисковые ходы. С
вого судна удается регистрировать положение аппарата лишь в
которые моменты времени. По этим данным составляют абрисную
кривую, ограничивающую зону, охваченную перемещениями
та (рис. 6.7).
Приведенные на рис. 6.7 ломаные не обязательно
вуют реальной траектории перемещения аппарата, но лишь
единяют последовательно регистрируемые точки его положения.
Абрисной кривой фактически является лишь проведенная
тиром огибающая некоторой зоны обитания аппарата. Значения
параметров b и h, способ замера которых ясен из рис. 6.7,
ляют оценить количество информации относительно
ния месторождений, которой располагает аппарат.
120
Рис. 6.7. Абрисные кривые, предназначенные для иллюстрации
постепенного изменения внешних очертаний траекторий движения
автономного поискового аппарата при возрастании его
«информированности» относительно расположения пели. Показателем
«информированности» может служить отношение h/b
Аналогично построенные абрисные кривые применяют для
наглядного представления границ рассеяния загрязняющих
ществ в вязкой движущейся жидкости, движения заряженных
тиц в слабом -электрическом поле и в других случаях.
6.6. Построение обобщенной экспертной кривой
Статистическая обработка группы индивидуальных
ных кривых имеет своей целью получение такой кривой, которая
в условиях данной задачи представляла бы собой обобщенное
ждение внутренне согласованной группы. Согласованность
дений в отношении индивидуальных экспертных кривых
ется, во-первых, в совпадении состава и значений параметров
характерных элементов индивидуальных кривых и, во-вторых, в
достаточной близости оценок, назначенных экспертами в
натных точках построенных графиков.
Для того, чтобы выявить индивидуальные х.э., следует,
дя из назначенных экспертами оценок, построить
ные графики и путем визуального анализа отметить на них х.э.
Характерные элементы, обнаруживаемые на графиках, могут быть
общими, присутствующими на всех графиках, и особыми, присут-
121
ствующими лишь на некоторых графиках. Если какой-либо х.э.
имеется на некоторых индивидуальных графиках и отсутствует на
других, т.е. является особым, то обобщение этих графиков нельзя
выполнять, по крайней мере, в зоне нахождения этого х.э.,
симо от близости оценок, назначенных экспертами в
ных точках.
При обнаружении рассогласованности индивидуальных
фиков часто имеется возможность повторно провести опрос
пертов, акцентировав их внимание на выпадающем х.э. или
дающем значении параметра х.э. Возможно, что обнаруженная
рассогласованность обусловлена лишь невнимательностью
перта или другими непринципиальными обстоятельствами. Тогда
расхождение ликвидируется и вопрос отпадает. Но, если
ние обусловлено содержательными соображениями отдельного
эксперта, то обобщение его индивидуального графика наряду с
прочими недопустимо. Можно конечно, отбросить «еретический»
индивидуальный график и выполнять дальнейшую работу только
с согласованными между собой кривыми. Но это — не лучший
выход. В конечном счете, может оказаться прав именно
венный эксперт. Поэтому, если не удается добиться
ности оценок путем обсуждений, дальнейшую работу следует
проводить в нескольких вариантах: отдельно для согласованной
группы и отдельно для одного или несколько «еретических»
графиков.
Итак, если индивидуальные экспертные кривые рассогласо-
ванны по составу х.э., или же по значениям назначенных
тами оценок, необходимо поэтапно выполнить следующее.
1. Провести собрание экспертной группы, на котором
щить экспертам об обнаруженных расхождениях и, после
дения причин расхождений, предложить экспертам вновь
чить оценки. Если согласованности добиться вновь не удалось, то
нужно перейти к следующему варианту действий.
2. Построить обобщенные кривые, используя данные по
дой из внутренние согласованных групп по отдельности и выпол-
122
пять дальнейшую работу в нескольких вариантах. Рхли это
емлемо, то следует выполнить нижеследующие действия.
3. Расформировать экспертную группу, изменить способ
бора экспертов и сформировать ее заново.
Проверку согласованности назначенных экспертами оценок
значений анализируемого показателя и проверку согласованности
балльных оценок выполняют по критерию d (прил. 1).
Проиллюстрируем на примере способ проверки
сти группы индивидуальных графиков и построения обобщенной
кривой.
Пример 6.8. Используем условия примера 6.1 «Определение
тимальных усилий на рычагах управления». Допустим, 5 экспертов,
применяя способ фиксированных баллов, определили зависимость
удобства (желательности) управления рычагами строительного
ханизма от величины усилия. В табл. 6.6, являющейся развитием
табл. 6.2, приведены назначенные ими значения усилий,
вующие указанным в верхней строчке значениям балльных оценок.
Таблица 6.6
Данные оценивания удобства (желательности) управления рычагами
строительной машины от величины усилия 5 экспертами
(к примеру 6.8)
Эксперты
э,
э2
Эз
э4
э5
1
10
10
12
10,7
Левая ветвь
2
3
11 ! 15
13 ' 18
14
8
16
12,4
20
12
22
17,4
4
23
27
29
20
26
25
4
34
40
39
36
42
38,2
Правая ветвь
3
2
1,5
39 ■ 47 !
47 1 56
45 55
42
58
43,2
53
68
52,8
68
1
70
80
74
76
75
Визуальный анализ индивидуальных графиков, построенных
экспертами, показывает, что не все их х.э. являются общими. С
мощью рис. 6.8 видно, что общими для всех индивидуальных
ков являются следующие х.э.:
• участок ab (усилия от 10 до, приблизительно, 24 Н), в
лах которого увеличение усилий сопровождается повышением
нок желательности;
123
0 J i i i 1 \
0 10 20 30 40 50 60 70 80
Усилие, Н
Рис. 6.8. Индивидуальные графики полезности, построенные
по оценкам 5 экспертов (к примеру 6.8)
• участок be, плато (усилия от 25 до 34-40 Н), в пределах
рого усилие остается оптимальным;
• точка конца кривой е (от 70 до 80 Н), соответствующая такому
усилию, выше которого управление становится практически
можным;
• участок cde (усилия от 40 до 70 Н), в пределах которого
ство управления монотонно падает с нарастанием усилия.
Здесь же видно, что знак кривизны на участке cde для графика,
построенного экспертом 5, — отрицательный, а для графиков,
строенных другими экспертами, — положительный. Следовательно,
знак кривизны на участке cde является особым х.э. графика эксперта
5 и построение обобщенного графика недопустимо.
В данном примере мы хотим проиллюстрировать принципы
формальной обработки графиков с несовпадающими х.э., поэтому
предположим, что обсуждение и повторное оценивание экспертами
провести невозможно и построение обобщенного графика
мо выполнить исходя из уже полученных данных.
Выполняем проверку согласованности значений назначенных
экспертами усилий, соответствующих фиксированным баллам. Для
124
этого в каждом столбце табл. 6.6 находим крайнее, наиболее
няющееся значение и рассчитываем значение d (прил. 1):
d'=*n~ *"-1 . F.1)
Хп - Х-,
Критическое значение d' для п = 5, Р = 95% есть d'g5 = 0,561.
Здесь хп — экстремальное значение (максимальное или
мальное), проверяемое на выпадение;
Хп_, — ближайшее к нему значение;
Хт — экстремальное значение, противоположное проверяемому
(минимальное или максимальное).
Например, оценки 5-го эксперта для 4, 3 и 2 баллов правой
ви являются экстремальными. Проверим их на выпадение:
42-40
d'D) ~ т^—^т = 0,25 (выпадения нет);
42-
58-
58-
68-
-34
-47
-39
-56
dU) = ——^г = 0,578 (выпадение);
, _^^—^ _ 71 (выпадение\
D) 68-47
В табл. 6.6 одной чертой подчеркнуты значения, являющиеся
выпадающими. После исключения выпадающих значений
ны средние значения, приведенные в нижней строке табл. 6.6, по
торым может быть построен обобщенный график (рис. 6.9).
Как можно видеть с помощью рис. 6.9, обобщенный график,
строенный с учетом выпадающих значений эксперта 5, приобретает
форму, не свойственную ни одной из индивидуальных кривых.
ляется двойной изгиб на участке cde, который вряд ли может
чить содержательное объяснение исходя из сущности
мой зависимости. В то же время график, построенный с исключением
оценок 5-го эксперта, лишен указанных несообразностей.
Как уже говорилось, в случае, если нет возможности
вать обнаруженные расхождения путем обсуждения, дальнейшую
работу с использованием кривых полезности следует проводить в
двух вариантах: по обобщенной кривой экспертов 1-4 и, отдельно, по
графику эксперта 5.
125
abed e
I I I I I
4
3
3
g 2
to
Ш
1 :
0 r-
0 10 20 30 40 50 60 70 80
Усилие, Н
Рис. 6.9. Обобщенный график полезности, построенный несогласованным
оценкам (сплошная линия). Пунктиром показаны искажения формы,
возникающие при учете выпадающих значений
Замечание
Экспертные кривые всех типов представляют собой новый и
интересный объект исследования. Сфера применения их, как мы
стремились показать с помощью приведенных примеров, весьма
широка. Они могут быть применены для решения задач, не
дающихся решению другими способами.
Выделение типов экспертных кривых обусловлено их
личным назначением — возможностью применения для решения
задач различного характера. Эта типизация позволяет
вать способы построения и статистической обработки кривых,
применительно к каждому их типу. Впрочем, вопросы связи
собов статистической обработки э.к. со способами их построения
требуют еще существенной разработки.
126
ПРИЛОЖЕНИЯ
Приложение 1
СТАТИСТИЧЕСКИЕ КРИТЕРИИ
1. Критические значения v для числа степеней свободы/.
Таблица П.1
f
Х95
Xw
1
3,84
2,71
2
5,99
4,61
3
7.81
6,25
4
9,49
7,78
5
11,1
9,24
6
12,6
10,6
7
14,1
12,0
8
15,5
13,4
9
16,9
14,6
10
18,3
15,8
2. Критерий d для исключения выпадающих
ных оценок и выпадающих пар экстремальных оценок при
общем числе данных п.
Таблица П.2
11
^95
d9V
4
0,658
0,769
0,906
0,931
5
0,561
0,689
0,779
0,863
6
0,490
0,624
0,666
0,766
7
0,434
0,567
6,588
0,705
8
0,390
0,525
0,529
0,632
9
0,353
0,487
0,481
0,583
10
0,324
0,454
0,443
0,544
11
0,299
0,426
0,405
0,504
12
0,277
0,399
0,372
0,470
14
0,242
0,356
0434
0,427
16
0,194
0,322
67298
0,391
18
0,176
0,293
0,365
0,357
20
0,161
0,269
0,236
0,325
3. Проверка выпадения одной экстремальной оценки
(критерий d').
Из п оценок вариационного ряда выпадающей (с
вующей вероятностью) считают наименьшую х\ или же
шую х„ если значение d', вычисленное по одной из формул
х — х х — х
d'= ——— или же */'= — — превосходит приведенное в
х\ ~ х» хп ~ х\
строках 2 или 3 табл. П.2 (см. рис. П. 1).
Пример П.1. Пусть 4 эксперта назначили оценки х^ = 5; х2 = 6;
х3 = 7; х4 = 11. Построим распределение оценок на графике и
рим подозрительную оценку х4 на выпадение (рис. П.1):
tf = ^^ = 1Ы = 0,67.
х4 - х^ 11-5
129
Поскольку табличное значение d95 (n=A) = 0,658, что меньше
вычисленного значения d - 0,67, то проверяемая оценка является
выпадающей с вероятностью более 95%.
Хл - Ху
6
8
Ха~ Х\
10
12
Рис. П.1. Иллюстрация применения критерия <Г для определения
выпадения одной экстремальной оценки
4. Проверка выпадения двух односторонних экстремальных
оценок (критерий d").
Из п оценок вариационного ряда выпадающей (с
вующей вероятностью) считают пару оценок дгь хг или же х„-\, х„,
если значение d", вычисляемое по одной из формул наименьшую
Х| или наибольшую х„ если значение d", вычисленное по одной из
формул d"=
xt-x.
или d'
х.. -х
п-2
*|-*„
превосходит приведенное
в строках 3 или 4 табл. П.2 (см. рис. П.2).
Пример П.2. Пусть 6 экспертов назначили оценки: х^ = 5; х2 = 6;
*з = 6; х4 = 7; х5 = 10; х6 = 11. Построим распределение оценок на
графике и проверим подозрительную пару оценок х5, х6 на выпадение
(рис. П.2).
tfl=*6-*4 =11-7=0Л
х6 - х, 11-5
Поскольку табличное значение dg'5 (л=6) = 0,67, что меньше
численного значения d" = 0,71 то проверяемая пара оценок является
выпадающей с вероятностью более 95%.
130
4
•
6
*б
8
Х(,-Х\
— Х4
Л
w
10
Рис. П.2. Иллюстрация применения критерия d" для определения
ния двух односторонних выпадающих оценок
5. Проверка выпадения двух разносторонних
ных оценок.
Если после построения распределения оценок
ми на выпадение оказываются как наименьшая х\, так и наибольшая
х„ оценки, то для проверки выпадения одной из них, например, хь
другую (х„) следует исключить и выполнять проверку по отношению
к оставшимся и - 1 оценкам. Независимо от результата этой
ки, далее следует вернуть х„, исключить х\ и выполнить проверку
выпадения наибольшей экстремальной оценки х,„ снова учитывая,
что общее количество оценок равно п - 1.
131
Приложение 2
ПОЯСНЕНИЕ НЕКОТОРЫХ ТЕРМИНОВ
Ввиду неоднозначности трактовки в литературе некоторых
терминов, использованных в настоящей работе, приведем их
трактовку в соответствии с тем смыслом, который в них вложен в
настоящем издании.
ВОСПРОИЗВОДИМОСТЬ (УСТОЙЧИВОСТЬ)
ных оценок — совпадение или достаточная близость оценок,
значаемых при повторных измерениях с помощью одной и той же
методики одним и тем же экспертом через значительные
жутки времени (индивидуальная воспроизводимость или
изводимость во времени), либо разными экспертами (групповая
или межэкспертная воспроизводимость).
ДОСТОВЕРНОСТЬ — вообще говоря, в статистике,
тельное осуществление события. Но в практических
ях, в том числе к экспертным оценкам, означает достаточно
большую вероятность совпадения э.о. с «истиной» (см. далее) или
достаточно большую вероятность наличия истины внутри того
или иного выбранного интервала (интервала согласованности или
интервала неразличимости (см. далее)).
ИСТИННОЕ ЗНАЧЕНИЕ БАЛЛЬНОЙ ЭКСПЕРТНОЙ
ОЦЕНКИ ЖЕЛАТЕЛЬНОСТИ (ЦЕННОСТИ, ВЕСОМОСТИ)
данного фиксированного проявления оцениваемого
ля в оцениваемом объекте — арифметическое среднее
дуальных оценок, которые вошли бы в интервал согласованности,
если бы были опрошены все лица, входящие в круг
ных экспертов.
Круг потенциальных экспертов определяют условием их
бора, которое принимают в зависимости от цели оценивания
ства объекта.
Так, если речь идет об оценивании некоторых изделий для
продажи, то в круг потенциальных экспертов входят
гаемые покупателем этих изделий. Если речь идет о разработке
132
методики оценивания качества каких-либо объектов, то
альными экспертами должны быть специалисты, которые будут
использовать эту методику и т.д. (некоторые способы
ния круга потенциальных экспертов см. в [7]).
Таким образом, объективной истинной балльной оценки
лательности не существует.
ИСТИННОЕ ЗНАЧЕНИЕ БАЛЛЬНОЙ ЭКСПЕРТНОЙ
ОЦЕНКИ ПРОЯВЛЕНИЯ (ВЫРАЖЕННОСТИ) оцениваемого
показателя в оцениваемом объекте — это значение балльной
оценки того эталона, которому соответствовало бы проявление
показателя в оцениваемом объекте, если бы с ним (объектом)
ли проведены те операции, которые были проведены для
ния шкалы эталонов.
Пусть, например, разработана шкала развития
ры сетки трещин образцов стали при знакопеременной
щей нагрузке. Для создания эталонов, составляющий шкалу,
стандартные образцы стали подвергали определенному числу
циклов этой нагрузки, допустим, 0, 100, 200, 300, 400 и т.д.
лов. В соответствии с этим присвоили оценки 0, 1, 2, 3, 4 и т.д.
баллов. Теперь используем новый, оцениваемый образец.
тим, он фактически испытал 230 циклов нагрузки. Тогда истинное
значение балльной оценки, которое должно быть ему присвоено
— 2,3 балла. Но эксперт, рассматривая сетку трещин на
сти нового образца, может посчитать, что она соответствует 200
или 300 циклам нагрузки и назначить соответственно 2 или 3
ла. Таким образом, оценка эксперта окажется не совпадающей с
истиной. Но при оценивании несколькими экспертами среднее из
их оценок окажется ближе к истине, чем каждая из
ных оценок.
Отметим еще раз, что балльная оценка проявления
ля в оцениваемом образце, полученная с использованием шкалы
эталонов, никак не связана с балльной оценкой желательности
этого проявления, получаемой с помощью вспомогательной
лы, парных сравнений и др.
133
В отдельных случаях, все же, такая связь возможна. Так,
балльную оценку интенсивности землетрясений по шкале
ра, как правило, можно считать обратно пропорциональной
тельности соответствующего землетрясения.
РЕПРЕЗЕНТАТИВНОСТЬ экспертной группы — ее спо
собность достаточно полно выразить потребности (желания)
га потенциальных экспертов. Репрезентативность определяется
методической обоснованностью способа выбора представителей
потенциальных экспертов в состав формируемой экспертной
группы.
ИНТЕРВАЛ СОГЛАСОВАННОСТИ (в балльных
ках) — интервал выбранной ширины в диапазоне возможных
значений балльных оценок, такой, что все индивидуальные
балльные оценки, попадающие внутрь этого интервала, считают
согласованными, а находящиеся вне интервала — выпадающими.
Именно по согласованным оценкам рассчитывают истинное
значение балльной оценки соответствующего показателя в
ваемом изделии или объекте.
Пример П.З. Составлен ряд образцов — эталонов смазочного
масла различной консистенции, которым, по этому показателю,
значены оценки качества (желательности, полезности) — 0, 1, 2, 3 и 4
балла. Ширина интервала согласованности выбрана в 1 балл. Для
представленного образца 5 экспертами назначены следующие
ки: 2,5; 3; 3; 3,5; 4 (см. рис. П.З). Тогда для выбора согласованной
группы оценок можно расположить интервал согласованности так,
чтобы он охватывал оценки экспертов 1-4 (положение а) или так,
чтобы он охватывал оценки экспертов 2-5 (положение б). В обоих
положениях в интервал согласованности попадет одинаковое число
оценок — по 4. Но в варианте а две из них находятся в середине
тервала, тогда как в варианте б распределение асимметрично — две
оценки находятся на границе интервала. Поэтому расположение а
предпочтительнее. Оценку пятого эксперта D балла) считаем
дающей, а для остальных рассчитываем б = 3,0 балла.
Такова обобщенная балльная оценка качества (желательности,
полезности) представленного образца смазочного масла по его
систенции.
134
3
12 4 5
• • • • •—• •
0 12 3 4
a I |
б I
Рис. П.З. Возможные варианты расположения интервала согласованности
а и б. К примеру выбора расположения .интервала согласованности
ОПОРНЫЕ ТОЧКИ (РЕПЕРНЫЕ ТОЧКИ, ЭТАЛОНЫ) —
некоторые значения измеряемого показателя, выбранные так,
бы охватить диапазон его возможных значений и которые
ются эталонами при сопоставлении с ними проявлений показателя
в оцениваемых объектах.
Эталонами могут быть:
• Словесные описания отдельных проявлений. Например,
для показателей: «Актуальность планируемой разработки»,
«Ожидаемый масштаб внедрения»;
• Рисунки, фотографии, графики. Например, используемые в
металловедении серии микрофотографий, представляющих
личные уровни обработки;
• Реальные образцы: различные по твердости минералы,
эталоны цвета, запаха, вязкости, уровня вибрации и т.п.
Этим эталонам с помощью некоторой экспериментальной
операции назначают балльные оценки, характеризующие уровень
проявления оцениваемого показателя. Так, например, минералы,
составляющие шкалу твердости Мооса (тальк, ..., алмаз)
дочены с помощью операции проведения черты каждым после-
135
дующим на каждом предыдущем. Соответственно, им назначены
балльные оценки от 1 до 10.
Вспомогательная шкала, предназначенная именно для
становки оценок «желательности» также имеет опорные точки —
описания, в обобщенной форме характеризующие различные
уровни желательности.
Но эти описания составлены так, чтобы с их помощью могли
быть оценены проявления всех показателей, учитываемых при
оценивании качества данных объектов. Таким образом, балльные
оценки уровня проявления показателя оказываются совершенно
ненужными при оценивании качества объектов и их не учитывают.
НАДЕЖНОСТЬ (в балльных экспертных оценках) —
роятность, которую можно признать достаточной для суждения о
достоверности наличия истины внутри выбранного или
танного интервала согласованности. В статистике
ных измерений эту вероятность выбирают исходя из
ности решаемой задачи: 0,9; 0,95; 0,99. В статистике балльных
экспертных оценок надежности часто считают отношение числа
согласованных оценок к общему числу э.о. Ввиду небольшого
числа обычно используемых экспертов, достаточно большой
роятностью здесь считают 0,66; 0,75 и 0,8.
Таким образом, если оценки надежны с вероятностью,
шей выбранного критического значения, то они достоверны (см.
«достоверность»).
ЧУВСТВИТЕЛЬНОСТЬ шкалы — число различных зна
чений (уровней проявления) показателя, которые можно
чить с помощью данной шкалы. Вообще говоря, чувствительность
тем больше, чем больше число опорных точек (или же градаций,
баллов), которые составляют шкалу. Но поскольку проявления
оцениваемого показателя могут быть отождествлены не только с
опорными точками, но и с промежуточными между ними
ниями, то чувствительность шкалы, как правило, больше числа
опорных точек. При этом, однако, операция отождествления
должна обеспечивать высокую воспроизводимость. Если же
производимость низкая, то фактически чувствительность шкалы
может оказаться ниже числа градаций.
136
ТОЧНОСТЬ — близость индивидуальной или обобщенной
(групповой) оценки к истине. Поскольку, как правило, истина
известна, то точность измеряют отношением ширины интервала
согласованности к ширине диапазона всей шкалы.
ИНТЕРВАЛ НЕРАЗЛИЧИМОСТИ — интервал значений
оцениваемого показателя, в пределах которого эксперт не может
различить (по психофизиологическим ограничениям) его
ление в разных образцах.
Рис. 11.4. Вероятность правильного различения р уровней выраженности
показателя х в объектах со значениями х0 и х,текущее. Минимальная
ность @,5) означает совершенно случайный выбор предпочтения или же
отказ от различения
Если зафиксировать определенное проявление показателя (хо)
и постепенно увеличивать (или уменьшать) его интенсивность
*< текущее, то вплоть до некоторого значения лгкр эксперт не может
отличить хо от Xj и либо указывает предпочтение случайно (то
есть, вероятность правильного ответа р = 0,5), либо отказывается
от оценивания.
После достижения хкр дальнейшее увеличение расстояния х,
от хо приводит к быстрому возрастанию вероятности правильного
различения уровней выраженности, вплоть до р - 1 при х, = х\.
Опыты показывают, что 8Дсоставляет 0,10-0,25 Дх.
137
Литература
1. Вартащюв И.С. и др. Коллективные экспертные оценки в
задаче совершенствования перспективного планирования научных
исследований в энергетике. — М.: Информэнерго, 1977. — 70 с.
2. Временные методические указания по нормированию,
тверждению и обеспечению надежности машиностроительной
продукции. — М.: Машиностроение. — 1986.
3. Квалиметрия и управление качеством: Метод, указания к
лабораторным работам. — Чебоксары, 1997. — 30 с.
4. Литвак Б.Г. Экспертные оценки и принятие решений. —
М.: Патент, 1996. —271 с.
5. Миркюi Б.Г. Проблема группового выбора. — М.: Наука,
1974. —254 с.
6. Морозов Б.Н., Лакшин И.И. Вопросы теории и практики
комплексных оценок качества машиностроительной продукции:
Учеб. пособие. — М.: МАДИ, 1983. — 80 с.
7. Методы квалиметрии в машиностроении: Учеб. пособие /
Под ред. В.Я. Кершенбаума, P.M. Хвастунова. — М.: 1 ехнонефте-
газ, 1999. — 210 с.
8. Pyunou Р. Справочник по непараметрической статистике. —
М.: Статистика, 1982. — 200 с.
9. Сиделышков Ю.В. Теория и организация экспертного
гнозирования. — М.: ИМЭМО АН СССР, 1990.
10. Системы сетевого планирования и управления.
мированное введение в ПЕРТ. — М.: Мир, 1965. — 214 с.
11. Субетто А.И. Экспертная квалиметрия.—Л., 1991. — 65 с.
12. Тюрин Ю.Н. Ранговые оценки. — М.: Знание, 1990. — 50 с.
13. Харрингтон Дж. Управление качеством в американских
корпорациях. — М.: Экономика, 1990.
14. Экспертные оценки и их применение в энергетике. / Под
ред. P.M. Хвастунова. — М.: Энергоиздат, 1981. — 180 с.
15. Ягеячо О.И. Квалиметрический анализ и разработка путей
повышения надежности установок ЭЦН // Менеджмент контроля
чества — Надежность и контроль качества. — 1999. — № 10. — 10 с.
138
СОДЕРЖАНИЕ
Введение 3
1. Виды экспертных оценок и условия их обработки 5
2. Точечные экспертные оценки 9
2.1. Виды точечных оценок 9
2.2. Статистическая обработка одноточечных оценок 10
2.3. Статистическая обработка вероятностных оценок 19
2.4. Среднее и рассеяние трехточечных оценок 24
2.5. Двухточечные (интервальные) оценки 27
3. Балльные экспертные оценки 33
3.1. Требования к способам определения балльных оценок ... 34
3.2. Способ вспомогательной шкалы 36
3.2.1. Сущность способа и нормирование
коэффициентов весомости 36
3.2.2. Статистическая обработка 40
3.2.3. Проверка достоверности изменений распределения
балльных оценок под влиянием некоторого фактора 43
3.3. Способ парных сравнений 45
3.4. Способ компенсации 48
3.5. Сравнение с эталонным значением 51
3.5.1. Выбор эталонных значений показателей 52
3.5.2. Выбор вида формулы, представляющей
зависимости балльной оценки от изменяемого значения ... 54
3.5.3. Об использовании функций желательности
Харрингтона 58
4. Ранговые экспертные оценки 62
4.1. Назначение и общие свойства ранговых оценок 63
4.1.1. Общие сведения о ранговых оценках 63
4.1.2. Условия обоснованности экспертных ранжировок ... 65
139
4.1.3. Способы получения ранжировок 67
4.1.4. Представления о согласованности ранжировок 71
4.1.5. Формальные характеристики взаимосвязи
(близости) ранжировок 73
4.2. Алгоритмы обобщения ранжировок 76
4.2.1. Наиболее вероятная ранжировка 77
4.2.2. Алгоритм выделения лидера 77
4.2.3. Алгоритм перехода границы 78
4.2.4. Алгоритм выбора наиболее согласованно
проранжированных объектов 79
4.2.5. Соотношение обобщенных ранжировок,
полученных с помощью различных алгоритмов
обобщения 80
4.3. Примеры решения задач, связанных с обработкой
ранжировок 82
4.4. Поиск медиан Кемени и средних по Чебышеву 94
5. Экспертные группировки 98
5.1. Назначение и выполнение группировок 98
5.2. Статистическая обработка группировок 100
6. Экспертные кривые 104
6.1. Общая характеристика экспертных кривых 104
6.2. Кривые полезности (желательности) 106
6.3. Кривые безразличия 111
6.4. Функциональные кривые 114
6.5. Абрисные (трековые) кривые .....117
6.6. Построение обобщенной экспертной кривой 121
Приложения 127
1. Статистические критерии 129
2. Пояснение некоторых терминов 132
Литература 138
140
В рамках серии
«Управление качеством, стандартизация, сертификация»
вышли в свет следующие издания
Методы квалиметрии в машиностроении.
Учебное пособие, 1999, 212 с.
Под ред. В.Я. Кершенбаума, P.M. Хвастунова
Решение задач квалиметрии машиностроения.
Учебное пособие, 2001, 158 с.
Под ред. В.Я. Кершенбаума, P.M. Хвастунова
Основные положения стандартизации, метрологии
и сертификации нефтегазового оборудования.
Учебное пособие, 2001, 256 с.
Под ред. В.Я. Кершенбаума
Практическая сертификация продукции и услуг.
Учебное пособие, 2001, 312 с.
Под ред. В.Я. Кершенбаума, Т.В. Горяистовой
Серия
«Управление качеством, стандартизация и сертификация»
P.M. Хвастунов, О.И. Ягелло, В.М. Корнеева, М.П. Поликарпов
ЭКСПЕРТНЫЕ ОЦЕНКИ В КВАЛИМЕТРИИ МАШИНОСТРОЕНИЯ
Учебное пособие
Редактор Л.А. Суаридзе
Компьютерная верстка О.И. Ягелло
Набор Н.Д. Суетинова
АНО «Технонефтегаз»
119991, Москва, Ленинский пр-т., д. 65
Лицензия ИД № 02850 от 21.09.2000
Подп. в печать 01.04.2002 Заказ 1153 Формат 60x84/16
Объем 9 печ. л. Тираж 500 экз. Уч.-изд. л. 8,5
Отпечатано в типографии
Московского Государственного Университета