/
Автор: Хвастунов P.M. Крешенбаум В.Я.
Теги: машиностроение электрические машины общее машиностроение издательство техносфера
ISBN: 5-93157-002-0
Год: 1999
Текст
, Под редакцией
акад. РИЛ, 1гроф. В. Я. Кершенбаума,
акад. Alfk, проф. Р. М.Хвйстунова
■ Л^ правление оса^сшгсщгацш^
МЕТОДЫ
КВАЛИМЕТРМИ
В МАШИНОСТРОЕНИИ
МФ «Технонефтегаз»
МОСКВА 1999
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
Российский Государственный II У/ \\ Московский Государственный
университет нефти и газа {{([' )| технический университет
им. И. М. Губкина \\ т^^ // им. Н. Э. Баумана
Серия «Управление качеством,
стандартизация и сертификация»
МЕТОДЫ КВАЛИМЕТРИИ
В МАШИНОСТРОЕНИИ
Учебное пособие
Под научной редакцией
акад. РИА, проф. В. Я. Кершенбаума,
акад. АПК, проф. Р. М. Хвастунова
Москва
1999
НАСТОЯШЕГ ИЗДАНИЕ ВЫПУШННО В РАМКАХ СЕРИИ ..УПРАВЛЕНИЕ
К,ЛЧЕСТВОМ СТАНДАРТИЗАЦИЯ И СЕРТИФИКАЦИЯ.» В СООТВЕТСТВИИ С
ПЛАНОМ СОВМЕСТНЫХ РАБОТ РОССИЙСКОЙ ИНЖЕНЕРНОЙ АКАДЕМИИ
И AK.'VIEMHH ПРОБЛЕМ КАЧЕСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ
.авторский КОЛЛЕКТИВ:
Российский Государственный
университет нефти и газа
им. И. М. Губкина
Владимиров А. И., акад. РИА, проф.;
Кершенбаум В. Я., акад. РИА, проф.,
Поликарпов М. П., науч. сотр.;
Ягелло О. И., науч. сотр.
Московский Государственный
технтеский университет
им. И. Э. Баумана
Хвастунов Р. М., акал. АПК, проф.:
Холопов В. Н., проф
Серия «Управление качеством, стандартизация и сертификация»
МЕТОДЫ КВАЛИМЕТРИИ В МАШИНОСТРОЕНИИ
Учебное пособие
Под научной редакцией
акад. РИА, проф. В. Я. Кершенбаума,
акад. АПК, проф. Р. М. Хвастунова
ISBN 5-93157-002-0
С МФ ОС ..ТЕХНОНЕФТЕГА.)... 144
ВВЕДЕНИЕ
Качество машиностроительной продукции стало определяющим
фактором конкурентной борьбы на рынке. Оно должно быть
но на всех этапах периода существования изделия. Однако особенно
важное значение имеет этап, предшествующей разработке технического
задания. Определение показателей качества, существенных для
го потребителя, их количественных значений и весомости требует
пользования прогнозных данных технического и экономического
рактера.
После разработки технического задания требуется осуществлять
переход от потребительских показателей качества изделия в целом к
установлению требований к точности исходных звеньев кинематических
и раз.мерных цепей изделия. С учетом весомости показателей точности
деталей устанавливают необходимость из.мерения одних параметров,
контроля других параметров и параметров, не подлежащих измерению
или контролю.
Уже в ходе серийного производства изделия, для удержания рынка,
необходимо осуществлять квалиметрический анализ технологического
процесса его производства и непрерывно совершенствовать качество
изделия.
Весьма желательно осуществлять надзор за функционированием
изделия в процессе эксплуатации, анализируя качество и надежность
работы узлов и изделия в целом и подготавливая тем самым требования
будущего потребителя, которые должны быть положены в основу новой
конструкции изделия.
Способы решения указанных задач рассматривает «кв&шиметрия» -
область знания, посвященная методам получения количественных оценок
качества объектов, используемых человеком, независимо от их природы.
Применительно к проблематике нефтегазового комплекса квали-
метрия как методология формирования количественных представлений
о качестве технологического оборудования имеет особое значение, Для
того, чтобы понять роль и задачи квалиметрии в общем .пакете
лин по специальности «Стандартизация и сертификация в нефтяной и
газовой промышленности» целесообразно обратиться к н>?давней
рии нашей страны.
В недалеком прошлом СССР по праву считался ведущей
вой державой мира, не только завоевавшей пальму первенства по
честву добытых нефти, газа, газового конденсата, но и полностью
печивавшей собственный нефтегазовый комплекс необходи.мь.'м обору-
дованием. Более того, советское нефтегазовое оборудование
лось в страны СЭВ, Китай, Вьетнам, Египет, Сирию, Ливию и т.п.
рошо было известно отечественное оборудование и в странах Западной
Европы.
Однако хотелось бы предостеречь читателя от «романтическою»
восприятия ситуации с нефтегазовым оборудованием в конце 70-х -
начале 80-х гг. (в период пика добычи углеводородного сырья). В тот
период на конкурсной основе за рубежом закупалось лишь то
ное оборудование, которое не производилось в СССР. Достаточно
вспомнить поставляемое США и Францией оборудование устья
жины на высокие давления (до 105 МПа) с использованием
но-стойких материалов или румынские качалки большой
ности и станции управления к противовыбросовому оборудованию.
Вместе с тем в структуре зарубежных закупок большой акцент делался
на технологическое оборудование для производства нефтегазовой
ники, вплоть до комплектной поставки целых заводов. Пример тому -
приобретение у фирмы «Дрессер» (США) долотного завода для
шевского производства.
В целом же импортные поставки не превышали нескольких
тов общего объема используемого нефтегазового оборудования.
Несколько слов о качестве и конкурентоспособности
го нефтегазового оборудования, которое производилось на заводах,
принадлежащих разным ведомствам (Миннефтепрому, Минхиммашу.
Миноборонпрому, а впоследствии Роскоммашу, Минтопэнерго,
моборонпрому и т.п.). Кроме конструктивного несовершенства,
рое устранялось и устраняется путем заимствования зарубежных
рукций, в основе низкой конкурентоспособности отечественной
газовой техники лежали существовавший в те недавние годы
лизм (однородная продукция выпускалась одним-двумя
ми) и, что самое главное, мешающее нам до сих пор явное
ское отставание. Здесь следует отметить невысокое качество
лов, морально и физически устаревший парк металлорежущих станков,
что не дает возможности достичь необходимого уровня точности
товления деталей и, наконец, недостаточное внимание к технологии
обработки поверхностей. Наукоемкие, высокие технологии весьма
бо использовались при создании оборудования для нефти и газа. К
жалению, с тех пор на заводах нефтяного машиностроения ситуация
практически не изменилась.
Все это послужило фактическим основанием того, что советское
(а ныне российское) нефтегазовое оборудование по большинству видов
номенклатуры уступало лучшим зарубежным аналогам, в первую
редь, по показателям надежности. Характерные примеры тому: буровые
долота, насосы различного назначения и т.п. Однако экстенсивный
способ развития экономики страны в тот период позволял избыточным
количеством производимой продукции в известной мере восполнять
недостатки ее качества.
С распадом СССР ситуация изменилась коренны.м образом:
лась практически разрушенной система единого машиностроительного
комплекса для обеспечения добычи, транспортировки и переработки
нефти и газа.
Более 30 "о предприятий машиностроительной подотрасли с
возглашением независимости Азербайджана и Украины оказались за
пределами России, а несовершенный механизм экономических
действий внутри СНГ явно не способствовал восстановлению
ционных связей.
С начала 90-х гг. начинает формироваться рынок нефтегазового
оборудования. Этот процесс протекает на фоне и при существенном
влиянии инфляции, налогового бремени, взаимных неплатежей.
ется ситуация, при которой государство, отпустив машиностроительные
предприятия «в свободное плавание», по сути дела, устранилось не
только от планового госбюджетного их финансирования, но и от
ментарной координации их деятельности. Не последнюю роль в развале
машиностроительного комплекса сыграли структурные перестройки в
высших эшелонах его управления. Достаточно вспомнить эту череду
сменяюших друг друга ведомств: Минхиммаш, Минтяжмаш, Роско.м-
маш, Минпром, Минэкономики...
Предприятия машиностроительного комплекса, предоставленные
самим себе, не имея опыта рыночной экономики, были поставлены на
грань выживания. Многие руководители искали выход в
ровании заводов, в поисках продукции, пользующейся спросом, и здесь
было уже не до совершенствования технологии производства, не до
обновления основных фондов и внедрения высоких технологий.
радочно искались средства для выплаты заработной платы
вам, для сохранения предприятий вообще. Излишне, по-видимому,
ворить о том, что это отнюдь не способствовало решению задачи
пуска конкурентоспособной продукции. В значительной мере и сегодня
описанная ситуация сохранилась на многих заводах, традиционно
пускавших нефтегазовое оборудование на протяжении десятилетий.
Однако, несмотря на существующее снижение объема добычи
водородного сырья, нефтегазовый комплекс остро нуждался и продол-
жает нуждаться в технологическом оборудовании. Эти потребности
диктуются крайней степенью износа действующего парка
ния- в нефтяной промышленности - 54 '^о, в газовой промышленности -
70 "о. в нефтепереработке - почти 83 °о. Все эти цифры характеризуют
сегодняшнее состояние нефтегазового комплекса.
Несколько лет назад начинали формироваться два относительно
новых для того времени направления в обеспечении нефтяников и
виков необходимым технологическим оборудованием.
Несмотря на кажущуюся цивилизованность и наличие
рующих факторов, задача обеспечения нефтегазового комплекса
буемым оборудованием решалась и решается спонтанно и далеко не
лучшим образом. Сегодня .мы очень много говорим о важности рсн1сния
задач конверсии предприятий военно-промышленного комплекса. Слов
нет. за многие годы становления и развития «оборонка» накопила
тейший опыт решения важнейших конструкторских и технологических
задач, сегодня она обладает наиболее совершенным в России
гическим потенциалом и не использовать его для нужд ТЭК было бы
преступной ошибкой. Итак, в рамках реализации программы конверсии
многочисленные предприятия ВПК нескоординированно, на свой страх
и риск несколько лет назад начали пытаться вьшускать отдельные виды
нефтегазового оборудования. При этом выбор номенклатуры вьшус-
каемой продукции диктовался не столько гюгребностями рынка,
ко технологическими возможностями предприятий. Уже отмечалось,
что выход предприятий военно-промьш]ленного комплекса на рьшок
нефтегазового оборудования носил инициативный, спорадический
рактер, что. естественно, привело к ошибкам. Многие десятилетия
рого госбюджетного финансирования сформировали не только
вую технологическую базу большинства предприятий ВПК, но и
бенности менталитета руководителей и специалистов «оборонки»,
ренно полагавших, что коль скоро и.м подвластен вьтуск космических
аппаратов или атомных подводных лодок, то и производство таких,
казалось бы, несложных объектов, как буровое долото или фонтанная
арматура, не вызовет существенных трудностей. Результат не за.медлил
сказаться: имеется ряд печальных примеров того, как недостаток знания
специфики газонефтяного оборудования определил низкое качество
вьшускае.мой оборонщиками продукции. Другой миной замедленного
действия, закладываемой на пути вхождения предприятий ВПК в рьниж
нефтегазового оборудования, было практически полное незнание этого
рынка, неу.мение пользоваться правила.ми маркетинга.
в результате при реализации схемы инвестирования
добывающие объединения - машиностроительные предприятия ВПК» в
условиях недостатка информации и отсутствия элементарной
нации начался выпуск однородной продукции в явно избыточных
личествах. Такая досадная ситуация сложилась в недалеком прошлом с
перепроизводством станков-качалок грузоподъемностью 8 т,
ной арматуры на давление 21 МПа.
Существенным недостатком нефтегазового оборудования,
водимого предприятиями ВПК, является их высокая стоимость. Цена на
отечественное оборудование, производимое этими предприятиями, в
ряде случаев не только приближается к стоимости импортных аналогов,
но и порой превосходит ее. Однако несмотря на отмеченные трудности
и, в первую очередь, на недостаточность целевого финансирования уже
сегодня имеются очевидные положительные примеры участия
ятий ВПК в рынке нефтегазового оборудования.
Около ста предприятий ВПК производит более 30 % оборудования
для нефти и газа. В их числе Воронежский машиностроительный завод -
производитель фонтанной арматуры: Нижегородский
тельный завод, выпускающий агрегаты для ремонта скважин:
АО «Ижнефтемаш», производящий станки-качалки, буровые насосы и
цементировочные агрегаты и многие другие.
Очень важно, что выпускаемая и.ми продукция отвечает самым
скательным требованиям. Это изделия мирового класса, о чем
тельствует сертификация, проведенная на этих предприятиях весьма
авторитетными зарубежными и международными системами.
Таким образом, это был путь, обусловленный провозглашенной
сударством политики конверсии ВПК и реализуемый непосредственно
предприятия.ми оборонного комплекса.
Другой путь, избранный нефтяными и газовыми компаниями,
сформированными в основном как акционерные общества, основывался
на резком увеличении объема закупок импортного оборудования.
Вертикально-интегрированные нефтяные компании («ЛУКОЙЛ»,
«ЮКОС», «СИДАНКО», «Славнефть» и т.п.), ОАО «Газпром», получив
право самостоятельно решать вопрос о выборе поставщиков
гического оборудования, отдали предпочтение иностранным
ям. Упрекать руководителей компаний за это трудно: импортное
рудование отличается высоким качеством, поставляется в срок и
плектно. Немаловажен фактор послепродажного сервисного
вания, характерный для зарубежного поставщика.
в настоящее время ежегодный объем закупок зарубежного
дования достигает нескольких миллиардов долларов США. и неважно,
что погашение кредитов и долгов осуществляется за счет бартера нефти
и газа: при нормально развивающейся экономике эти средства должны
были поддержать отечественР1ЫЙ машиностроительный комплекс,
мочь ему обновить свои основные фонды и способствовать его выходу
из тупика. Сегодня же, по сути дела, создаются новые рабочие места на
машиностроительных комплексах США, стран Западной Европы;
чественные нефтедоллары способствуют развитию зарубежного
ностроения, в то время как российские машиностроительные
ятия влачат, в основном, жалкое существование. Кроме того, массовые
закупки импортного оборудования грозят России многолетней, и. быть
может, необратимой технологической зависимостью от западных стран:
для нормальной и бесперебойной эксплуатации оборудования
ся запасные части, расходные материалы, что надолго привязывает нас
к зарубежным поставщикам.
Справедливости ради надо отметить, что в условиях сегодняшнего
дня, когда стихийный рынок нефтегазового оборудования,
щийся уже столько лет, приобретает, наконец, более цивилизованные
формы, на.метились определенные признаки введения описанной выше
ситуации в некие организационные рамки, однако признаки эти лишь
контурны и не внушают больших надежд.
Упомянутый перекос в сторону увеличения импортных закупок
оборудования имеет свои объективные причины.
Одна из них - негативная сторона децентрализации. Ситуа[1ия, по
существу, вышла из-под контроля. Реалиями сегодняшнего дня стала
известная самостоятельность в принятии решений акционированными
вертикально-интегрированными нефтяными компаниями (ВИК) и
ОАО «Газпром». При этом следует заметить, что из многочисленных
ВИК лишь «ЛУКОЙЛ» и некоторые его дочерние компании (в
сти, АО «РИТЭК») проявляют серьезную заботу о развитии
ного машиностроения. Значительные капиталовложения в развитие
машиностроения осуществляет ОАО «Газпро.м», имеющий в своем
ставе более двух десятков заводов. Что же касается большинства других
ВИК, то, не имея собственных машиностроительных мощностей, они
стоят перед выбором: заказывать оборудование на предприятиях Рос-
коммаша, Минтопэнерго РФ, Миноборонпрома РФ или закупать его за
рубежо.м. И надо сказать, что во многих случаях предпочтение отдается
последнему варианту. Основное объяснение - невысокое качество
чественною оборудования, неритмичность поставок и т. п. Естественно,
западные партнеры, работающие на протяжении ряда лет в условиях
жесткой конкуренции, строго выдерживающие свои обязательства,
новятся более привлекательными для российского потребителя.
Наконец, одной из причин так называемого «вынужденного
порта» являются, как отмечалось, связанные кредиты, когда известные
банки н фонды предоставляют ссуды нефтяным и газовым компаниям
на условиях тендеров, т. е. решения о поставке оборудования для
ботки тех или иных месторождений принимаются на основании
тых торгов. Одним из неотъемлемых условий участия в таких торгах
является наличие у предлагаемого оборудования зарубежного или
дународного сертификата.
Таким образом, отечественное предприятие для участия в тендерах
должно быть аттестовано согласно международным нормам, а его
дукция соответствующим образом сертифицирована. Далеко не все
российские предприятия (по сути дела единицы) прошли эту требуемую
дорогостоящую процедуру и обладают правом ставить на свою
дукцию зарубежную или международную монограмму (API, ISO или
какую-то иную).
Число сертификационных структур, стремящихся аккредитоваться
Госстандартом РФ, имеет четкую тенденцию к увеличению. Это,
спорно, естественный процесс. С каждым годом роль сертификации
возрастает, в.месте с тем возрастает и ответственность органов
кации. Однако сегодня далеко не все благополучно в сфере
ции нефтегазового оборудования. Сертификация предполагает наличие
развитой системы стандартизации, а вот здесь-то и кроется множество
подводных камней. Мировая практика накопила богатый опыт
дартизации различных объектов, в том числе нефтегазового
вания. Полноценное функционирование системы стандартизации
полагает непрерывное обновление фонда стандартов (ежегодно как
миниму.м 10 - 12 % от общего числа).
В России в последние годы в силу ряда обстоятельств (не и.меющих
непосредственного отношения к обсуждаемым вопросам) число
но обновляемых стандартов не превышает 2 %. Естественно, это
ло к тому, что фонд стандартов устарел, многие документы ут^^атили
свою силу и по бытугощей в настоящее время российской практике в
наименовании стандарта год его выпуска может не указываться.
добное гюложение дел совершенно недопустимо, и важнейшей задачей
сегодняшнего дня становится кардинальное обновление фонда
тов. На основе сопоставительного анализа отечественной и зарубежной
проектно-конструкторской документации следует выбрать критерии и
значения важнейших показателей не только достижимых, но и в
большей степени ответственных за качество продукции. Перспективным
представляется применение технологии квалиметрии для определения
указанных критериев и значений. Таким образом, творческий подход к
формированию новых стандартов обусловит рождение гибридного
варианта, вобравшего в себя то лучшее, что было и есть в ГОСТах и
спецификациях API.
Анализ приведенных материалов свидетельствует о то.м, что в сфере
обеспечения нефтегазового комплекса России необходимым
ческим оборудованием скопилось множество нерешенных проблем.
Естественно, подотрасль нефтегазового машиностроения, являющаяся
составной частью индустриального потенциала страны, страдает от
общих ;и1я этого потенциала бед. В область квалиметрии как раз н
дит ряд задач, решение которых позволит, в известной мере,
зовать положение дел в сфере создания современного нефтегазового
оборудования.
Существенное расширение области обязательной сертификации
нефтегазового оборудования в соответствии с Постановлением
тельства Российской Федерации от 13 августа 1997 г. N° 1013 «Об
верждении перечня товаров, подлежащих обязательной сертификации, и
перечня работ и услуг, подлежащих обязательной сертификации» и
становлением Госстандарта России от 23 февраля 1998 г. № 5 «О
менклатуре продукции и услуг (работ), подлежащих обязательной
тификации», вывело на новый качественный уровень ко.мплекс
ваний к производимой в России и поставляе.мой из-за рубежа техники
для нефти и газа.
Работы в области сертификации, как известно, основаны на
ной современной базе нормативно-технической документации.
фикация оказывает мощное воздействие на качество сертифицируемой
продукции. С помощью подходов, принятых в квалиметрии,
ляется возможным учесть требования большинства критериев,
риваемых в процедуре сертификации, ранжировать эти требования и
получить однозначное эффективное решение. Естественно, эти решения
будут способствовать формированию современной базы нормативно-
технической документации, максимально актуализированной и
гармонизированной с международными и международно-признанными
стандартами.
Квалиметрические методики будут весьма эффективны при
ровании комплекса требований к оборудованию, допущенному к
стию в тендерах. Это, бесспорно, должно способствовать повышению
уровня объективности принимаемых решений, защите прав
ного производителя.
Итак, зачем машиностроителю вообще и специалисту в области
нефтегазового оборудования в частности нужна квалиметрия? Знание
квалиметрических методик он может применить в при решении
дующих задач:
♦ оптимизации конструкции изделия;
♦ совершенствовании технологического процесса изготовления
продукции, причем как в аспекте выявления в нем «узких» мест, так
и в плане нахождения путей (методов и средств, в т.ч.,
онных мероприятий) устранения его недостатков;
♦ повышении, как следствие первых двух позиций, качества,
дежности и конкурентоспособности продукции;
♦ актуализации нор.мативно-технической базы, определении
структуры и конкретного наполнения разрабатываемого стандарта,
величин закладываемых в нем показателей;
♦ онти.мизации и упорядочении процедуры сертификации,
фикационных испытаний;
♦ повышении объективности и эффективности тендеров, выборе
альтернативного варианта;
♦ локализации сферы научного поиска, постановке целей и задач
исследования.
В настоящем учебном пособии рассмотрены основные методы ква-
лиметрии, рассмотрено решение ряда типичных задач,
щих вышеуказанным целям. Большинство примеров взято из
зовой подотрасли машиностроения, они имеют определенную
ку, однако провести аналогии с машиностроительной продукцией
гого назначения чрезвычайно легко. Поэтому данное пособие
но для студентов любого технического ВУЗа.
В первой части рассматривается собственно квалиметрия
ленной продукции, основная схема квалиметрии, технология и порядок
выполнения действий при составлении квалиметрических .мечод.чк.
тальные четыре части посвящены квалиметрическому
тарию» - шкалам и работе с экспертами. Последнему уделено большое
внимание, т.к. состав экспертной группы и операции с ней оказывают
огромное влияние на результат любой работы, где привлекаются ква-
лиметрические методы. Для выработки практических навыков и
пления пройденного материала в книге имеется специальный раздел
«Вопросы и задачи». В приложениях рассмотрены некоторые частные
вопросы, знание которых весьма полезно для будущих квалиме! роло-
I I
roB. Приведенные в списке литературы источники позволят желаюи1ИМ
более подробно ознакомиться с рассматриваемыми вопросами.
сующимся проблемами сертификации и повышения надежности
дования для ТЭК следует обратиться к журналу «Надежность и
фикация оборудования для нефти и газа».
Книга может полезна также для аспирантов, инженеров и научных
работников, специализирующихся на вопросах управления качеством
промышленной продукции.
12
Часть I
КВАЛИМЕТРИЯ ПРОМЫШЛЕННОЙ ПРОДУКЦИИ
В чем специфика и особое значение квалиметрии промышленной
продукции?
Промышленная продукция является исторически первым объектом,
к которому были применены методы зародившейся квалиметрии. В
статье, где впервые был упомянут термин «квалиметрии» (Гличев А.В. и
др. «Квалиметрия - наука об измерении качества» // Стандарты и
ство, - 1968, Л'о 1) авторы указывали, что промышленная продукция
является основной областью применения количественных методов
нивания качества. И действительно, до сего времени около 50 % всех
квалиметрических методик посвящены продукции промышленного
производства. Таким образом, специалист по управлению качеством не
может не встретиться с необходи.мостью оценивания качества этих
ектов. Но дело даже не в этом. Главная причина, по которой мы
ляем квалиметрию промышленной продукции в отдельный раздел - это
наличие и.мснно здесь значительного числа достаточно отработанных и
устоявшихся приемов, способов, ставших уже своего рода эталонными,
«классическими» средствами аппарата квалиметрии. Поэтому, начав с
изучения квалиметрии промышленных объектов в целом, мы в частных
областях ее применения (общее машиностроение, нефтегазовое и
химическое машиностроение, экологическая квалиметрия и т.д.) легко
сможем увидеть их специфику и соответствующие особенности
ных операций.
Изложение в этой части курса идет как бы с позиций инженера-
квалиметролога, пришедшего на некоторое предприятие или фирму,
выпускающую промышленную продукцию, и ответственному за
чение конкурентоспособности, а следовательно, и качество этой
дукции. Каковы же этапы создания и выпуска продукции, существенные
для этого специалиста и каковы его задачи на этих этапах?
В обеспечении качества промышленной продукции удобно
лить 4 этапа (см. также [5], [6], [7]).
1) Этап, предшествующий разработке технического задания -
более важный с позиций инженера - специалиста по управлению
ством (квалиметролога). Его роль на этом этапе - решающая. Здесь
определяют показатели качества, существенные для будущего рынка
изделия - потребительские, их желаемые значения. При этом
мо использование данных не только экономического характера,
ченных в результате изучения рынка, но и прогнозных данных по раз-
13
витию соответствующей отрасли промышленности в целом и, в
сти, по перспективам совершенствования оцениваемой продукции.
2) Этап разработки технического задания. Здесь квалиметролог со-
вместно с конструкторами фирмы осуществляет переход от
тельских показателен качества изделия к общей конструкции изделии и
устанавливает возможность выполнения прогнозируемых требований
потребителя. Если потребительские требования невозможно выполнигь
с помощью традиционных конструктивных peujeHHtt, ква.чиметроло!
обязан участвовать в постановке изобретательской задачи, которая
должна быть решена.
3) После составления технического задания осуществляют переход
от некоторых потребительских показателей качества к установлению
требований к точности изготовления узлов и деталей, определению
■элементов и параметров технологического процесса, обеспечивающих
достижение установленных требований. Вьнюлнение этих функций гре-
бует знания способов перехода от параметров «верхнего» уровня к
обеспечивающим их звеньям «нижнего» уровня. Инжснер-квали-
метролог обеспечивает методическую правильность выполр1ения
ций этой иерархии, начиная от выявления потребительских показателей
качества объектов и их оптимальных значений до установления
ваний к звеньям технологического процесса, обеспечивающим качество
деталей и узлов объектов.
4) Работа инженера-квалиметролога но повышению качества
мышленного изделия не прекращается с вьтуско.м его первого
го образца. Уже в ходе выпуска следует изучать, изменившиеся
ния потребителей и совершенствовать как методику оценивания
ва изделий, так и на этой основе технологический процесс производства
(естественно, вместе с технологами), предъявляя к нему все новые
требования.
Понятно, что инженер-квалиметролог не всегда может изучить
нологический процесс настолько, чтобы лично выдвигать предложения
по его совершенствованию, однако это не всегда могут вьнюлнить и
инженеры-технологи. Поэтому квалиметролог должен способствовать
созданию на своем предприятии кружков по качеству, содействовать
развитию рационализации и изобретательства и принимать другие
ры, способствующие непрерывному росту качества изде;и1Й.
Отделы технического контроля (ОТК), имеющиеся сейчас на
гих отечественных предприятиях, представляют собой анахронизм,
торый лишь создает иллюзию обеспечения качества ([10], [15]). От того,
что ОТК забракует партию изделий, качество продукции не возрастет.
14
Оно возрастет тогда, когда на всех звеньях технологического процесса
будет исключено появление брака или недопустимое снижение качества.
Поэтому ликвидацию О'ГК, если он еще есть, инженер-квалимегролог
должен рассматривать, как одну из своих важных задач.
Следует отметить и экономический аспект: повышение качества
талей и узлов изделия, возникающее при совершенствовании
гического процесса, как правило, должно сопровождаться упрощением
технологии, ибо ее усложнение влечет возрастание вероятности
ния дефектов ([3], [5], [10], [15]). Упрощение технологии означает и
жение себестоимости продукции, а следовательно, и рыночной цены.
Если непрерывно проводить совершенствование технологии
ства одной и той же продукции, то ее себестоимость и рыночная цена
будут систематически падать. Только таким путем можно завоевать и
удержать рьток для изделия /иштельного периода выпуска.
Многие авторитетные специалисты придерживаются, однако,
тивоположной точки зрения, а именно той, что с повышением качества
рыночная цена изделия должна возрастать. Нам представляется, что
этот путь - тупиковый, т.к. приводит, в частности, к снижению
тельной способности населения, а следовательно, к сокращению спроса
на те же изделия и в итоге - к потере рынка.
Помимо использования в рамках собственного предприятия, ква-
лиметрия предоставляет возможность администрации обеспечить
ведливую, не зависящую от обстоятельств рекламного или
го характера, оценку изделий своего предприятия относительно
дукции аналогичного назначения других предприятий. Конечно, эта
оценка может, в ряде случаев, оказаться и не в пользу своей продукции.
Но тогда у квалиметролога появляется возможность найти показатели,
обусловившие низкую оценку и, правильно выполнив оценивание и
прогноз потребительских требований, поставить перед конструкторами
задачу вьшолнения этих требований.
Итак, роль инженера-квалиметролога в обеспечении качества и
конкурентоспособности продукции своей фирмы может стать
ной. Он должен правильно выявить потребительские требования,
ществить прогноз их изменений на достаточно длительный срок,
ходимый для перестройки производства. Одновременно инженер-квали-
метролог должен помнить, что только снижение цены продукции при
одновременном повьш1снии ее качества обеспечит
ность. Поэтому он должен представлять себе возможности
ров и технологов и грамотно ставить перед ними задачу, так, чтобы
обеспечение потребительских требований не было связано с большими
затратами на перестройку технологии. В тех случаях, когда для
ления качеством продукции приходится использовать экспертов, инже-
нер-квалиметролог должен методически правильно сформировать эту
группу и правильно руководить се работой. Методическую основу
шения всех этих задач также предоставляет квалиметрия.
Может возникнуть вопрос: каким же образом фирмы западных
стран (и некоторые отечественные) обеспечивают себе устойчивое
ложение на рынке, если их персонал не знаком с квалиметрией?
Ответ такой: фактически эти фирмы осуществляют квалиметриче-
ский подход и квалиметрический анализ, не используя эти термины.
В любой крупной фирме имеется отдел анализа рынка, отдел
рования потребительских требований, которые выполняют задачи, как
у нас указано, первого этапа. Прогнозные разработки попадают в
структорский отдел, который предлагает варианты их осуществления.
Одновременно экономический отдел осуществляет расчет ожндае.мой
прибыли различных вариантов. Выбор наиболее перспективных
антов осуществляют с использованием оценок по частным показателям
и целостных оценок - каждая фирма имеет свой набор приемов
вания и не стремится их афишировать. После выбора наиболее
тивных вариантов в работу по их осуществлению вовлекают всех
трудников производства, каждый может давать свои предложения по
рационализации технологии, новым конструктивным решениям (для
облегчения поиска таковых фирма закупает образцы продукции
рирующих фирм, тщательно анализирует найденные ими решения,
совершенствует и использует их). Руководство создает кружки но
ству продукции из инженеров и рядовых рабочих, участие в которых
поощряется.
Таким образом, фактически имеет место квалиметрический подход.
Но квалиметрия, плюс к этому подходу, дает методику выполнения всех
операций и некоторый общий подход к получению количественных
оценок качества. В условиях России, при отсутствии традиций
зации борьбы за рынок, квалиметрия дает направляющую концепцию и
средства создания конкурентоспособной продукции.
Итак, зачем нужна квалиметрия?
Она нужна инженеру, ответственному за качество, для того, чтобы
правильно, всесторонне представить продукцию своей фирмы на
реннем и внешнем рынке. Для того, чтобы избежать давления рекламы в
оценивании закупаемой продукции, оценить ее со своих позиций, как
потребителя. Квалиметрия помогает выполнить анализ рынка и
гноз потребительских требований к продукции, предполагаемой к вы-
16
пуску, и позволяет четко поставить перед конструкторами и
ми задачу удовлетворения этих требований.
Квалиметрия дает четкую схему разработки методик оценивания
качества любых объектов или же анализа представляемых
ми методик с целью выявления их недочетов.
Квалиметрия дает специалисту по управлению качеством общие
принципы декомпозиции потребительских требований на уровень
структивных элементов, позволяет обосновать номенклатуру
мых и контролируемых параметров изделий. Квалиметрия позволяет
технологу при участии квалиметролога найти звенья технологического
процесса, от которых в наибольшей степени зависит технологическое
качество изделий.
Основная схема квалиметрии
Основная задача квалиметрии - разработка методик
ного оценивания качества объектов, используемых человеком, и
бов выполнения отдельных операций в ходе этой разработки.
ность операций, выполнение которых необходимо для создания любой
квалиметрической методики, настолько существенна, что ее называют
«основной схемой» (рис. 1). В отдельных задачах (в зависимости от
цифики производства и потребления оцениваемой продукции) те или
операции основной схемы могут выпадать, однако целесообразность
отказа от их выполнения каждый раз должна быть обоснована.
A)
Описание ситуации оценивания:
• группировки объектов оценивания;
• фуппировки потребителей
(-) Определение решений
C)
D)
Генерация показателей качества. Построение дерева свойств
Разработка шкал показателей
Определение коэффициентов весо.мости показателей. Построение
кривых влияния
E) Определение взаимодействия
F)
G)
Конструирование алгоритма ко.мплексного показателя
Проверка надежности алгоритма
Рис. 1. Поакдовательность операций при разработке квалиметрической методики
(«основная схема» квалиметрии)
Все содержание квалиметрии сводится к разработке способов
полнения этих операций применительно к различным
ным и социально-экономическим ситуациям. Рассмотрим кратко
держание этих операций и связанные с ними задачи.
1. Ситуация оценивания - это часть периода существования
та, в которой проявляются его потребительские свойства. Для toio,
чтобы выделить эти потребительские свойства, нужно, прежде всего,
указать потребителя, т.е. те группы лиц, которые имеют дело с
том на данном отрезке периода существования и предъявляют к нему,
как потребители, одинаковые требования.
Кроме того, в ситуацию оценивания входит и описание той группы
объектов, которые являются однородными с позиций потребителя, т.е.
тех, по отношению к которым может быть найдена количественная
оценка качества по той же разрабатывае.мой методике.
Как правило, это объекты того же основного назначения что и
ект, ради которого разрабатывается методика. Например, однородную
группу могут составлять стиральные машины различных марок,
ваторы различных конструкций и т.п. Однако это не обязательно. Если
потребителем является, например, компания по перевозке грузов, то для
нее однородную группу составляют объекты примерно одинаковых
габаритов, одинаковой массы и т.п., совершенно безотносительно к
функциям этих объектов.
2. Определение решений. Количественная оценка качества нужна
нам не сама по себе, но только в связи с теми решениями, которые
нимают на основе этой оценки. Именно набор решений определяет и
состав используемых в алгоритме показателей качества и способы
раций с этими показателями.
Решений иногда бывает только два (например «закупать» - «не
купать» объекты), иногда же, очень много (например, при оценивании
качества функционирования сложной системы, где решения принима-
югся не только в целом («общие» решения), но и по отдельным
телям и по группам показателей («частные» решения).
3. Генерация показателей качества. Всякий объект может быть
рактеризован неопределенно большим числом показателей. Однако, для
оценивания нужны лишь некоторые, которые называют
скими». То есть те показатели, которые интересуют потребителя.
требительские показатели бывают частные и комплексные. Частные -
это те. которые можно измерить непосредственно (инструментально или
экспертно). Частные показатели объединяют в однородные группы,
каждая из которых служит основой для расчета комплексного показа-
теля. Последние также объединяют в группы до тех пор, пока не будет
получен единственный комплексный показатель качества. Полученная
структура называется «деревом свойств» (см. рис. 1.1).
Дерево свойств имеет в квалиметрии два назначения. Во-первых,
при построении дерева свойств дисциплинируется мышление.
чик начинает четко представлять себе, какие группы свойств
ют в данном случае качество объекта, достаточно ли полно
ны показатели, составляющие данную группу. Именно благодаря
чию однородных групп показателей становится возможным
венное выражение их относительной важности.
Во-вторых, дерево свойств представляет собой графическое
жение простейшего (но не обязательно окончательного) алгоритма
чета комплексной оценки качества. В дальнейшем, после проверки
взаимодействия показателей и др. этот алгоритм может быть изменен,
или вообще отвергнут, но вначале он является как бы «точкой отсчета»,
от которой начинается разработка.
Важнейшим звеном разработки является формирование шкал
рения частных показателей. Поскольку квалиметрия сплошь и рядом
и.меет дело с показателями, ранее не подвергавшимся измерению
(«удобство транспортировки», «устойчивость к воздействиям внешней
среды» и т.п.) то создание шкал, удовлетворяюших требованиям
метрии. является иногда сложной са.мостоятельной задачей.
4. Определение коэффициентов весомости. Учитывая
ные шкалы измерения частных показателей выбирают способ
ния их относительной значимости («весомости») для комплексной
ки качества ближайшего по дереву свойств уровня. Также происходит
оценивание относительной значимости комплексных показателей,
дящих в общую группу, для показателя качества следующего уровня и
т.д. Обычно это оценивание выполняют в баллах или же в долях единицы.
По.мимо определения «весомости» частных показателей в целом,
для каждой их градации находят оценку «желательности» (или
«полезности») соответствующего проявления для потребителя. Если
шкала показателя непрерывна (т.е. это - шкала порядка и выше), то
полученные оценки желательности соединяют отрезками прямых,
чая «кривую влияния» (или «кривую полезности»).
5. Определение взаимодействия. Операции определения
ентов весомости и построения кривых влияния дают инфор.мацию
таточную для расчета комплексных оценок качества по алгорит.му.
ределяемому «деревом свойств». (Что и предполагалось вполне
точным на первых шагах развития квалиметрии). Однако при попытках
19
применения этого алгоритма оказалось, что далеко не всегда частные
(да и комплексные) показатели можно рассматривать, как независимые
с позиций оценки их «желательности» потребителем. То есть,
ски оценка « желательности» определенного проявления одного
теля зачастую зависит от того, каково в данном объекте проявление
другого показателя. Это обстоятельство назвали «взаимодействием»
показателей.
Впоследствии было обнаружено, что и сам набор показателей,
пользуемых в алгоритме оценивания объекта, может зависеть от
ний одного или нескольких частных показателей. Это также резко
труднило разработку адекватных квалиметрических алгоритмов.
В отношении взаимодействия показателей плохо не только, что мы
пока не умеем его достаточно уверенно выявлять. Плохо еще и то, что
нет уверенности, что взаимодействие ограничивается указанными двумя
видами. Напротив, существуют некоторые парадоксы оценивания
(см., например, [12]) которые, по-видимому, говорят о наличии других
типов взаимодействия.
F) Конструирование алгоритма. Сконструировать алгоритм -
чит установить его логико-вычислительную структуру, позволяющую
от любого набора возможных значений частных показателей перейти к
одному из решений ранее сформированного набора.
Как уже говорилось, простейшим алгоритмом является дерево
свойств. Но применимость этого алгоритма удается доказать лишь в
простейших случаях. При оценивании качества сложных объектов
(устройств, научных программ, организаций) линейные алгоритмы
обычно неприменимы. И именно здесь мы зачастую не можем доказать,
что сформированный набор показателей необходим и достаточен для
оценивания, а логико-вычислительная структура должным образом
учитывает взаимодействие. Отсюда и вытекает неуверенность в
ватности расчетного алгоритма.
G) Проверка надежности разработанного алгоритма. Здесь
ляют вероятность ошибки в принятии решения с помощью
ного алгоритма и устанавливают критерий достоверности
мых решений.
В «обычной» статистике оценок, получаемых инструментально или
подсчетом, для проверки достоверности рассчитываемых параметров
(средних, характеристик различия и др.) и расчета вероятности ошибок
используют предпосылку нормальности распределений.
Статистика оценок, получаемых с использованием комплексных
показателей делает только первые шаги. Во всяком случае, распределе-
20
Н11Я комплексных оценок совокупности оцениваемых объектов, заведо-
1И0 отличны от нормального. Мы не умеем в этих условиях уверенно
рассчитывать вероятность ошибки комплексных оценок и определять
достоверность их различия. Поэтому, заканчивая каждую новую
ботку, приходится чуть ли ни заново изобретать способы проверки
ошибочности и как-то индивидуально вырабатывать критерии
верности различий.
Мы пытались показать, что полная реализация всех операций
новной схемы квалиметрии есть необходимое условие получения
дежной квалиметрической методики. Однако выполнение каждой
рации связано с определенными трудностями. Их преодоление в ходе
создания квалиметрической методики требует иногда значительных
усилий со стороны разработчика, но и представляет интерес, который
вызывает нужная практике научная задача.
Что собой представляют зала чи по квалиметрии?
Настоящее пособие предназначено для овладения студентами
собами решения простейших задач квалиметрии, можно сказать,
могательных задач. Но их все же следует уметь решать, т.к. они входят
как составные части в значительно 6oj/ee сложные квалиметрические
.методики реальных объектов.
Квалиметрия не использует сложные математические методы и не
требует владения специальными инженерными навыками (черчение,
пространственное воображение и др.). Все методы квалиметрии
ны на обычной логике в сочетании со знанием некоторых правил
ты с качественными (т.е. не количественными) да1тыми и экспертными
оценками. Поэтому рекомендуем студентам, не читая основного текста,
взяться за решение задач, приведенных в разделе «Задачи и вопросы».
Не исключено, что их удастся решить сразу. Как только задача решена,
посмотрите в соответствующее место части 1 или 2. Результат здесь
такой: либо вы использовали тот же способ, что и рекомендованный
нами - отлично! Если же вами применен другой способ - поздравляем с
открытием!
Пожалуйста, сообщите о нем преподавателю.
Если задачу вы решить не смогли, посмотрите в указанное место
текста и примените способ, который там рекомендован. Переходите к
следующей задаче.
Все использованные в примерах и задачах показатели взяты с
роко распространенных технических объектов: транспортных средств,
погружных центробежных насосов, наручных часов и т.п. Эти объекты
21
выбраны потому, что, во-первых, они достаточно различны и на ни.\
можно продемонстрировать способы квалиметрического анализа
рокого круга объектов. Во-вторых, эти объекты хорошо знакомы
никам, используются ими на каждом шагу, так что студенту-
машиностроителю нетрудно вообразить себя и в роли потребителя, и в
роли эксперта, выдвигающего те или иные требования. Это было бы
труднее сделать по отношению к какому-нибудь другому объекту, с
которым машиностроители редко соприкасаются непосредственно:
электрокардиографу, например, или сноповязальному агрегату.
1. ТЕРМИНОЛОГИЯ
Качество - это совокупность свойств объекта, обусловливтощих
возможность удовлетворения им требований потребителя в coorifcTCT-
ВИИ с назначением объекта. Таким образом, «качество» существует не
объективно, но лишь с позиций некоторого лица, которое называют
«потребителем». С позиций другого лица, предъявляющего к тому же
объекту другие требования, качество оказывается совсем иным.
На практике часто используют понятие «технический уровень»
(ТУ) объекта. ТУ это несколько показателей, по которым
вают достижение или превышение оцениваемым объектом лучших
ровых или отечественных аналогов. Соответствующие оценки могут
быть сведены в единую, комплексную оценку или же использованы по
отдельности. Отличие понятия ТУ от понятия качества состоит в том,
что показатели, используемые в первом случае, в основном, не
ют из требований потребителя, но представляют собой чисто
ские характеристики, хотя и важные, но не исчерпывающие
мый потребителю набор свойств объекта.
Так, например, технический уровень наручных часов определяют
по «оценочному числу» - ко.мплексному показателю, учитывающему
только точность хода (ошибку за сутки), ошибку в отсчете и ошибку за
счет колебаний температуры.
В ТУ никогда не включают эстетические показатели,
ские, экологические и др. Даже и по включенным в ТУ показателям не
производят оценивания полезности их различных значений для
бителя. Поэтому изделие с низким ТУ может оказаться более
ным для потребителя, чем изделие с более высоким ТУ. по совокупности
проявления в нем всех потребительских свойств.
Понятие ТУ, кроме того, не используют в отношении отдельных
деталей или узлов изделия, тогда как понятие качества применимо и в
этих случаях. Следовательно, использование понятия «качества» пре-
22
доставляет более широкие возможности в анализе и обеспечении
рентоспособности изделия, чем использование понятия «ТУ».
Потребигель - отдельный человек или. группа лиц. предъявляющих
к объекту одинаковые требования.
При этом «потребителем» может являться не только тот, кто
пользует объект по его основному назначению, но и все те, кто имеет
хоть какое-то дело с объектом на всем протяжении его существования
от момента создания до ликвидации. Например, потребители рейсового
автобуса - не только пассажиры, но и шоферы, слесари-ремонтники и
другие лица, обеспечивающие функционирование автобуса. Понятно,
что требования, допустим, слесарей-ремонтников к автобусу иные, чем
V пассажиров и други.х потребителей.
При оценивании качества мы исходим, прежде всего, из требований
основного потребителя. Но в разных условиях пользова]1ия .могут
няться требования основного потребителя и может меняться и понятие
основного потребителя. Например, требования пассажиров рейсового
автобуса в сельской местности совершенно иные, че.м таких же
жиров в крупных городах. Контингент возможных потребителей,
деление основных потребителей, выявление их требований должны
полнять специалисты по изучению и прогнозированию рынка -
жеры. Но претворение этих потребительских требований в требования
конструктивные и, далее, в требования к технологическому процессу
изготовления изделия осуществляют на основе оценок менеджера
неры-конструкторы и инженеры-технологи, которые осуществляют,
таким образом, квалиметрический анализ изделия, необходимый для
создания технического задания на его изготовление.
Количественная мера качества - количественное выражение уровня
удовлетворенности потребителя проявлением свойств, составляющих
качество, в оцениваемом объекте.
Свойство - первичное, не определяемое понятие.
Свойства выражают в одном или нескольких показателях, причем
последние имеют шкалы измерения, что и позволяет, в конечном счете,
придти к количественной оценке качества.
Например, свойство установок электроцентробежных насосов для
добычи нефти (УЭЦН) - способность транспортировать нефть от забоя
к устью скважины. Показатели, раскрывающие это свойство, -
водительность, напор и другие.
Свойства подразделяют на простые и сложные. Простые свойства
Раскр1зшает один показатель, который может быть непосредственно
измерен инструментально или экспертно. Сложные свойства непосред-
23
ственно измерить нельзя, их для этого следует разделить на более
стые («декомпозировать»). Совокупность менее сложных свойств, ня
которые непосредственно раскладывают сложное свойство, называют
группой свойств. Показатели, выражающие простые свойства, т.е.
средственно измеримые, называют единичными (я также частными пли
отдельными). Все остальные показатели, рассчитываемые но
ным, называют «комплексными».
Потребительские свойства - это свойства, которые удовлетворяют
потребности основной группы потребителей (или двух - трех основных
групп).
Так, основными потребителями УЭЦН являются нефтедобывающие
компании, требования которых должны быть удовлетворены в
лее полном объеме. Свойства, существенные для других групп
телей, называют техническими. Технические требования неосновных
потребителей, например, бригад ПРС (подземного ремонта скважин),
могут быть удовлетворены с низшей оценкой качества.
Однако, если насосы покупают, допустим, для разборки на
сти, то основными потребителями становятся ЦБПО (центральная база
производственного обслуживаия) и оценивание качества следует
водить с позиций их требований.
Дерево свойств - это графическое представление разложения
ного свойства «качество» на совокупность простых, единичных свойств,
осуществляемое в виде последовательного многоуровневого
ления («декомпозиции») каждого более сложного свойства на группу
менее сложных.
Интегральное
качество
0-ой
Экономичность
Качество
1-ый
Эстетичность
Эргономичиость
Функшюнальиость
2-ой
При полготоБке к нсполыова-
нню (по этапам существования)
При непосредственном
использовании
Хранение
Транспортировка к чес1>
потребления
Развертывание, монгаж
Ремон],
техобсл¥Жнвакие
Снабжение топливом (iHepiveti)
Лемонгаж. Консервации
Ликвидации
Приспособленность к
нию основного нажачеиии
Устойчивость h' внешним
■озлейстниям
Рис. 1.1. Начальные уровни дерева обши.х свойств
В основных чертах схема декомпозиции качества, применимая к
любым техническим объектам, уже разработана (см. [1], [2], [13], [16J).
24
Она носит название «дерева общих свойств)^ (см. рис. 1.1). Специфику
каждого отдельного объекта учитывают, исключая свойства, не сущест-
денные для оценивания качества в данной ситуации, и добавляя
рево свойств назначения, составляющих качество.
Дерево общих свойств в полном виде крайне редко используют прн
практических расчетах качества. Обычно используют только поддерево -
любую ветку дерева, простирающуюся не менее, чем на 2 уровня.
затели, фактически использованные при расчете оценки качества
го объекта, называют оценочными или определяющими. Для краткости
мы далее, полагая, что путаница не возникнет, вместо «поддерево»
дем писать «дерево».
Если в число определяющих показателей включены экономические
(затраты на производство, эксплуатацию и др.), то получаемую оценку
называют оценкой интегрального качества объекта. Однако в
щем пособии мы не будем рассматривать экономические аспекты, те.
интегральное качество.
Дерево свойств определяет также алгоритм, последовательность
действий, при расчете ко.мплексных оценок качества.
Надо отметить, что дерево свойств определяет лишь основной,,
стейший алгоритм расчета. Этот алгоритм, а также ограничения воз.мож-
ностей его применения рассмотрены далее в п. 2.2.7.
Особую группу представляют свойства, определяющие надежность
изделия: сохраняемость, безотказность, ремонтопригодность и
вечность. Дерево свойств надежности приведено в приложении 3,
дежность по всем ее составляющим показателям учитывают совместно,
в виде коэффициента использования Кис, который при вычислении кс>М'
плексного показателя рассматривают как частный показатель, т.е.
ят для Кис кривую влияния и т.д.
Методика оценивания качества (МОК) - система правил,
ляющих получить комплексную (или же целостную) оценку качества
объекта и на этой основе принять определенное решение относительно
оцениваемого объекта.
МОК должна содержать:
1) указание на группу объектов определенного назначения, к ь:ото-
рь1м она может быть применена и четкое отграничение этой группы or
объектов аналогичного или взаимозаменяемого назначения, к которым
методика не может быть применена;
2) указание на группу потребителей, с учетом требований которых
Мок разработана;
2.^
3) описание ситуации оценивания (условий функционирования или
потребления объекта, в которых проявляются потребительские
ва), указание на цель оценивания;
4) перечень использованных показателей с их определением и
лами измерения. При необходимости - указание на способ получения
оценок по шкалам показателей;
5) алгоритм действий с оценками, назначенными оценивающим
экспертом по этим показателям для получения комплексной оценки;
6) полный перечень решений, принимаемых в соответствии со
чениями комплексной (или целостной) оценки качества;
7) указание на способ отбора экспертов, оценивающих объекты, и
способ их опроса.
Каждая из этих позиций должна быть методически обоснована.
Неполнота проработки или методически неверное выполнение хотя бы,
одной позиции приводит к тому, что с помощью мок можно получить
любую оценку качества, т.е. МОК оказывается неработоспособной.
Квалиметрия дает способ выполнения каждой позиции, хотя и не всегда
уверенно.
Оценка и оценивание. В разговорной речи слово «оценка» означает
как процесс получения некоторого значения показателя, так и само у то
значение. В квалимстрии процесс получения значения обозначают
мином «оценивание».
Шкала - это совокупность чисел, качественных формулировок,
сунков или других объектов, которым можно поставить в соответствие
объекты иной природы (например, изделия) или их свойства с помощью
определенной операции, называемой измерением. Это соответствие
устанавливают так, чтобы какие-то отношения между измеряемыми
объектами или их свойствами были эквивалентны отношениям между
числами или другими объектами, составляющими шкалу измерения.
Ситуация оценивания - это слабо формализованное описание
вий существования и использования объекта потребления (изделия),
достаточное для разработки дерева свойств или другого алгоритма
оценивания качества.
Из ситуации оценивания должна однозначно и недвусмысленно
текать цель оценивания, или, что то же самое, набор решений, которые
могут быть приняты в отношении объектов оце1Швания при различных
значениях комплексной оценки.
Базовый (эталонный) ряд - это несколько D ^ 6) лучщих мировых
образцов изделия того же назначения, что и оцениваемый объект, рас-
26
роложеиные в порядке нарастания уровня потребительских показателей
качества в их совокупности.
Базовый ряд необходимо использовать после составления
ского задания, изготовив модель разрабатываемого объекта, или, в
крайнем случае, после изготовления опытного образца изделия, для
того, чтобы обеспечить конкурентоспособность изделия не только по
каждому отдельному потребительскому показателю, но и по их
нию. В результате использования базового ряда получают целостную
оценку качества изделия (см. прил. 1)
Базовый ряд используют также на этапе до составления
ского задания для прогнозирования по1ребительских требований, глав-
ны.м образом, по эстетически.м и эргономическим показателям качества.
Комплексная оценка - количественная оценка качества, полученная
с использованием нескольких (иногда - нескольких десятков)
ляющих показателей с использованием коэффициентов весомости этих
показателей, балльных оценок полезности, арифметических и
ских операций, связывающих эти показатели.
Определяющие показатели - показатели, используемые в
тельном расчетном алгоритме комплексной оценки ка чества.
2. ПОСТРОЕНИЕ ДЕРЕВА СВОЙСТВ
2.1. Составление описания ситуации оценивания
Прежде, чем строить дерево свойств, необходимо составить
ние ситуации оценивания.
Огп1сание ситуации оценивания включает:
• Определение однородных групп потребителей - лиц,
щих одинаковые требования к оцениваемой продукции - и ука:'а-
ние на те из них, с чьих позиций будет произведено оцениван.ие
качества - основных потребителей.
• Определение однородной группы объектов, подлежащих
нию, этапов существования этих объектов, во время которых
ную роль играют различные свойства объектов. Определение
бых условий (например, климатических), в которых происходит
эксплуатация объектов оценивания.
• Определение лучших объектов, предназначенных для выполнения
тех же функций, что и объекты, подлежащие оцениванию, с
рыми может быть проведено сопоставление. (Выполнение этого
положения необходимо не всегда, но в тех случаях, когда в р^езуль-
27
тате применения методики оценивания качества мы хотим
чить высокую конкурентоспособность промышленной продукции).
• Определение цели оценивания, т.е. решений, которые будут
ты в отношении оцениваемых объектов при тех или иных
ях комплексной оценки качества.
Всякая количественная оценка качества продукции имеет смысл
только в сочетании с теми решениями, которые вытекают из различных
значений этой оценки. При этом возможны два варианта:
♦ решения жестко связаны с оценками (т.е. полученная объектом
оценка непосредственно определяет решение, которое будет
то по отношению к нему, независимо от того, какие оценки
ны другими объектами);
♦ решения в отношении одного из объектов принимают в
мости от того, какие оценки получены другими объектами
(конкурсная ситуация).
Так, при техническом контроле качества решение о присвоении той
или иной категории качества в отношении определенного изделия
нимают независимо от того, какую категорию получил другой объект.
Но, например, при выборе одного из нескольких конструктивных
антов механизма для серийного производства или в другой конкурсной
ситуации, решение принимают исходя из того, какое место занимает
оценка данного изделия по отношению к оценкам других изделий.
Цель оценивания, т.е. решения, которые будут приняты в
нии оцениваемых объектов, играет решающую роль в разработке и
применении МОК. Если цель оценивания плохо разъяснена
стам, разрабатывающим методику, то эти специалисты, помимо своей
воли вообразят себе какую-либо вероятную, с их точки зрения, цель и
будут определять значимость тех или иных показателей, исходя из этой
воображаемой цели. Понятно, что при этом могут появиться
альные расхождения оценок или же разработанная МОК окажется
ще неприменимой.
Насколько важно четкое определение цели оценивания качества,
показывает следующий пример.
Пример 2.1. В крупном НИИ технического профиля проводили
оценивание качества выполненных разработок. Экспертам,
шим оценивание, вначале не сообщили его цель и они, предполагая, что
по результатам оценивания работы будут премированы (как это
но происходило в НИИ по итогам года), единодушно присудили первые
места разработкам, выполненным за короткое время на основе многих
новых идей и авторских свидетельств. Были учтены затраты на разра-
28
ботку, состав коллектива исполнителей и т.п. Затем экспертов
данно известили, что оценивание качества происходит с целью
жения созданных технических объектов на международную выставку. И
тогда эксперты столь же единодушно оценили как лучшие совершенно
другие работы - имеющие наибольший шанс быть проданными за рубеж.
Почему это произошло? Потому, что выбор определяющих
телей качества решающим образом зависит от цели оценивания, или, что
то же самое, от решений, которые будут приняты в отношении
мых объектов. В перво.м случае эти решения были - «Премировать» - «Не
премировать», во втором ~ «Рекомендовать для продажи на внешнем
рынке» - «Не рекомендовать».
Описание ситуации оценивания трудно составить сразу, за один
этап работы. Как правило, в ходе разработки МОК приходится
кратно возвращаться к описанию ситуации оценивания и уточнять его.
Пример 2.2. Инженеру-квалиметрологу предстоит оценить качество
предлагаемых к закупке вахтовых автобусов для перевозки работников
на промыслах. Вначале составляют такое описание ситуации оценивания:
Вахтовые автобусы для эксплуатации в условиях Западной Сибири
в вессине-летне-осеипий период. Преимущественно для перевозки
сажиров па работу и с работы (эксплуатация в утренние и вечерние
сы). Предстоит перегнать из-за границы в город, здесь же
вать и хранить в зимнее время. Разборка на запчасти не предусмотрена.
Далее, по мере знакомства с лучшими мировыми образцами
автобусов этого назначения, описание может быть дополнено такими
фрагментами:
Основные потребители: пассажиры трудоспособного возраста,
феры-эксплуатационники. Учитываемые группы потребителей:
ры-перегонщики, ремонтники, работники автопарка. Использование
инвалидами и для перевозки детей не предусмотрено.
И так далее.
В конечном счете описание ситуации оценивания должно быть
ведено в начале МОК и начинаться словами: «Методика оценивания
качества предназначена для ...», далее идет описание ситуации
вания.
2.2. Действия при построении деревьев свойств
2.2.1. Как составить возможно более полный перечень показателей
После определения ситуации оценивания можно приступить к
строению дерева свойств.
29
Для построения дерева свойств необходимо составить возможно
более полный перечень требований, предъявляемых основными
бителями. Этот перечень составляют, используя следующие источники:
1) техническую документацию на объект оценивания;
2) ГОСТы и другие методические документы, регламентирующие
требования к объекту оценивания;
3) ГОСТ 22851-77 «Выбор номенклатуры показателей качества
мышленной продукции»;
4) литературу по вопросам эксплуатации объекта оценивания или,
если объект создается впервые, объектов аналогичного
ния ( в частности, подборки рекламаций, если их удается достать);
5) данные изучения рынка потребительского спроса и прогнозные
данные, касающиеся ожидаемых требований потребителей;
6) опрос экспертов.
Из этих источников наиболее важны 4) и 5), т.к. именно
рение перспективных чребований потребителей определяет
способность продукции и коммерческий успех ее разработки. ГОСТы и
техническая документация по самому принципу своего создания и
менения дают информацию со значительным запозданием и в
ной экономической обстановке не могут служить гарантией
го совершенства и конкурентоспособности объекта.
Показатели качества оцениваемой продукции выбирают, используя
описание ситуации оценивания и учитывая, главным образом,
ния тех групп потребителей, которые сталкиваются с продукцией на
интересующих разработчика этапах периода существования.
вание набора частных показателей удобно начинать с составления
речня групп свойств, которые, предположительно, могут быть
зованы в ситуации оценивания. Для изделий промышленного
ства это могут быть группы функциональности, технологичности,
тентно-правовые и др. (см. рис. 1.1 и прил. 2,3,4).
Вначале следует подумать, все ли необходимые группы свойств
тены в этом перечне. Например, если продукция предназначена для
использования в особых условиях (тропики, агрессивная химическая
среда и др.), необходимо введение группы, учитывающей эти условия.
Напротив, большая часть групп дерева общих свойств должна быть
исключена в связи с учетом условий потребления. Например, если речь
идет о закупке некоторой продукции с доставкой к месту потребления,
то показатели технологичности, патентно-правовые,
ности могут быть несущественными. При оценивании промышленных
изделий часто пренебрегают этапом ликвидации. Во многих случаях это
30
оправдано, т.к. этап ликвидации не связан с какими-то особыми за-
хрудненнями для эксплуатационников. Однако для многих объектов
тяжелого машиностроения, ядерной энергетики, автомобилестроения,
учет этапа ликвидации остро необходим уже сейчас. Достаточно
смотреть па кладбища автомобилей, кладбища речных судов,
рии у предприятий, заваленные металлоломом, в том числе цветным,
городские свалки и др. Окислы металлов, продукты разложения
щих веществ и нефтепродуктов на этих свалках отравляют верхние
венные горизонты, делая территорию совершенно непригодной для
растительной жизни, уничтожая бентос поверхностных вод и проникая
в водоносные горизонты, все интенсивнее отравляют и питьевую воду.
Допускать разрастания этого губительного воздействия нельзя.
Поэтому, с одной стороны, при оценивании качества объектов все
большее значение принимает этап декомпозиции или модернизации и
связанные с этим rpyiuibi свойств, с другой стороны - свалки техники и
городские свалки следует превратить как можно скорее в один из
новных источников сырья для промышленного производства.
2.2.2. Особенности составления перечня показателей качества для
продукции, выпускаемой в ассортименте
Особенно трудной задачей является разработка МОК изделий
ного назначе]1ия, но ориентированных на различные группы
телей и потому отличающихся по некоторым потребительским
телям, т.е. изделий, выпускаемых в ассортименте. Например, к таким
изделиям относятся трубы нефтегазового сортамента, запорно-
рсгулирующая арматура, буровые долота. Из других отраслей про-
.мышленности в качестве примера можно привести бытовую электро- и
радиотехнику, различные виды экскаваторов, другую строительную
TexiiHKy, т.е. изделия, выпуск которых фирмой или предприятием в
единственном варианте нецелесообразен.
В этом случае МОК должна содержать полный перечень групп и
единичных показателей, существенных для оценивания качества хотя
бы одной^категории продукции (т.е. с позиций хотя бы одной категории
потребителей) и реко.мендации по использованию этих групп при
нивании той или иной категории продукции. Разработка такой
ки требует, прежде всего, обоснованного выделения групп потребителей
(чтобы не раздувать излишне состав показателей) и правильного
деления требований каждой группы.
Пример 2.3. Допустим, речь идет о создании МОК
бежных погружных насосов. Скорее всего, фирма не сможет
читься выпуском ЭЦН одного типоразмера и лишь для одной группы
потребителей, т.е. добывающих организаций, эксплуатирующих фонд
скважин со сходными параметрами и сходной же политикой
тации оборудования. Необходим некоторый ассортимент типоразмеров
и модификаций. Поэтому вначале следует определить существующие
категории этих ЭЦН. Этими категориями могут быть варианты
нения ЭЦН:
• обычное;
• коррозионностойкое.
Возьмем обычное исполнение. Потребители ЭЦН по своим
ваниям не составляют однородную группу. Можно попытаться
лить среди них однородные группы по тем же параметрам фонда
жин и политике комплектации оборудования. Но попытавшись сделать
это, убеждаемся, что сколько бы мы ни выделили групп, всегда остается
возможность выделить еще одну и указать ее возможные специфические
требования, т.к. не секрет, что от скважины к скважине условия
плуатации ЭЦН существенно меняются, также как и различными
ются финансовые возможности потребителей.
Поэто.му этот путь неприменим. Подойдем иначе. Допустим,
лено, что основные различия в требованиях касаются 3-х групп
телей: стойкости к абразивному изнашиванию поверхностей трибосоп-
ряжений A), стойкости поверхностей проточной части к соле- и пара-
финоотложению B) и устойчивости к обрыву («полету») C). По
ваниям к этим группам разделим потребителей на группы,
ляющих высокие («В») и умеренные («У») требования. Тогда образуется
всего 8 сочетаний:
Абразивостойкость
Стойкость к солеотложснию
Устойчивость к обрыву
1
в
В
В
2
В
В
У
3
в
у
в
Номер
4
В
У
у
варианта
5
У
В
В
6
у
в
у
7
У
у
в
8
У
у
у
Из этих групп можно исключить 2, 4, 5 и 7, так как основной
чиной «полетов» является вибрация, которая, в свою очередь, возникает
вследствие износа трущихся поверхностей. Остается 4 возможных
пы потребителей, для каждой из которых следует предложить свой
бор свойств.
32
Аналогично следует поступить с набором конструкторско-техно-
логических решений по приведению модификации насоса в
вие с [ютребностям выделенных групп. Проведя соответствующий
рос экспертов, можно установить, в какой мере эти решения отвечают
потребностям выделенных групп. Тогда таблица вариантов сочетаний
требований потребителей может принять вид:
Варианты
сочетаний
основны.х
требований
ввв
ВУВ
УВУ
УУУ
Керамические
материалы
детален три-
босопряжений
++
—
-
—
Применение методов
повер.хностного
нения поверхностей
трибосопряжений
,.._.
++
—
-
Нанесение
мерных покрытий
на детали
точной части
++
--
+
—
точные
радиальные
опоры
■f-l-
+
Обозначения: «++»- очень нужно; «+» - нужно; «-» - может отсутствовать.
Для того, чтобы пользователю МОК было легче представ.ить себе
потребителей, относимых к тому или ино.му варианту сочетаний',
ет охарактеризовать соответствующие группы потребителей. Например,
сочетание ВВВ может быть характерно для крупных добывающих
низаций, эксплуатирующих фонд скважин с высокой концентрац.ией
взвешенных частиц, высокопарафинистой нефтью и большим темпом
набора кривизны ствола. Теперь можно оценить примерный объем
групп потребителей и, следовательно, планировать объем выпуска ЭЦН
в каждом варианте.
2.2.3. Правила построения деревьев свойств
Имеются некоторые эмпирически установленные правила пострс е-
ния деревьев свойств. Серьезного теоретического обоснования их пока
еще нет и, возможно, они неверны. По этой причине трудно дать их
четкие формулировки и приходится иллюстрировать их применение н?.
нескольких при.мерах.
Деление по равному основанию (одинаковому признаку)
В любой группе свойств должен быть единый для всей группы
знак деления, т.е. более простые свойства, раскрывающие сложное
ство, должны действительно относиться к данному сложному свойству.
а не к другому.
.33
Например, в дереве технического качества ЭЦН, приведенном на
рис. 2.1, это требование нарушено. Действительно, свойство «Форма
напорной характеристики» должно быть отнесено на второй уровень.
Тип ступени
Техническое
качество
оборудования
Конструктивное
качество
Применяемые
.материалы
Технологическое
качество
Конструкция ступени
Конструкция деталей узлов трения
Наличие промежуточных радиальных подшипников,
расстояние между ними
Длина насоса
Форма напорной характеристики
Эксплуатационные
свойства материалов
Качество материалов
Качество заводского
изготовления ЭЦН
Стабильность технологии
изготовления
=> ис^^лючигь
Качество изготовления
деталей и узлов
Качество сборки
НОИ характери-
\^—— — добавить
Примечание. В методически.х целях реальный пример, взятый из работы [П], упрощен
Рис. 2.1. Дерево свойств, составляющих техническое качество ЭЦН
Не всегда легко безошибочно выполнить группировку показателен
так, чтобы она не вызывала возражений. Дело, види.мо, в том, что
кое название свойства позволяет разным специалистам вкладывать в
него различное содержание.
Формирование дерева свойств целесообразно начинать с последни.ч
его уровней - с отнесения единичных показателей к тем или иным
плексным показателям предпоследнего уровня. Но, как было уже
но, разные эксперты могут по-разному сгруппировать одни и те же
казатели. Поэтому возникает необходимость проверить
ность экспертных группировок и сформировать обобщенные
ровки (см. п. 2.2.6.). Если сформировать согласованные обобщенные
группы не удается, следует поступить следующим образом:
34
A) Провести собрание экспертной группы, на котором обсулить
чины расхождений и, устранив их, повторить группировки.
Например, если причина расхождений - неодинаковое содержание,
вкладываемое экспертами в название того или иного свойства, то
следует уточнить это содержание и предложить всем экспертам
придерживаться единой трактовки названия свойства.
B) Ксли согласованности добиться не удалось, то следует разделить
всю совокупность экспертных группировок на внутренне
ванные группы и проводить дальнейшую разработку МОК в
скольких вариантах - по числу согласованных групп.
C) Если вариант B) неприменим - распустить экспертную группу,
нз.меннть принципы отбора экспертов и сформировать ее заново.
Эта последовательность действий характерна не только для
нения экспертных группировок, но и вообще для всех видов экспертных
оценок при обнаружении их несогласованности. По отношению к
падающим («еретическим») оценкам отдельных экспертов нельзя
пать так, как по отношению к выпадающим результатам
тальных измерений, т.е. отбрасывать их, как заведомо ошибочные.
Причиной расхождения индивидуальных оценок может являться
чие информации, которой располагают эксперты, или же различие
гики их мышления. Весьма часто бывает, что один эксперт,
ший «еретическую» оценку, оказывается прав, тогда как остальные
ошибаются. При обсуждении «еретику» не всегда (но часто) удается
убедить коллег в правильности своей оценки, как и наоборот
ству не удается убедить «еретика» и поэтому отсутствие
сти оценок после обсуждения также не является основанием для
сывания выпадающей оценки. Тем более это относится к ситуации, хо-
гда индивидуальные оценки образуют несколько (обычно не более двух)
согласованных групп и добиться согласованности не удается.
дится разрабатывать МОК в двух вариантах.
Независимость свойств по их влиянию на качество
Независимость свойств по их влиянию на качество означает, что
опенка влияния на качество показателя, характеризующего одно
ство, не зависит от оценки влияния на качество другого пока.штеля,
характеризующего другое свойство. Для краткости, это условие
лируют, как «отсутствие взаимодействия» показателей.
Например, в дереве свойств, приведенном на рис. 2.1, на втором
ypoB)ie взаимодействие не обнаруживается. Но если взять показатели
«Качество материалов» и «Качество изготовления деталей и узлов», то с
35
точки зрения нефтяных компаний, эксплуатирующих скважины с
ким содержанием механических примесей, если применяемые материалы
не обладают высоким сопротивлением абразивному износу, то
ность показателя «Качество изготовления деталей и узлов» в
нии деталей трибосопряжений резко падает.
Понятие взаимодействия можно сформулировать и так:
ствие есть повышение или же снижение оценки качества по
ному показателю по сравнению с суммой оценок по составляющим его
показателям.
Есть несколько способов представления взаимодействия.
рим способ, связанный с построением кривых изолированного влияния
и «желательности».
Прежде всего составим простейшую вспомогательную шкалу,
пользуя которую можно с единых позиций взглянуть на то или иное
значение любого показателя по уровню удовлетворения им
стей пользователя.
Такая шкала может иметь вид:
Характеристика
удовлетворенности
Очень хороню
Хорошо
Нейтра.пьно
Плоховато
Очень плохо
Баллы
+ 4
+ 2
О
-2
-4
И вот теперь мы, с помощью этой шкалы будем выражать
тельность различных проявлений как отдельных свойств, так и их
таний в объекте.
Пример 2.4. Пусть микроклимат в цехе завода характеризуют
затели «температура воздуха» и «подвижность воздуха». На рис. 2.2,а
сплошная линия представляет собой кривую желательности (т.е.
ния на качество) различной температуры воздуха, построенную одним
из экспертов. Также сплошная линия на рис. 2.2.6 представляет собой
кривую желательности подвижности воздуха (в см/с). Однако кривая по
каждому показателю построена в предположении, что другой
тель зафиксирован на оптимальном уровне. Теперь предложим эксперту
построить кривую желательности подвижности воздуха, предполагая,
что в силу эксплуатационных условий температура в цехе находится в
пределах О -f 5 °С. Тогда кривая желательности скорости воздуха
стится влево (приблизительно, как 1) на рис. 2.2.6). Если же, напротив,
36
эксплуатация происходит в условиях жаркого климата и прогрев цеха
достигает 25 °С, кривая желательности скорости воздуха значительно
сместится вправо ( как 3) на рис. 2.2.6). Предложив эксперту построить
кривую желательности температуры воздуха в цехе при различной
вижности воздуха получим аналогичный результат: при отсутствии
вентиляции кривая сместится влево, при наличии неустранимых
няков - вправо. Это смещение и иллюстрирует изменение оценок
влияния по одному показателю в зависимости от значений другого
показателя.
Температура
Q Подвижность воздуха
Рис. 2.2. Иллюстрация взаимодействия показателей. Кривые влияния каждого
показа теля иа ка чсство из.'исняют положение и форму в зависимости от того, какое
зиа чем не примет другой показа гель. Слева (а) - положение кривой влияния темпера туры
при подвижности воздуха О см/с; справа F) - положение кривой (желательности)
влияния подвижности воздуха при I) О "С; 2) + IS °С; 3) + 25 "С.
В тех случаях, когда взаимодействующие показатели имеют
дуированные шкалы, взаимодействие удобно характеризовать с
щью таблицы. Например, используем вместо непрерывной шкалы для
показателей «Температура» и «Подвижность воздуха» использовать их
градации:
Температура, °С
5-12
12-18
18-22
Подвижность воздуха, см/с
5-15
15-25
25^0
Средняя оценка в баллах
2
4
2
Тогда таблица взаимодействия может иметь вид (в предположении,
что коэффициенты весомости обоих показателей одинаковы и равны
т/=т2= 0.5).
37
Тяб.ппш 3.1
Иллюстрация взаимодействии rpa;iyi<poBaiiiibix 11оказа1елсГ|
Температура. °С
2E-12)
4A2- 18)
2A8-25)
Подвижность воздуха, м/с
2E-15)
2 B)
4 C)
1 B)
4A5-25)
1 C)
4 D)
3 C)
2B5 - 40)
0 B)
4 C)
4 B)
Примечание. Числа без скобок - экспертные оценки желательности данного сочеза-
ния градаций, числа в скобках оценки желательное™, полученные в предположении
отсутствия взаимодействия.
С помощью табл. 2.1 можно видеть, что, например, ожидаемая
оценка желательности в ячейке A,3) ~ 2 балла, что соответствует
«хорошему» состоянию микроклимата. Однако экспертная оценка
фортности данного сочетания - О баллов, что совершенно естественно,
т.к. сочетание невысокой температуры и довольно сильного сквозняка
нельзя, конечно, считать «хорошим» для рабочих цеха. Здесь
действие происходит по типу «потенциирования» отрицательных
ний. Другой тип взаимодействия обнаруживается в ячейке C,3). Здесь
сочетание повышенной температуры (что само по себе не оптимально) и
повышенной скорости воздуха (что также не оптимально) приводит к
макси.мальной удовлетворенности работников цеха качеством
климата: 4 балла против ожидаемых 2-х по суммации без
вия. Имеет место взаимодействие по типу потенциирования
тельных влияний.
Взаимодействие может выражаться не только в изменениях оценки
совместного влияния по сравнению с ожидаемой, но также в том, что в
зависимости от значений некоторого показателя меняется
тельность действий с другими показателями, или даже состав
зуемых далее показателей. В этом случае алгоритм дерева свойств
новится неприменимым для построения методики оценивания качества
и следует применять другие алгоритмы (примеры см. п. 2.2.7).
Следует отметить еще, что наличие или отсутствие взаимодействия
показателей по их влиянию на качество не имеет никакого отношения к
факту наличия или отсутствия статистической связи между значениями
этих показателей в совокупности реальных оцениваемых объектов.
ствительно: пусть показатели «Освещенность» и «Подвижность
ха» тесно взаимосвязаны потому, что постоянно открытые
онные решетки расположены вдоль верхней части стекол. Это
тельство никак не влияет на оценку удовлетворенности пользователем
уровнем комфортности сочетания показателей. Другое дело, есть ли
возможность преодолеть эту взаимосвязь, т.е. раздельно регулировать
38
освещенность и уровень сквозняка и получать, следовательно, другое
сочетание значений показателей.
Необходимость и достаточность числа свойств в группе
В квалиметрии приходиться выполнять группировки 3-х типов
ектов: самих промышленных изделий, формируя из них внутренне
поставимые группы по сходству выполняемых функций и некоторым
конструктивным параметрам; потребителей этих изделий, объединяя их
по принципу единства предъявляемых к продукции требований и
зателей качества, формируя из них группы по ветвям дерева свойств.
Практически, для оценивания качества не очень сложньвх объектов,
группировка показателей бывает настолько естественной, что может
быть выполнена одним лицом разработчиком методики. В более
сложных случаях группировку показателей выполняют с привлечением
экспертов.
Первоначально составляемая группа показателей должна
творять требованию наибольшей полноты: в нее должны войти все
казатели, включенные в состав группы хотя бы одним экспертом,
вестные хотя бы из одного источника. При этом необходимо проверить,
не упущен ли какой-либо показатель, который может относиться к
ной группе. Возможно, что тот или иной показатель окажется
ным в несколько групп. Это не страшно, т.к. далее необходимость его
присутствия в каждой группе будет неоднократно проверена.
Возможно, что некоторые показатели будут статистически
мы при их измерениях на группе объектов, подлежащих оцениванию,
как. например, «диаметр» и «масса» бурового долота, или «напор» и
«число ступеней» ЭЦН. Это совершенно неважно, т.к. комплексная
оценка качества нечувствительна к корреляции показателей (см.
дущий п. «Независимость свойств ...»).
Если какой-либо показатель можно выразить через другие
(расчетом или логическим условием) то его можно исключить из дерева.
Однако и в случае его сохранения ошибки не произойдет, т.к.
ванные коэффициенты весомости всех функционально связанных
зателей по-прежнему будут составлять единицу и завышения их влияния
на качество за счет количества не будет.
Далее, при выполнении экспертных группировок, выявляется
таточный набор показателей в каждой группе. При это.м из группы
дут исключены показатели, оценки принадлежности которых не
гают заданного уровня согласованности (см. п. 2.2.5). Конечно, этот
набор показателей нужно еще раз проверить на достаточность в содер-
39
жательном смысле. В случае сомнений в достаточности - провести
трольный опрос экспертов.
Получив достаточный набор показателей, эксперты выполняют
ределение оценок их весомости (см. п. 2.2.4). После нормировки оценок
из каждой группы исключают показатели, у которых значения
рованных коэффициентов весомости не превышают imp =0,1. Учет этих
показателей оказал бы крайне незначительное влияние на комплексную
оценку качества. Это влияние было бы меньше влияния возможной
ошибки в оценке коэффициентов весомости экспертным методом,
рая, как показано в психофизиологических опытах, не менее 0,1 от
симума. Отбросив малозначимые показатели, получают необходимое
число «определяющих» показателей, с использованием которых
тывают комплексную оценку качества.
Практически число частных показателей в группе бывает от 2 до 5,
реже - 6 - 7.
2.2.4. Способы назначения коэффициентов весомости
Существует несколько десятков, а может быть, более сотни
бов назначения коэффициентов весомости. Однако для приложений в
квалиметрии используют не более 10. Они будут подробно рассмотрены
в следующих разделах настоящего пособия. Здесь мы ограничимся
кратким, иллюстративным изложением двух экспертных способов -
способа вспомогательной шкалы и способа парных сравнений и
мостного способа, который можно отнести к полурасчетным,
экспертным. На их примере мы проиллюстрируем принципы
ния основных требований к балльным оценкам.
В квалиметрии к балльным оценкам предъявляют следующие
бования.
Мы используем алгоритм расчета, определяемый деревом свойств,
т.е. формулу, включающую аддитивные операции:
где т^, - балльная оценка весомости ;-го показателя, находящегося в
группе к-го уровня, 6, - балльная оценка проявления /-го показателя в
оцениваемом объекте.
Отсюда с необходимостью вытекает требование, чтобы сами
балльные оценки были определены в шкале интервалов. Это означает,
что операция назначения баллов в какой-то мере должна обеспечивать
равенство психофизиологически определяемых «расстояний» между ними.
40
Го есть, должно быть какое-то экспериментальное основание лля
верждения, что 2 балла настолько же больше 1, насколько 3 больше 2 и т.д.
Это первое требование.
Второе требование, индивидуальная воспроизводимость.
Способ назначения баллов, которым пользуется каждый эксперт,
должен быть таким, чтобы можно было проверить, что эксперт
вительно уверен в своей оценке. Для этого при опросе эксперта
няют «контрольную операцию», которая позволяет эксперту с других
позиций взглянуть на сравниваемые объекты и вновь количественно
выразить свои ощущения.
Третье требование, межэкспертная воспроизводимость. Способ
значения баллов должен быть таким, чтобы при его повторении другим
экспертом были получены те же или достаточно близкие оценки.
Рассмотрим теперь упомянутые способы назначения балльных оценок.
Способ вспомогательной процентной шкалы
Вспомогательная шкала, предназначенная для назначения
ентов весо.мости частных показателей, представляет собой совокупность
качественных (словесных) описаний, которые в обобщенной фор.ме
рактеризуют значимость показателя с точки зрения его влияния на
ство оцениваемого объекта. Вспомогательную шкалу, в этом варианте ее
применения, строят обычно в несимме1ричной фор.ме и значимость
зателей выражают в %, принимая за 100 % важность всех показателей
оцениваемой группы вместе. Способ удобно применять, начиная с первых
уровней дерева.
Возьмем, например, дерево «Структура отказов ЭЦН». Пусть
щее число отказов ЭЦН - 100 %. Тогда вклад отдельных деталей в это
число будет таким, как указано на рис. 2.3.
Корпус 10 %
ЭЦП 100 %
Остальные детали 32 "и
Рабочие органы 45 %
Подшипниковые узлы 23 %
Го.ювка 10 %
Основание 19"/«
Вал 23 "/.
Шлицевая муфта 8 %
Шпонка 10"/.
Узел пяты 20"/»
Направляющий аппарат 40 У»
Втулка защитная вала 30 %
Рабочее колесо 30 %
Втулка подшипника 40 %
Концевая радиальная oncipa 30 %
Промежуточная опора 30 %
Рис. 2.3. Дерево «Структура отказов ЭЦН»
41
Контрольную операцию можно организовать следующим образом.
Перемножим назначенные экспертом коэффициенты весомости
телей двух соседних уровней, так, чтобы получить их сопоставимые
оценки. Например:
А-1
Xi
Хг
Рабочие
Направляющий
аппарат
Втулка
защитная вала
Рабочее колесо
органы
45 X 40 =
45 X 30 =
45 X 30 =
1800
1350
1350
У|
Уг
Уз
Подшипниковые
Втулка
подшипника
Концевая
радиальная опора
Промежуточная
опора
учлы
23 X 40 = 920
23 X 30 = 690
23 X 30 = 690
Теперь следует предложить эксперту сопоставить в процентах
чимость каждой пары показателей, взятых из разных групп. Пусть
перт назначает контрольные оценки р(х) % и р(у) %. Если соотношение
основных оценок р\ % /pi % отличается от р(х) /р(у) не более, чем на
0,1, то их считают согласованными, если же различие больше, то
перта просят пересмотреть свои исходные оценки.
Например:
ляемые
затели
^1 У\
Х\ Vi
Соотношение весо.мостей
по основным
оценкам
по
ным оценкам
1М=,,96 \ ^ = 1,86
920 : 35
■^^гб) 1 ^ = Z57
690 28
■ :
Xs Уз
Расхождение
ll,96- 1.86 1 =0,1
|2,61 -2.571 =0,03
Согласовано
Согласовано
■
Когда все оценки оказываются согласованными, переходят к
верке межэкспертной согласованности. При этом удобно сравнивать
оценки экспертов, начиная, как и при назначении их, с первых уровней
дерева. Сравнение происходит по каждому показателю, т.е. по каждой
ветви дерева, отдельно. Вначале выбирают уровень согласованности в
зависимости от ответственности задачи: ± 5 % для более ответственных
42
задач, ± 10 °о для менее ответственных. Если оценки экспертов
ваются в соответствующий интервал, то их считают согласованными и
вычисляют окончательные средние значения. В противном случае
водят известные (см. п. 2.2.6) процедуры согласования.
Способ парных сравнений
Берут показатели одной группы, подлежащие оцениванию.
На бумаге строят таблицу размерностью п(п-1), где п - число
зателей в группе. По левой и верхней сторонам таблицы заносят
ния (или просто номера) показателей. Удобно записывать первым
более значимый, по предварительному суждению эксперта, показатель и
далее - по убыванию значимости. Такое расположение облегчает
верку внутренней непротиворечивости индивидуальных оценок
та, ибо числа в каждой строке должны монотонно убывать слева
во. Если они возрастают, то оценки эксперта внутренне противоречивы.
Наиболее значимый показатель оценивают в 10 баллов. Сравнивая
его со вторым показателем, последнему проставляют в первой строке
(в ячейку A,2)) оценку в баллах, соответствующую его значимости, на-
при.мер. 6 баллов. После этого первый показатель сравнивают с третьим
и т.д. Закончив заполнение первой строки, таким же способом
ют вторую, прини.мая на этот раз весо.мость второго показателя в
10 баллов и т.д. Пример заполненной экспертом таблицы для группы
частных показателей, составляющих структуру отказов направляющего
аппарата, приведен в табл. 2.2.
Таблица 2.2
Biu индивилуалыш заполненной матрицы парных сравнений
Пока:!атель
1 Износ расточки ступицы
2 Износ нижнего подпятника
3 Гидроабразивный износ лопастей
4 Износ верхнего подпятника
5 Износ внутренней поверхности чашки
2
6
^Щ
3
4
8
шт
4
3B.5)
4
«^
Г^
5
2A,5)
2
3
6
Ш^
Примечание. Числа в скобках после уточнения.
Заполнение таблицы выполняют не менее 3-х экспертов. Как видно
из описания способа, контрольная операция состоит в том, что при
сопоставлении значимости каждого объекта с каждым появляется
можность несколькими путями рассчитать оценки значимости
телей и затем сопоставить полученные оценки между собой.
43
Обработка заключается в следующем:
1. Вычисляют относительные оценки весомости каждого показателя
несколькими путями.
2. Если относительные оценки весомости некоторого показателя у
одного эксперта, полученные различными путями, расходятся
больше, чем на 0,2 - проводят повторный опрос эксперта, указывая
ему на обнаруженное несоответствие.
3. Если относительные оценки весомости одного и того же показателя
у разны.х экспертов расходятся более, чем на 0,2, то проводят
ждение расхождений и корректируют индивидуальные оценки.
4. Если оценки весомости согласованы, вычисляют их среднее
ние по всем экспертам, что и дает окончательную оценку весомости.
Пример 2.5. Используем заполненную индивидуальную табл. 2.2.
Отношение весомостей показателей следующее:
Построке B):A) C):B) D):C) E):D)
1 0,6
2
3
4
Как видно, только для отношения D):C) имеет место недопустимое
расхождение. Допустим, после указания на это расхождение, эксперт
ставил в ячейке A,4) значение 2,5 балла и, чтобы не изменилось
шение четвертого и пятого показателей, в ячейке A,5) - 1,5 балла (числа в
скобках в табл. 2.2). Тогда получаем внутренне согласованные оценки и
рассчитываем индивидуальные средние:
Построке B):A) C):B) D):C) E):D)
0,67
0.8
0,75
0,5
0,5
0,67
0,5
0,6
0,6
0,6
0.67
0,8
0,63
0,5
0,5
0,6
0.5
0,6
0,6
0,6 0,73 0,54 0.57
Рассчитываем индивидуальные нормированные коэффициенты
сомости:
Весомость 2-го показателя определена относительно 1-го
ным образом: /тпл - 0,6;
44
Весомость 3-ro показателя относительно 1-го определяют двумя
тями: непосредственно /723/1=4:10=0,4; и через 2-ой показатель:
тупм = /77г„2 • /772/1 = 0,73 • 0,6 = 0,44.
Среднее
тг. = 0,42 ,
Весомость 4-го показателя относительно 1-го определяют
ственно, а также по цепочке - через 2-ой и 3-й:
Л74/1 = 2,5 : 10 = 0,25 /774/3/2/1 = /774/з ■ imn ■ mm - 0,54 • 0,73 ■ 0,6 = 0,24;
^4/, = 0,25 .
Наконец, весомость 5-го показателя также найдем двумя путями:
л75/1= 1,5 : 10=0,15; /775/4/3/2/1 = 0,57 • 0,54 • 0,73 • 0,6 = 0,13;
т/, = 0,14.
Поскольку сумма коэффициентов весомости всех показателей
жна быть равна 1, рассчитываем нормированные коэффициенты
мости по формуле:
н "nJin
L Wm
Выполнив подсчеты находим:
777,"= 0,41; 777f = 0,25 ; т^^ 0,17 ; /л "= 0,10 ; Л75''= 0,06 .
Поскольку весомость E)-ого показателя менее 0,1, то исключаем
его и пересчитываем весомости оставшихся:
Л71 = 0,44; Л72 = 0,27; Л7з= 0,18; Л34= 0,11.
Рассчитав аналогично нормированные коэффициенты весомости
для других экспертов, находим (в случае согласованности их оценок по
каждому показателю) групповые средние, которые и представляют
бой окончательные значения коэффициентов весомости.
Стоимостный способ
Существует несколько разновидностей стоимостного способа. Их
общая черта состоит в том, что эксперт оценивает, какую сумму он
гласен доплатить к базовой стоимости объекта за то или иное
ние его качества.
Таким образом, эксперт оценивает объект с позиций возможного
потребителя, которому он хочет продать объект и при это.м не
шевить.
Возможно другое применение стоимостного способа; эксперт
дит из позиции представителя фирмы, производящей продукцию
гичного назначения. Сравнивая свою продукцию с конкурирующей и
45
обнаруживая по каким-то показателям отставание, эксперт оценивает,
во сколько обойдется его фирме достижение качества конкурента и.
исходя из этого, снижает цену на свою продукцию, или же добивается ее
доведения до конкурентоспособного уровня.
Если, например, снижение массы двигателя на должную величину
требует затрат на изменение технологии Ci, а повышение ресурса (срока
службы) - С2, то для эксперта естественно более весомым считать
ние того показателя, которое потребовало бы больн]их затраг. В этом
случае балльная оценка значимости показателя может быть принята
порциональной тем за'фатам, которые нужны для повышения качества
по данному показателю, до конкурентоспособного уровня.
Пользуясь стоимостным способом, удается решить некоторые
чи сопоставления показателей, которые не поддаются решению другими
способами. Стоимостным способом можно определить повышение
чества объекта от снижения травматизма и смертности людей,
тающих с объектом, снижения воздействия на окружающую среду и
выразить изменение качества прогюрционально изменер1иям други.х
«неуловимых» показателей.
Однако во многих случаях назначение балльных оценок
ционально затратам или экономическому эффекту не приводит к
летворительным результатам. Допустим, напри.мср, что в результате
некоторого рацпредложения затраты на производство двигателя снизи-
juicb, а ресурс вырос. Тогда, следуя логике стоимостного способа,
но расценить повышение ресурса как имеющее отрицательное влияние
на комплексную оценку качества.
Во многих ситуациях трудно создать падежную методику подсчета
экономического эффекта. Трудности возникают при сопоставлении
изменений показателей, экономический эффект' которых по-разному
растянут во времени. Выгоды и издержки иногда принципиально не
имеют экономического эффекта. Например, социальные из.менения.
обусловленные повышением качества малогабаритной радио- и
зионной техники не только невозможно оценить экономически, но и
трудно предвидеть. Их нельзя считать пропорциональными затратам на
это совершенствование.
Таким образом, стоимостный способ назначения баллов, кажущи11-
ся на первый взгляд простым и логичным, далеко не всегда практически
реализуем и является источником возможных противоречий.
ние баллов пропорционально стоимостным оценкам является
данным приемом, по-видимому, только когда речь идет о закупке
мой продукции, аналогичной собственной или о продаже своей пролук-
46
НИИ в условиях конкуренции. Возможности и границы применимости
стоимостного способа еще требуют подробного анализа.
2.2.5. Определение нормированных коэффициентов весомости
Общая последовательность действий
Определение коэффициентов весомости показателей выполняют в
следующем порядке:
1. Выбирают способ назначения балльных оценок весомости, способ
выполнения контрольной операции, соответственно опрашивают
экспертов и получают индивидуальные экспертные оценки. Если
балльные оценки некоторых показателей целесообразно определить
стоимостным или иным расчетным способом, следует выполнить
это, приведя в МОК соответствующее обоснование.
2. Проверяют индивидуальные оценки каждого эксперта на
нюю непротиворечивость, и в случае обнаружения противоречий
проводят повторный опрос эксперта.
3. Проверяют согласованность индивидуальных оценок между собой и
выявляют выпадающие индивидуальные оценки и отдельные
ренне согласованные группы оценок («еретиков» и «школы»).
4. В случае обнаружения «еретиков» или «школ» выполняют
вательно следующие действия (см. п. 2.2.3);
• проводят собрание экспертной группы, на котором обсуждают
обнаруженные разногласия и выполняют повторное назначение
оценок;
• если оценки вновь рассогласованы, то принимают решение
полнять дальнейшую разработку в нескольких вариантах - по
числу обнаруженных согласованных групп оценок. Если это
шение не может быть выполнено, то:
• расформировывают имеющуюся экспертную группу, выбирают
другой способ ее формирования и вновь формируют экспертную
группу.
5. Определяют обобщенные значения коэффициентов весомости.
6. Производят нормирование коэффициентов весо.мости частных и
комплексных показателей в каждой их группе по всем уровням,
исключают малозначимые показатели и производят
ку.
На этом построение дерева свойств закончено.
47
Способ выполнения нормирования
Способы выполнения п.п. A) - E) общей последовательности
ствий рассмотрены в п. 2.2.4. Здесь мы рассмотрим способ выполнения
нормировки коэффициентов весомости.
Итак, будем полагать, что нами уже получены обобщенные
ния коэффициентов весомости ?п,д частных и комплексных показателей
для дерева, приведенного на рис. 2.4, где i - индекс уровня, у индекс
группы на этом уровне, к- индекс показателя внутри группы.
)j=i
\ 0
т;/;=4,6@,20)
т//-^10@,44)
m//.j=8,3 @,36)
1
тл/=5,8 @,43)
mvi=9.1 @,68) i
mw=4,5@,32) :
m.v^TJ @,57) ;
2
лш/=9,5 @,44) @,471 ;
/ш.'^= 1,5 @,07)
/пу.!=4,6 @,21) @,231
m?.'j=6,2 @,28) @,30]
3 ;
i
Уровни
Рис. 2.4. Расположение и индексация коэффициентов весомости по уровням и ветвям
дерева свойств (к примеру расчета нормированных коэффиинентов)
Обратим внимание на то, каким образом определен уровень, к
торому отнесен тот или иной показатель. Номер его уровня
ся местом его соединения в одну группу с хотя бы одним другим
телем. То есть, если показатель объединен в одну группу с другими на
границе О и 1-го уровней, то он относится к 1-му уровню, независимо от
того, как далеко простирается ветвь, соответствующая этому
лю; если на границе 1-го и 2-го уровней, то он относится ко 2-му уровню
и т.д.
Для нормирования возьмем весовые оценки всех показателей,
ставляющих одну группу последнего, 3-го уровня и преобразуем их по
формуле
т„,= ■s=H—
Это и будут нормированные значения коэффициентов весомости.
Например, для показателей 1-ой группы 3-го уровня (рис. 2.4.)
чет будет следующий:
48
m\,,= = = 0,68; ml,,= = 0,32,
'" /7?„, + m,,2 9,7 + 4,5 ■" 9,7 4:4,5
Рассчитав таки.м образом нормированные значения коэффициентов
весомости для показателей 3-го уровня, переходим ко 2-му уровню.
Здесь всего одна группа из двух показателей. (Показатели с индексами
111, 112 и 113. как было сказано выше, относятся к группе 1 -го уровня).
Полученные таким способом нормированные значения
ентов весомости для всех показателей дерева рис. 2.4. приведены в
ках вблизи соответствующих ветвей.
Теперь обратим внимание на то, что л?',;, < Ркр = 0,1. Поэтому
ключаем этот показатель из группы у =2 и производим перенормировку,
учитывая лишь оценки весомости оставшихся показателей.
вующие значения m\^^ приведены в квадратных скобках. Поскольку
теперь все я?',, > 0,1, то определение нормированных коэффициентов
весомости закончено.
2.2.6. Выполнение группировок
Допустим, что составлен список потребительских показателей
чества оцениваемой продукции. Прежде, чем предлагать экспертам
полнить группировки и построить дерево, следует самостоятельно
полнить предварительную группировку. В составленном списке
ся как частные, так и комплексные показатели различного уровня.
Пользуясь деревом общих свойств (рис. 1.1) и его поддеревьями (прил.
2, 3 ,4), объединяем частные показатели в группы, присваивая каждой
группе свое название, например «функциональные»,
онные» и т.д. Если название группы придумать затруднительно, можно
дать ей название по одному из показателей, входящих в группу.
рующие формулировки одного и того же свойства следует исключить.
Следует уточнить формулировки, воспринимаемые слишком
чато. В общем, следует подготовить материал для работы экспертов
(которые НС обязательно владеют методами квалиметрии), хотя бы при
этом и были допущены ошибки.
Подготовленные таким образом списки показателей передают
пертам, которые объединяют их в группы. Эксперты могут
вать состав показателей, объединяя тождественные, по их суждению, и
дописывая новые. Некоторые показатели качества могут быть
ны одновременно в несколько групп одного уровня.
49
Статистическая обработка группировок включает поиск
«выпадающих» показателей, поиск согласованных групп показателей и
проверку согласованности группировки каждого эксперта с общим
составом показателей в согласованной группе.
Мерой принадлежности показателя а к группе S служит число а,
указывающее ту часть экспертов, которые включили объект а в данную
группу. Величина а называется «уровень согласованности» экспертов в
отнощении объекта а:
где nCaJ - число экспертов, включивших показатель а в группу S, п -
общее число экспертов.
Для включения показателя а в обобщенную группу So выбирают
критическое значение акр, достижение или превышение которого
чает включение объекта а в группу За. В наиболее ответственных
чах акр = 1,0; в менее ответственных - 0,8; 0,66, но не ниже 0,5.
Итак, рассчитывая значения уровня согласованности для каждого
показателя, включенного хотя бы одним экспертом в группу S, находят
те показатели, для которых а(а) > акр и эти показатели составляют
гласованную группу 5о.
Теперь проверяем, насколько группировка каждого эксперта
падает с полученной обобщенной группой 5о. Мерой согласованности
индивидуальной группировки/го эксперта с группой 5о служит число р,
указывающее долю тех показателей из этой индивидуальной
ровки, которые входят в обобщенную группу 5Ь - wj^Su), от всех
телей, включенных экспертом в эту группировку - т/,
где mj(S«) - число объектов, входящих в обобщенную группу Su\ т^ -
общее число объектов ву-ой индивидуальной группировке.
Индивидуальную экспертную группировку считают выпадающей,
если р < 0,8 или, в менее ответственных задачах, р < 0,5.
Если группируемым показателям уже присвоены весовые
циенты gi, то показатель согласованности р может быть рассчитан с
учетом этих величин.
Пример 2.6.
При выявлении структуры отказов погружного электродвигателя
(ПЭД) составлен список элементов ПЭД, подверженных отказам:
50
A) Обмотка статора G) Узел подшипника роторов
B) Изоляция обмоточного провода (8) Радиальные подшипники
C) Пазовая изоляция (9) Жести ротора
D) Токоввод A0) Компаунд
E) Вал A1) Торцевые уплотнения
F) Выводные концы
Предложены следующие группировки этих показателей четырьмя
экспертами:
S1
Э1 A)B)C)D)F)
Э2 A)B)C)G)
ЭЗ A)C)D)E)F)
Э4 A)B)D)F)(9)
S2
E)(9)A0)A1)
D)E)(9)
(9)A0)A1)
C)E)A0)A1)
S3
G)(8)
F)(8)A0)A1)
B)G)(8)
G)(8)
Требуется проверить принадлежность объектов к каждой группе,
проверить индивидуальные экспертные группировки на выпадение и
сформировать обобщенные группы при акр = 0,66 и Ркр = 0,66.
Рассчитываем значения уровня согласованности объектов по группам:
Si S2 S3
AI,0 CH,25 BH,25
B) 0,75 D) 0,25 F) 0,25
C) 0,75 E) 0,75 G) 0,75
DH,75 (9H,75 (8I,0
EH,25 A0H,75 A0H,25
FH,75 A1H,75 A1H,25
GH,25
(9) 0,25
Следовательно, при а кр = 0,66 находим обобщенные группы:
S1 S2 S3
A)B)(Т)D)F) E)(9)(Г0)A1) GК8)
Проверяем индивидуальные экспертные группировки на
ние, рассчитывая значение Р:
51
Э1
Э2
эз
Э4
S1
1,0
0,6
0,8
0,8
S2
1,0
0,67
1,0
0,75
S3
1,0
0,5
0,67
1,0
Принимая Ркр = 0,66, следовало бы исключить группировку
та Э2ь группах S1 и S3. Но, как легко проверить, обобщенные гругпж-
ровки от этого не изменятся. Если бы обобщенная группировка
лась, следовало бы вновь рассчитать показатели согласованности
видуальных групп и повторить построение согласованных группировок.
Если бы в результате проверки принадлежности показателей к
дой группе было обнаружено, что один или несколько показателей не
вошли ни в одну группу, это означало бы, что либо эти объекты
зуют особую группу, либо их описания по-разному поняты разными
экспертами. В этом случае следовало бы провести обсуждения с
тами возникшей ситуации и принять соответствующее решение.
2.2.7. Ограничения применения дерева свойств
Простейший случай, ограничивающий применимость дерева
свойств как расчетного алгоритма - наличие значений любого
теля, делающих изделие совершенно непригодным для использования и
исключающих тем самым дальнейшее оценивание качества по другим
показателям. Если, допустим, герметичность кольцевого превентора
нарушается после 50 циклов «закрытие - открытие» (при норме 365
циклов), то никакое его использование, при всех прочих достоинствах,
невозможно.
Но с этим препятствием справляются путем введения предельно-
допустимых значений каждого показателя так, что алгоритм остается
применимым внутри этих пределов.
Однако реально встречаются ситуации, когда сочетание допусти-
.мых и даже оптимальных (по отдельности) значений двух показателей
приводит к абсолютно недопустимому снижению качества и
шее использование дерева становится невозможным.
Например, сочетание высокой работоспособности кольцевого
вентора по упомянутому показателю количества циклов «закрытие -
открытие» с невысокой наработкой на отказ его уплотнителя по
таскиванию замковых соединений бурильной трубы или по расхажива-
нию трубы между замковыми соединениями делает превентор непри-
52
годным для использования по назначению. В таких ситуациях дерево
свойств приходится снабжать примечаниями, указывающими на эти
неприемлемые сочетания. Возможно, конечно, появление тройственных
и т.д. сочетаний значений показателей того же характера. Выявить их
труднее, но все же наличие «запрещенных» сочетаний не делает дерево
свойств принципиально неприменимым. Принципиальные ограничения
на возможность применения дерева свойств накладывает наличие
модействия между градациями различных показателей (см. п. 2.2.3).
Влияние значений одного показателя на оценку качества значений
другого показателя
Напомним, что под взаимодействием градаций показателей
мают повышение или же снижение комплексной оценки качества
та при сочетании в нем этих градаций по сравнению с оценкой по сумме
независимых влияний.
Количественной характеристикой взаимодействия служит
циент взаимодействия /Gi. Его определяют как отношение балльной
оценки сочетания градаций к той балльной оценке, которая была бы
получена при отсутствии взаимодействия. Так, если при отсутствии
взаимодействия в ячейке A,2) табл. 2.1 сочетание градаций было бы
оценено в 3 балла, а фактическая оценка - 1 балл, то Кл:>= 1/3=0,3.
Учет взаимодействия не представлял бы трудностей, если бы Km
монотонно изменялся от ячейки к ячейке. Но фактически Km .меняется
нерегулярно. Так, для данных, указанных в табл. 2.1, значения А^з
ведены в табл. 2.3.
Таблица 2.3
Коэффициенты взаимолействия для различных сочетаний градаций показатспей
температуры и подвижности воздуха в производственном цехе
Температура
2E-12)
4A2-18)
2A8-25)
Подвижность воздуха
2E-15)
1,0
1.3
0,5
4A5-25)
0,3
1,0
1,0
2B5-40)
0
1,3
2,0
Видно, что Km немонотонно меняется от ячейки к ячейке.
Если взаимодействие двух показателей и даже трех еще удается
рактеризовать и учесть, внося лишь поправки в алгоритм дерева
свойств, то сложные взаимодействия нескольких показателей трудно и
охарактеризовать и описать. Во всяком случае, этот алгоритм уже не
удается сохранить, как основу расчета.
53
Влияние значений одного показателя на выбор для оценивания
следующих показателей
Взаимодействие показателей может проявляться также и в том, что
при некоторых значениях какого-либо показателя меняется состав
казателей, учитываемых далее в алгоритме оценивания качества. В этом
случае структура типа дерева свойств становится совершенно
нимой и приходится применять другой, более универсальный, тип
четного алгоритма, гак называемую «схему поиска решения» (СПР).
СПР составляют так, чтобы, последовательно оценивая проявление
указанных в ней показателей, можно было придти к определенному
решению относительно данного объекта, численное выражение
плексной оценки при этом не обязательно.
Рассмотрим пример построения СПР по оцениванию качества
боты тепловых элекфостанций (ТЭС). Точная формулировка
ния отдельных градаций показателей в данном случае несущественна.
Пример 2.7.
Качество работы действующих ТЭС со временем снижается в связи
с моральным и физическим устареванием оборудования, а также в связи
с ростом требований к охране окружающей среды. Поэтому производят
периодическую переоценку качества ТЭС с позиций изменяющихся
бований. Главным показателем при этом является «Уровень
го износа оборудования» в зависимости от значения которою
дят дальнейшее оценивание по тем или иным показателям. Такуго же
роль выполняют и показатели «Расход органического топлива» и
«Воздействие на окружающую среду» (см. рис. 2.5).
Как можно видеть с помощью рис. 2.5, СПР позволяет легко
ставить логические условия выбора последовательности используемых
показателей. При этом решения найдены без использования весовых
коэффициентов и балльных оценок. Это, как мы говорили во введении, -
один из случаев, когда количественная оценка качества не нужна.
ко СПР позволяет использовать и количественные оценки. Здесь они
могут быть при.менены для точного указания границ между градациями
показателей. Рассмотрим, хшя примера, показатель «Воздействие на
окружающую среду».
Как известно, ТЭС оказывает влияние на окружающую среду,
ным образом, за счет выбросов продуктов сгорания органического
лива в атмосферу, а также за счет сбросов в природные водоемы
но чистой, но подогретой в конденсаторах турбин воды и сточных
изводственных и хозяйственных вод. В России действуют нормативы
сброса тепла и всех видов продуктов сгорания. Для простоты примера
ограничимся выбросами окислов серы и азота. Разовые предельные
54
концентрации на уровне земли вблизи ТЭС установлены в настоящее
время для окислов серы 0,5 мг/м^ и для окислов азота 0,085 мг/м^. Кроме
того, лимитируется суммарная концентрация окислов серы и азота,
которая не должна превышать 0,5 мг/м\ Эти условия можно выразить с
помощью алгоритма, использующего количественные оценки (рис. 2.6).
В различных блоках СПР могут быть использованы для
ния качества отдельных элементов объекта фрагменты деревьев
свойств, формулы в аналитической записи и расчетные алгоритмы
гого типа.
Уровень морального износа оборудования
Незначительный
Заметный
Недопустимый
Расход органического топлива
Допустимый Перерасход
Воздействие на
окружающую среду
Недопустимое Допустимое
С
ция ТЭС
Возможность перевода
ТЭС на другой вид
топлива
Возможность
быстрого изменения
режима работы
агрегатов
Возможно Невозможно
Возможное Невозможное
^Перевод^
ТЭС на
другой вид
, топлива ,
Замена
ТЭС
новой
Перевод ТЭ^
в пиковую
часть
графика
/6
охранение
вующей
ГЭС ,
Рис. 2.5. Пример алгоритма оценивания качества объекта (ТЭС)
в виде схемы поиска решений
55
Окислы серы,
XI, [мг/мЗ]
Окислы азота,
Х2, [мг/м']
5| = 10 X XI
до 0,085
52= 10 X Х2
более 0,085
1
Допустимое
б| +52
<5 I >5
Недопустимое
Рис. 2.6. Пример испо.пьзования количественны.^ оценок н одном из блоков СП Р.
приведенной на рис. 2.5
Итак, на данный момент развития квалиметрии можно сказать, что
возможности применения дерева свойств ограничивают два
ства: сложное взаимодействие нескольких показателей и зависимость
алгоритма расчета от значений того или иного показателя. СПР
ставляется более универсальным и перспективным типом квалиметриче-
ского алгоритма, чем дерево свойств.
56
Часть II
ШКАЛЫ ЧАСТНЫХ ПОКАЗАТЕЛЕЙ
И ЭЛЕМЕНТАРНЫЕ ОПЕРАЦИИ
ОБРАБОТКИ ОЦЕНОК
1. ПОСТРОЕНИЕ ШКАЛ ИЗМЕРЕНИЙ
1.1. Общие сведения о шкалах
Различные проявления единичных (частных) показателей образуют
градации. Если градации определены с помощью словесных описаний,
рисунков, эталонов и т.п., то соответствующие показатели называют
качественными. Например, перечень марок кабелей для УЭЦН,
чень видов стружки, возникающих при резании (сливная, стружка
лывания, стружка надлома), набор изображений, представляющих
довательные стадии развития деформаций и т.п. есть перечни градаций
ственных показателей.
Показатели, проявления которых регистрируют в числовой форме,
называют количественными. Таковы температура объекта,
ный срок службы изделия (ресурс), громкость звука (выраженная в
лах или дециБеллах) и т.п.,Получаемые при этом числа также , по сути,
представляют собой градации, диапазон которых определен точностью
регистрации, включая округление. Однако в практических задачах ква-
лиметрии градации количественных показателей часто выбирают не
равными по ширине числового диапазона, а исходя из удобства
нения дальнейших экспертных и расчетных операций. Например,
при оценивании качества условий труда на рабочем участке
ра может быть оценена по таким градациям: «до 18 °С», «18 н- 25 °С»,
«25 + 28 °С», «более 28 °С».
Совокупность градаций, исчерпывающая все возможные в данной
задаче проявления 1юказателя, образует шкалу его измерения.
рить» проявления показателя в каком-либо объекте, значит
вить выраженность этого показателя в объекте с одной из градаций
шкалы измерения.
По характеру зависимости между градациями различают шкалы
следующих типов;
наименовании
порядка
ранговая
интервалов
отношений
качественные
количественные
57
в квалиметрии применяют еще особый тип шкалы: так называемый
«базовый» (или «эталонный») ряд. Базовый ряд рассмотрен в прил. 1.
С типом шкалы связан определенный круг допустимых операций
статистической обработки получаемых с ее помощью оценок, причем
шкала наименований предоставляет в этом отношении минимальные
возможности, а шкала отношений - максимальные.
Составить шкалу измерения качественного показателя, значит:
1) исходя из возможностей способа измерения выбрать тип шкалы
(из числа указанных выше);
2) выразить различные проявления показателя некоторой
купностью стандартных терминов. При этом должна быть достигнута
максимальная терминологическая ясность в том, что имеется в виду под
каждым отдельным проявлением показателя (каждой градацией) и чем
соответствующая градация отличается от других;
3) составить четкое описание способа измерения показателя с тем,
чтобы по возможности избежать проявления субъективизма в трактовке
условий оценивания признака экспертами.
Например, вид стружки для выбора способа ее удаления из зоны
резания достаточно определить, пользуясь лишь приведенными выше
названиями градаций. Но для строгого квалимепрического анализа
параметров процесса резания необходимо составить шкалу из набора
образцов стружки и указать условия оценивания - освещенность, угол
наблюдения и другие условия, могущие повлиять на восприятие объекта.
Смысл всех этих требований в том, чтобы обеспечить
альную и групповую воспроизводимость оценок.
Рассмотренные далее в п.п. 1.2 - 1.5 требования предусматривают
получение оценок по соответствующим шкалам с использованием
пертов. Для шкал, оценивание по которым производят
ными или статистическими способа.ми, требования, по существу,
ются теми же, но используются несколько другие характеристики
ветствия этим требованиям. Например, показатель совпадения
татов, полученных в фиксированных условиях, называется
ностью» и т.д.
1.2. Воспроизводимость
Воспроизводимость (п) - это частость (доля в общем количестве)
совпадения оценок, назначенных одним и тем же экспертом
дуальная» воспроизводимость) или же разными экспертами
вая» воспроизводимость), использующими данную шкалу, при
лении проявления показателя в одном и том же объекте, но в различных
58
условиях, может быть, с применением различных средств и приемов
измерения.
Если назначение оценок происходит в фиксированных условиях, то
ту же характеристику называют «устойчивостью» или «точностью».
Оценки, не входящие в группу совпадающих, называют
мися, а их долю в общем количестве - «ошибочность» - обозначают е.
Понятно, что Т] + 8 = 1.
Оценки, находящиеся в двух, иногда трех соседних градациях
лы, могут образовывать «согласованную» группу или «школу».
тельно отклоняющиеся оценки, не входящие в согласованную группу,
называют «выпадающими» или «еретическими», если только их
го (одна - три) и если они, в свою очередь, не образуют свою
ную согласованную группу. В последнем случае говорят о
нии в исследуемой совокупности оценок двух «школ».
, Допустим, что из 10 экспертов, оценивающих проявление
ля, 9 предложили совпадающие оценки. Тогда воспроизводимость той
градации, где оценки совпали, ii = 9 : 10 = 0,9, а ошибочность е = 0,1.
Полная воспроизводимость г| = 1 означает, что все специалисты
при оценивании проявления показателя в любом конкре1ном объекте
назначают совпадающие оценки. Однако описание градаций,
вающее высокую воспроизводимость, встречается редко,
венно в тех ситуациях, когда неправильная оценка связана с тяжелыми
финансовыми потерями или конфликтными ситуациями. Например, при
оценивании качества выполнения упражнений в спорте. В «обычной»
квалиметрии технических и других объектов промышленного
водства «хорошей» считают воспроизводимость с г] > 0,9 и
рительной с г| > 0,8. В учебных и малоответственных задачах
ют г| > 0,66. В практических разработках описания градаций с
изводимостью ниже 0,8 нельзя считать удовлетворительно
ными. Использование плохо воспроизводимых градаци.й в
ских разработках недопустимо, т.к. возможные ошибки сводят на нет
всю работу по созданию квалиметрической методики.
Воспроизводимость качественных оценок решающим образом
сит от подробности описания проявления соответствующих градаций.
Следует очень точно, подробно описывать, что именно вы имеете в виду
под каждым «хорошим», «удовлетворительным» и т.д. проявлением
признака.
Пример 1.1. Допустим, для методики оценивания качества
граммы подбора УЭЦН к скважине была предложена следующая шкала:
59
• «отличная» - программа без допущений, учитываются все
торы;
• «хорошая» - не учитываются 1-2 фактора;
• «удовлетворительная» - не учитываются 3-4 фактора;
• «плохая» - приближенный расчет, используется минимум
ных данных.
Заведомо ясно, что приведенное описание плохо воспроизводимо,
так как не определены число и перечень факторов, влияющих на
во подбора погружной установки к скважине. В результате один из
пертов может отслеживать наличие, допустим, только тепловых
тов (ЭЦН, погружного электродвигателя и кабеля), а другой - учет
фонтанирования по затрубью и пенистости нефти. Уже поэтому их
оценки одного и того же программного продукта могут оказаться
вершенно различными.
Понятно, что и анализ материала, собранного с применением плохо
воспроизводимой шкалы, не приведет к надежным оценкам качества
оцениваемого объекта.
Но даже если мы точно определим, какие именно факторы имеются
в виду, это может оказаться недостаточным для получения требуемых
оценок, если описание не вполне соответствует цели исследования.
Так, если целью исследования является выбор програм.мы,
шей не только по точности расчета, но и по удобству пользования, то,
кроме факторов, влияющих на точность подбора, следует
вать еще и наличие графического представления данных, конверсии
единиц измерения, учитывать операционную программную среду. Если
же цель исследования - выбор программы, позволяющей оперативно
выбрать конкретную комплектацию УЭЦН (заметим, что на практике
преследуется именно эта цель), то необходимо оценивать
но наличие и объем базы данных по соответствующему оборудованию,
наличие режима автоподбора оборудования, возможность проведения
технико-экономической оценки подбора.
1.3. Чувствительность (подробность) шкал
Приступая к составлению описаний показателей качества объекта,
разработчик не всегда имеет полные сведения о том, какая именно
формация о показателе окажется полезной. Поэто.му шкалу измерения
показателя следует составлять возможно более чувствительной
ной). Чувствительность шкалы, вообще говоря, тем больше, чем больше
60
число различных проявлений показателя, которые могут быть
стрированы с ее помощью.
Если в описаниях градаций составленной шкалы выдержана
кретность терминологии, градации можно четко различить между
бой и условия оценивания совершенно ясны, количество градаций
лы может быть сколь угодно большим (в некоторых квалиметрических
методиках встречаются показатели, имеющие 15 ч- 20 градаций). Если
же эти требования не выполнены, то повышение чувствительности
лы приводит к снижению ее воспроизводимости.
1.4. Валидность (обоснованность) шкал
Валидностью называют способность шкалы измерять проявление
именно того свойства, которое имеет в виду разработчик методики
нивания качества, не смешивая это свойство с другими.
Конечно, в технических областях приложения квалиметрии
шая часть шкал опирается на физические (статистические,
тальные) принципы измерений и шкала не может» быть не валидной.
Сам способ измерения определяет некоторое свойство, составляющее
качество, как бы это свойство не называли. Например, «Наработка на
отказ», «Твердость материала» и т.п. Но встречаются свойства, шкалы
которых, иной раз составленные небрежно, используют понятия,
рые могут быть отнесены к двум и более свойствам. И тогда требуется
доработка шкалы и выполнение каких-либо работ по доказательству
того, что измеряется именно то свойство, которое имеется в виду.
Так, шкала для оценивания качества программы подбора УЭЦН к
скважине (пример 1.1), помимо прочих недочетов, слабо валидна.
Спрашивается, что имеется в виду под «факторами». Под этим можно
понять и исходные данные (кстати, возможность работы программы в
отсутствие некоторых исходных данных является скорее достоинством,
чем недостатком), и наличие «консультанта», разъясняющего способ
пользования оператору, и удобство пользования для оператора, и еще
что-либо.
1.5. Последовательность составления шкалы
Общий путь составления высоковоспроизводимых и чувствительных
шка,'! состой г в следующем.
Вначале с использованием нормативных документов, литературы,
посвященной эксплуатации оцениваемых объектов и опросу экспертов,
61
составляют наиболее подробный перечень словесных (рисуночных или
иных качественных) описаний каждого оцениваемого показателя. Затем
каждый эксперт разделяет эту совокупность на группы, соответствую.
щие, по его суждению, одному и тому же уровню проявления
ля. При этом полезно организовать консультации между экспертами с
целью нахождения общеприемлемых описаний. Когда эксперты
чили работу, первый вариант шкалы можно считать составленны.м.
Зачастую этот вариант становится окончательным. Однако в
ных случаях на этапе пробной и даже рабочей эксплуатации квалимет-
рической системы на фоне уже используемых градаций некоторого
казателя выявляется целесообразность выделения некоторого
венно нового проявления, учет которого повлияет на весь ход
шей работы и получаемые результаты. Например, в упомянутом случае
с программой подбора УЭЦН оказалось важным учитывать фактор
освоения скважины. В первоначальном варианте методики это
тельство не было предусмотрено. Поэтому число рассматриваемых
торов следует увеличить на единицу.
Инженер-квалиметролог должен помнить, что работа по
ствованию систем оценивания качества продукции фирмы (отработка
состава показателей, совершенствование описаний градаций,
ние баллов и т.д.) должна проводиться постоянно, как и
вание технологии производства. И он призван лично играть решающую
роль в выполнении этой работы.
2. РАЗЛИЧНЫЕ ТИПЫ ШКАЛ
2.1. Шкала наименований
2.1.1. Основные характеристики и основные вопросы
Если различные градации шкалы измерения показателя нельзя
рядочить по условию «больше - меньше» («лучше - хуже») или
жить в порядке появления во времени, то такая совокупность градаций
образует шкалу наименований.
Шкалу наименований имеют упомянутые выше показатели «Марки
кабелей для УЭЦН», «Виды стружки» и др., градации которых могут
быть заданы только в виде перечня. В частности, шкала, содержащая
всего две градации, - «есть» и «нет» (дихотомическая), - также является
шкалой наименований.
62
На примере шкалы наименований мы рассмотрим не только
мальные характеристики среднего и рассеяния (которые именно здесь не
играют большой практической роли), но также постановку и способы
решения ряда часто возникающих практически важных вопросов,
рые касаются не только шкалы наименований (расчеты объемов
рок при статистическом контроле качества, меры связи результатов
измерений двух показателей).
Характеристикой центральной тенденции (среднего) на шкале
именований может служить «мода» (Мо) - значение показателя,
рое указано наибольшим числом экспертов, или же наибольшее число
раз встретилось в проведенном статистическом исследовании (если речь
идет, например, о видах дефектов продукции). Для небольшого числа
оценок эта характеристика также теряет смысл и тогда центральную
тенденцию характеризовать невозможно.
Если в распределении двум (или нескольким) каким-либо
ям показателя соответствуют приблизительно одинаковые числа
нок, распределение называют бимодальным (полимодальным).
Общепринятой характеристики рассеяния данных на шкале
нований нет. На практике часто используют проценты данных,
щихся к различным градациям. Для целей квалиметрического анализа
более или менее рациональной характеристикой рассеяния может
жить показатель хи-квадрат (х-) Пирсона:
.^2^y(^iZl/, B.1)
где о, - ожидаемое число оценок в /-ой градации шкалы, причем
даемое число рассчитывают по формуле
'^- = ^1'^- B-2)
е, - фактическое (экспериментальное) число оценок в i-ой градации, к -
число градаций.
При этом чем больше значение Х", тем меньше рассеяние.
мальному рассеянию (равномерному распределению) соответствует %- = 0.
Если вычисленное значение Хв превосходит критическое Хш {^■'^^
Xi,). приведенные в прил. 7. то следует считать, что с вероятностью
более 90 "ь (или более 95 %) полученное распределение не случайно, то
есть на модальную градацию действительно приходится достоверно
большая часть оценок. (В таблице следует смотреть критическое значе-
63
ние х^ для числа степеней свободы /'= j^-- 1). Но это утверждение отно-
сится лишь к оценкам, полученным инструментальным или
ским (не экспертным) способом, например, к оценкам видов дефектов
изделий, отмеченных при контроле. Если же речь идет об экспертных
оценках, то для выяснения того, что является «истинным» суждением
экспертной группы, формальное применение статистических критериев
недопустимо. Здесь необходимо в той или иной форме провести
дение причин рассогласованности и, далее, либо выработать
емлемое решение, либо проводить дальнейшую квалиметрическую
работку в нескольких вариантах.
Пример 2.1. Пусть в директорате фирмы происходит обсуждение
того, какой из 4-х потенциальных проектов действий А, В, С или Д
считать наиболее эффективным. Голоса 10 членов директората
лились следующим образом: Л - 6, В- 2, С- 2, £>- 1.
Может ли нам чем-нибудь помочь критерий Х" ? Рассчитанное его
значение Хв ~ ^-^^ что больше Хв - 6,24 (для f= 3). Но о чем это
рит? Только о том, что в данный момент вероятность случайного
ра (не основанного на каких-то высказанных или не высказанных явно
аргументах) достаточно мала. Действительно, в данный момент
шинство директоров предпочитает проект А. Если же выявить и
дить аргументы, которыми руководствовался каждый, и повторить
голосование, то не исключено, что решение большинства окажется
иным.
Допустим, после обсуждения голоса распределились так: Л - О, В- 6,
С- 3, D- 1. Теперь Хв = 8,4. Поскольку новое значение х^ больше
дыдущего, то можно утверждать, что рассеяние снизилось, то есть
гласованность оценок, в общем, возросла. Но, по сути дела, голоса
вновь остались разделенными, так что применение х^ не помогло
чить сведения, которые привели бы к окончательному решению. Если
бы суждения голосующих совпали, или почти совпали, то это можно
было бы увидеть и без вычисления Х"- Итак, применение этой (или
бой другой) характеристики рассеяния на шкале наименований
сит мало практической пользы.
Для шкалы наименований нет также общепринятых критериев
го, какие из отдельных оценок следует считать аномальными и в каких
случаях распределение оценок является бимодальным. Ориентировочно
можно считать, что если количества оценок в тех двух градациях, где
они максимальны, относятся как 3:1 или меньше, то распределение
модально. Если эти количества относятся как 5:1 или больше, то оцен-
64
Kii, относящиеся ко всем градациям, кроме модальной, можно
ривать как аномальные. Однако эти критические отношения могут быть
приняты иными в зависимости от существа задачи.
2.1.2. Типичные задачи обработки данных, полученных в шкале
именований, и формулы для их решения
Гораздо большее значение, чем вычисление формальных
ристик, имеет решение следующих задач обработки данных,
ных в шкале наименований.
1) Пусть имеется совокупность Л/объектов, подлежащих
нию. Некоторые из этих объектов обладают интересующим нас
признаком X. Проведено выборочное исследование Л'^объектов,
причем обнаружено л объектов с признаком X. Спрашивается, в
каких пределах находится истинное число ло объектов с
ком А'среди всех Л/объектов?
2) В условиях задачи 1) в совокупности Л/объектов выбрана
рая партия того же объема, т.е. в N объектов. Определить, в
ких пределах будет находиться число объектов с признаком Л'в
этой партии.
3) В выборках объемами Ni и N2, взятых из продукции,
денной на разном оборудовании, найдено п\ и т объектов с
признаком X. Достоверно ли различие частостей появления
признака Хъ той и другой группах? («частость» {р) - это
шение п /N).
4) При исследовании No объектов из числа Л/свойство Xut
ружено ни разу. Какова вероятность, что признз'К Л'отсутствует
во всей совокупности объектов Л/?
Эти задачи решают двумя путями, в зависимости от того,
ко велики Nun. При больших 7V > 30 и л > 5 применяют фор>мулы
2.3 - 2.8. Если хотя бы одно из чисел Л'^и л меньше указанных значений,
применяют расчеты, использующие теорию «биноминального»
деления величины л.
Рассмотрим на примерах решение указанных вопросов для первого
случая, то есть при больших N и п. Этим самым мы освои.м принцип
подхода. Решение для малых выборок лучше поручить специалисту по
статистике.
Приведем необходимые формулы.
Частость появления признака X:
65
P=j^- B.3)
Среднеквадратическое отклонение величины п:
c = ^Np(\-p,. B.4)
Среднеквадратическое отклонение частости р.
/^'--^ B.5)
TV
Доверительный интервал значений, в который с заданной
ностью о; укладывается фактическое значение оцениваемой величины:
Птах, min - Np± to (или аналогично Ртах, min — /? X f а), B-6)
где /- коэффициент Стьюдента, выбираемый в зависимости от
тельной вероятности Pw общего числа наблюдений jVno табл. 2 прил. 7.
В табл. 2 прил. 7 /"= N- 1. Выбор самой доверительной вероятности Р
зависит от ответственности принимаемых решений: чем выше
венность, тем больше Р. Большей частью выбирают следующие
ния Я 0,80; 0,90; 0,95.
Достоверность различия средних частостей pi и рг проверяют по
формуле
Р2-Р\
t=-
B.7)
Вероятность различия находят по той же таблице прил. 7 для
/"= Nj+ №- 2. Например, если /= 2 и г= 2,92, то Р= 0,90.
Количество исследований, которое нужно провести, чтобы с
ятностью не менее /'можно было бы утверждать, что данный признак
будет обнаружен хотя бы 1 раз, находится по формуле
1пA - р)
где/j - ожидаемая (достаточно малая) вероятность появления признака;
Р - гарантируемая (достаточно большая) вероятность обнаружения
признака в случае его наличия в рой части объектов.
Рассмотрим решение указанных типичных задач на примерах.
66
Пример 2.2. Трубным заводом выпущена пробная партия новых
труб. При выборочной проверке 100 изделий обнаружены дефекты трех
видов - а), б) и в) в следующих количествах:
а) отклонения труб от допустимых размеров - 17;
б) отклонения больше допустимых от соосности осей резьб и осей
уплотнительных конических поверхностей- 8;
в) несоответствие натяга резьб - 13.
Задача 1. В каких пределах находится число дефектов каждого вида
во всей партии, если всего выпущено 1000 труб?
Решение. Прежде всего задаемся доверительной вероятностью.
пустим, учитывая в целом небольшие финансовые потери за счет этих
дефектов, выбираем Р- 0,90. Тогда /= 1,66. Для дефектов вида а
дим, используя формулы B.3) и B.4):
Ла)= 17: 100 = 0,17;
а = ^1000 0,17 A-0.17) = 11,88 .
Теперь по формуле B.6) находим границы 90 % доверительного
тервала:
ПМтш.та.^ 1 000 • 0,1 7 ± 1 ,66 • 1 1 ,88; Л(а)ш/л= 150,3; /7(а),шл= 189,7.
Итак, в партии 1000 изделий ожидаемое (наиболее вероятное) число
дефектов составляет 170, при это.м с вероятностью 90 % можно
жить от 150 до 190 дефектов вида а.
Аналогичные расчеты для других видов дефектов приводят к та-
кимрезультатам:
Л(б)=80; Л(б)л7/л= 65,7; П{&)тах=9А,Ъ;
Л(в)= 130; ПA)т1п= 112,8; П(в)л7ял= 147,2.
Если бы ситуация была более ответственная, например, связанная с
крупным штрафом за поставку продукции со слишком большим числом
дефектов, то следовало бы выбрать доверительный интервал 95 %.
гда / = 1,98 и граничные значения раздвинулись бы. Например, ;у1я
фектов вида а) получилось бы П{л)т,п= 146,5; Л{а)тал= 193.5. Зная эти
чения, руководство фирмы заранее решило бы, поставлять ли
цию заказчику или принять другие меры.
Для наглядного представления доверительных интервалов
зуют столбиковую гистограмму. По горизонтальной оси располагают
градации анализируемого показателя, а по вертикальной - ожидаемые
числа дефектов, причем вертикальная черточка показывает верхнюю и
нижнюю границу доверительного интервала (рис. 2.1).
67
200
100.—
Рис. 2.1. Пример наглядного изображения доверительных интервалов
на столбиковой диаграмме
Задача 2. Те же 1000 труб разделены на партии по 100 штук,
ляемые в разные адреса. Спрашивается, в каких пределах будет
ся число дефектов каждого вида в этих партиях?
Решение. На этот раз следует воспользоваться формулой B.5),
торая характеризует рассеяние частостей, полученных по выборкам
объема Л^:
а =
0,17 0,83
100
= 0,038 .
Учитывая, что вероятное значение р составляет 0,17, находим
дельные значения доверительного интервала (примем Р- 0,95):
и тт. тих = 0.17 ± 1,98 • 0,038; ртт-^ 0,095; ртнх^ 0,246.
68
Поэтому количества дефектов вида а) в разных партиях будет
ходиться в пределах: /7тм=9,5; Птах-lAfi.
Задача 3. Допустим, заводом усовершенствована технологическая
линия производства труб, что, как ожидалось, позволило снизить число
указанных дефектов. При выборочной проверке 100 изделий нового
выпуска обнаружено дефектов вида а- 11, вида б- 5, вида в- А.
шивается: действительно ли принятые меры повлияли на количество
дефектов или же обнаруженное снижение может быть обусловлено
чайными отклонениями, не связанными с работой новой системы?
Решение. Рассчитываем значение ?для дефектов вида а
0,17-0,11
Ка) = , = 1,23 .
0,17 0,83 0,110.89
— + -
100 100
Поскольку 1,23 меньше, чем ы - 1,66, то в отношении дефектов
да а улучшение параметров производства не доказано. Для дефектов
других видов - б\\ в- соответственно имеем:
to =0,86; Г(в)= 2,31.
Таким образом, новая линия достоверно снижает лишь число
фектов вида в.
Задача 4. Как указано в условии примера 2.2, при выборочном
троле обнаружены дефекты только трех видов. Спрашивается: сколько
нужно провести исследований, чтобы с заданной вероятностью Р
верждать отсутствие во всей партии какого-либо четвертого вида
фектов (например, некачественная маркировка)?
Решение. При.мем вероятность наличия четвертого дефекта
точно малой, например, р = 0,01. Напротив, ширину доверительного
интервала выбере.м побольше: Р= 0,95. Тогда количество изделий,
торое надо проверить, чтобы утверждать, что какой-либо еще дефект
присутствует не более чем в 0,01 части изделий, составит (формула 2.8.)
^^10A-095,^
1пA-0,01)
Итак, если в 298 изделиях не будет обнаружен новый вид дефекта,
то можно с указанной уверенностью считать, что его нет вообще.
69
2.1.3. Статистическая связь между показателями, измеренными по
шкалам наименований
Влияние некоторого фактора, действующего на все или некоторые
объекты в шкале наименований, проявляется в изменении частостей
оценок во всех или некоторых градациях и]калы. Чаще всего
ются факторы, действующие только на объекты, отнесенные к
рым градациям и не затрагивающие объекты, отнесенные к другим
дациям. Например, обнаружив изделия, имеющие некоторый дефект,
мы стремимся принять меры по отношению именно к этим изделиям, не
затрагивая других.
В вышеприведенном примере 2.1 мы имели следующие
ние голосов директоров фирмы:
До обсуждения
После обсуждения
Проекты действий
Л
6
0
IB
1
6
г
2
3
D
1
1
Видно, что единственный вначале сторонник проекта Неумел
дить 5 своих коллег в преимуществах проекта, но, очевидно, сам он не
изменил своего мнения и не перешел, допустим, в лагерь сторонников
проекта С. То же можно сказать о сторонниках проектов С и Z) - они не
изменили своего мнения. То есть, влияние фактора обсуждения
лось только на сторонниках проекта А.
Выполняя статистический анализ связей, нежелательно
ваться общими заключениями о характере и «силе» связи. Если есть
возможность, нужно индивидуально анализировать изменения оценки
каждого объекта - это всегда дает полезную для квалиметролога
формацию. Но возможность индивидуализированного анализа бывает
не всегда. Так, в нижеследующем примере 2.3 индивидуализированный
анализ невозможен и приходиться ограничиваться
ми методами и выводами.
Мерой статистической связи двух показателей , хотя бы один из
торых из.мерен по шкале наименований, также является хи-квадрат B.1)
Имеются и другие меры связи, но их применение не даст существенно
новых сведений по сравнению с х^- Д-^я представления данных и
лений используют «таблицу сопряженности», по сторонам которой
(слева и сверху) располагают градации исследуемых показателей, а в
ячейках проставляют числа данных, соответствующих каждому
нию градаций.
70
Число степеней свободы рассчитывают для парной связи по формуле
f=(k\~\)(h-\), B-9)
где к\ и ki - числа градаций анализируемых показателей. Ожидаемые
значения для каждой ij-ой ячейки находят по формуле
О.
"."h B.10)
N '
где Л; и я?/-суммарные числа экспериментальных данных по /-ой строке
иу-ому столбцу в решетке сопряженности; 7V- общее число данных.
Пример 2.3. Трубным заводом закуплены две технологические
нии Xw К одного назначения. Через некоторое время при выборочном
контроле качества готовых труб были обнаружены дефекты трех
указанных видов; а. би в. - см. пример 2.2.
Количество дефектов каждого вида, обнаруженных на линиях,
ведены в ячейках таблицы сопряженности (числа без скобок).
вается, существует ли преимущественная обусловленность
го вида дефектов определенной линией или же линии обладают одними
и теми же конструктивными недочетами? По данным табл. 2.1, как
то бы видно, что линия А'склонна допускать брак по натягу, а линия Y-
допускать брак по размерам, и, может быть, по соосности осей резьб и
осей уплотнительных конических поверхностей. Но достаточно ли
щественно различие количества дефектов, чтобы можно было это
верждение принять с заданной вероятностью? Именно это покажет х^- В
скобках в каждой ячейке решетки сопряженности приведены ожидаемые
числа дефектов, найденные по формуле B.10). Число степеней свободы
здесь/"=B-1)-C-1) = 2.
Сравнивая с критическим значением х1, - 5,99 (прил. 7) можем
деть, что обусловленности количества дефектов различием линий как
будто бы нет. Однако проведем еще одну проверку. Объединим дефекты
а н б, которые могут быть обусловлены каким-то одним недочетом
струкции машины (действительно, брак по размерам может быть связан
и с браком по соосности) и, следовательно, эти дефекты могут быть
обусловлены единым конструктивным недочетом (см. табл. 2.2).
тим внимание, что теперь /= B-1) • B-1) = 1. Итак, анализ связи
ляет утверждать, что исследуемые линии обладают различными
руктивными недостатками, которые по линии -Yприводят, в основном,
к дефектам по размерам, и по соосности осей резьб и осей
ных конических поверхностей, а по линии Y- к дефектам по натягу.
71
Таблица 2.1
К примеру анализа связи между показателями, измеренными по и1калам наименований
Линии
X
Y
Щ
Виды дефектов
а
6
(8.1)
11
(8,9^
17
б
32
C.8)
5
D,2)
8
в
9
F,8)
4
F,8)
13
п.
18
20
Л'=38
х" =
Значение Х' находим по формуле B.1):
(8,1-бУ C,8-зУ (б,2-9У (8,9-ПУ D,2-5)' F,8-4)'
8,1 3,8
6,2
8,9
4,2
6,8
= 3,77
Спрашивается, как же узнать или заметить, в каких случаях какие
градации показателей следует объединять, чтобы получить полезные
обоснованные выводы? Ответ такой: надо попробовать различные
можные по смыслу комбинации , и если хоть одна даст достоверный по
хи-квадрат результат, то это и есть обоснованное решение.
Таблица 2.2
Линии
X
Y
mi
Прололженис примера анализа связи
Виды дефектов
а+6
8
A1.4)
16
A2,6)
24
в
10
F,6)
4
G,4)
14
П1
18
20
N = 38
Примечание. Показано, что изменение градуировки может изменить результа гы
анализа.
Теперь уже значение Хв - 5,24, что превосходит x'„ = 3,84.
Надо отметить, что анализ связей показателей в квалиметрических
задачах преимущественно ограничен теми случаями, когда оценки
лучены инструментальным (статистическим) методом. Связи
лей, оценки проявления которых получены экспертным способом, в
задачах «обычной» квалиметрии, связанной с оцениванием качества
продукции (промышленной, сельскохозяйственной), обычно не
зируют. Эти связи играют значительную роль в таких особых областях
применения квалиметрии, как здравоохранение, гигиена, экология -
там, где требуется найти статистически связанные группы градаций
72
разных показателей, то есть градации, совместно проявляющиеся в
дельных объектах.
2.2. ШКАЛА ПОРЯДКА
2.2.1. Общие свойства шкалы. Различные формы представления фадаций
Если отдельные градации показателя можно расположить в
ке нарастания выраженности показателя или же упорядочить по
вию «лучше—хуже», или же рас1Юложить в порядке развития
го процесса во времени, то такая совокупность градаций образует
лу порядка, Например, показатели «Интенсивность окраски» («яркая»,
«обычная», «тусклая»), «Моральный износ оборудования»
тельный», «умеренный», «недопустимый», — см. рис. 2.5, ч. 1) имеют
шкалы порядка.
При общей простоте принципа построения шкалы порядка способы
представления градаций бывают самыми различными. Чаще всего
меняют словесные описания градаций. Однако градации шкалы могут
представлять собой последовательность рисунков, иллюстрирующих
различные проявления показателя в упорядоченном ряду, звуковые
сигналы или пахучие объекты, упорядоченные в некоторой желаемой
последовательности, движущиеся изображения, показывающие
довательность изменений показателя во времени и др. Инженеру-
квалиметрологу могут встретиться задачи оценивания качества любых
объектов, используемых человеком — от объектов техники до
дений искусства и от бизнес-планов до планов космических
ний. Во всех случаях он должен уметь построить шкалы измерения
казателей или же проверить правильность построения уже
ных шкал. Поэтому в этом разделе мы рассмотрим примеры построения
шкал порядка, взятые из различных, не только технических, областей
приложения квалиметрии.
Инженеру-квалиметрологу часто приходится принимать участие в
оценивании новых предложений, инноваций (проектов исследований,
бизнес-планов, видов продукции, предлагаемой к выпуску и т.п.) с
ки зрения перспектив их использования, т.е. определять их
ность, новизну, предполагаемую экономическую эффективность и т.п.
Эти показатели качества предложений также выражают, как правило, в
порядковых шкалах. Например, показатель «Перспективы внедрения
результатов предлагаемой разработки» может иметь следующие храдации.
О Внедрение резуль та тов представляется невозможным;
1Ъ
о Перспективы внедрения вызывают сомнение. Поручить автору
представить дополнительную информацию;
О Перспективы просматриваются. Принять предложение к
риментальной разра бо тке:
О Очевидна перспективность предложения. Принять к производ-
ствеииой разработке.
Конечно, столь кратко описанные градации будут плохо
водимы (см. п. 1.2). В реальных методиках градации показателей, смысл
которых можно понять по-разному, описывают более подробно и
«отрабатывают» описания. Но в данном случае мы стремились
ти пример словесного описания некоторого априори не вполне ясного
понятия («Перспективы ...»). Если же требуется составить описания
градаций некоторого физически измеримого показателя, то, как
ло, достаточно воспроизводимыми будут уже и краткие описания.
пример, приведенная в ГОСТе [9] шкала для оценивания качества
нического вазелина по показателю «Консистенция» имеет следующий
вид.
О Консистенция полностью соответствует эталону;
О Небольшие изменения консистенции: единичные зерна или
ки; незначительно снижена способность вытягивания в нить;
О Умеренные изменения консистенции: встречаются скопления
рен и комки, снижена способность вытягивания в нить;
О Заметные изменения консистенции: ощутимая зернистость и
комковатость, при повышении температуры наблюдается разделение
твердой и жидкой фаз, резко снижена способность вытягивания в нить.
Эти словесные описания хорошо отработаны, т.е. проверено, что
они одинаково понимаются всеми специалистами, что и обеспечивает
высокую воспроизводимость.
Но во многих практических задачах оценивания качества (особенно
в нетехнических областях приложения квалиметрии: пищевой
ции, медицине, сельском хозяйстве) встречаются показатели, д,1я
личных проявлений которых крайне трудно составить словесные
сания. Таковы «колерные» шкалы, представляющие собой различные
оттенки множества цветов, используемых при окраске поверхностей.
Также трудно словесно описать варианты рисунка поверхности сыра
или колбасы на разрезе, различные стадии развития какой-либо язвы,
изменения структуры металла при его обработке и т.п. Во всех этих
случаях применяют рисуночные изображения градаций шкалы.
Пример 2.4. При азотировании высоколегированной стали на ау-
стенитной основе контролируется «сетка расплава» — сетка микротре-
74
щин по границам зерен. Качество слоя по этому показателю определяют
по 5-балльной шкале В. А. Рудмана (см. рис. 2.2).
Баллы
Рис. 2.2. Шкала порядка с графически представленными градациями для определения
качества поверхностного слоя коррозионно-стойких сталей
Словесное описание этих проявлений, видимо, можно составить, но
какой они будут длины? И насколько легче понять графические
бражения, нежели длинные словесные описания!
Еще сложнее составить словесные описания градаций для таких
казателей, как интенсивность или оттенок вкуса, запаха, гармонии,
других ощущений. Тем не менее, практика показывает, что и это удается
сделать.
Хорошо составленные словесные шкалы применяют десятилетиями
и столетиями.
В прошлом, еще до возникновения квалиметрии, были разработаны
словесные описания градаций таких показателей, которые тогда не
ли измерять количественно — силы землетрясений (шкала Рихтера),
силы ветра (шкала Бофорта), твердости минералов (шкала Мооса) и т.п.
Описания градаций были составлены настолько тщател.ьно, что с
большими уточнениями их применяют и сейчас.
Вообще, при разработке ответственной квалиметрической
ки нельзя относиться к составлению шкал как к вспомогательной
ростепенной операции: тщательно составленное описание может
лить предотвратить аварию или спасти жизнь человеку (напржмер, в
диспетчерской службе).
Многие показатели, имеющие, казалось бы, количественную шкалу
измерения, фактически также имеют шкалу порядка, так как в силу
ей из.менчивости не могут быть измерены достаточно тс^чно. Например,
«Подвижность воздуха на рабочем месте» фактически сшределяется по
диапазонам «О н- 0,2», «0,2 -г 0,5» ... м/с и т.д. Также обстоит дело с rjnpe-
делением концентраций загрязняющих веществ в атмосф(?ре или воде
(при оценивании качества окружающей среды), частоты возникновения
аварийных ситуаций на транспорте и во многих других случаях.
75
в заключение затронем вопрос об оптимальном и допустимом
личестве градаций шкалы порядка.
Применяемые в квалиметрических методиках шкалы порядка
ют обычно от 5 до 9 градаций. Это обусловлено тем, что, как
лено в психофизиологии, на протяжении непрерывного спектра
лений некоторого показателя большинство людей (не прошедших
циальную подготовку) уверенно различают 1 + 1 градации. Таково
исхождение 7 цветов радуги, 7 тонов хроматической гаммы рояля,
7 степеней видимой яркости звезд, 5, 7 и 9 градаций шкалы
сти мнений, применяемых в социологии (см. [1, 2]). Но если составить
достаточно подробные описания, снабдить их рисунками,
ми, звуковыми или обонятельными эталонами, то принципиально
можно сколь угодно подробное определение качественно различных
проявлений показателя. (Такие тщательно отработанные, высоковос-
производимые характеристики отдельных проявлений показателя
вают реперными градациями или реперными точками). Например, в
медицине, при описании состояния больного используют показатели,
содержащие до 15-20 градаций.
Особый случай шкалы порядка представляет собой «эталонный
ряд», в котором реперные точки определены объектами,
ными по нарастанию гармоничности сочетания в них всех элементов
конструкции, т.е. по целостному эстетическому впечатлению (см. прил. 1).
2.2.2. Основные статистические характеристики оценок и типичные
задачи обработки данных
Центральную тенденцию распределения оценок на шкале порядка
характеризуют либо с помощью моды (Л/о), как и на шкале наи.менова-
ний, либо путем указания медианы {Мё) — градации, слева и справа от
которой находится менее 50 % оценок.
Если значения оцениваемого показателя в шкале порядка
ляют собой числа (см. далее пример 2.6), то положение медианы внутри
медианной градации может быть указано более точно:
где т — общее количество оценок; Еил — сумма количеств оценок во
всех градациях слева от медианной; Хл, Хп — значения оцениваемого
показателя на левой и правой границах медианной градации; Лд^^. —
количество оценок в медианной градации.
76
Для характеристики рассеяния оценок на шкале порядка использу-
,дт 1-й и 3-й квартили, — д\ v\ ф , — величины, отделяющие слева и
справа от распределения части, в которых находится по 25 % всех оце-
f^oK. То есть слева от д\ и дз находится, соответственно, 25 и 75 % всех
оценок. (Медиана, слева от которой находится 50 % всех оценок,
ется, таким образом, 2-м квартилем).
Характеристикой рассеяния служит интерквартильный размах:
К=дъ-д\. B.12)
Положение квартилей на шкале с численными значениями
теля определяют следующим образом: суммируют, начиная слева,
чество оценок по всем градациям и находят 1-ю квартильную градацию,
ту, слева от которой находится менее 25 % всех оценок, а включая саму
эту градацию, более 25 % всех оценок. Пусть значение оцениваемого
показателя на левой границе квартильной градации есть Xi, а на правой -
Хп. Тогда значение 1-го квартиля д\ находят по формуле
0,25/7,,-^ л
"я
Третьей квартильной градацией является та, слева от которой
ходится менее 75 °/о, а справа — более 75 % всех оценок. Значения 3-го
квартиля ф находят по аналогично построенной формуле:
0,75л„-Х«.,, ч B 14)
"я.
Здесь (в формулах 2.13 и 2.14): Еил - количество оценок во всех
дациях, расположенных слева от соответствующей квартильной; и.^^ и «,,^ -
количества оценок в 1-ой и 3-ей квартильных градациях.
Для целей обработки экспертных оценок в квалиметрических
чах иногда применяют критерий согласованности, основанный на
пустимом проценте отклоняющихся оценок: если в пределах медианной
и смежной с ней (правой или левой) градации находится не менее
ного процента оценок, то последние считаются согласованными.
ются обычно согласованностью 66, 80, 90 %.
Влияние некоторого фактора, одинаковым образом действующего
та все объекты, на распределение оценок этих объектов в шкале
ка, проявляется в сдвиге оценок к одному из концов шкалы, что
дит и к сдвигу медианы. Но рассеяние при этом остается практически
Неизменным. Если фактор действует лишь на часть объектов или же
77
разнонаправленно на разные объекты, то возрастет рассеяние, но поло-
жение медианы изменится незначительно.
Достоверность влияния, проявляющегося в одностороннем смеще-
НИИ оценок, можно проверить, сравнивая новое, полученное после воз-
действия фактора, распределение (назовем его «Б») с предыдущим
(«Л»). Для этого сравнения выбирают 2-4 различных положения гра-
ницы, разделяющей каждое из распределений на левую и правую части
и рассчитывают значения х'-
('"..-■"',.™) {т-т,,,..)
B.15)
Здесь w;i и т„ - фактические числа оценок слева и справа от
бранной границы; /ял.ож и шп.ож - ожидаемые числа оценок,
ваемые пропорционально частостям оценок слева и справа от
ной границы в исходном распределении А по формулам B.16).
п, п „
где по что - общие числа оценок в распределениях Л я Б; Пл и Лп - числа
оценок в распределении А слева и справа от выбранной границы.
Если Хв (вычисленное) больше х« (критическое, см. прил. 7), то
эффект достоверен. Число степеней свободы для х^ при этом f- 1. Этот
же способ может быть применен для проверки достоверности сдвига
медианы.
Для иллюстрации способов работы с оценками, полученными по
шкале порядка, рассмотрим следующий пример.
Пример 2.5. При проведении стендовых испытаний приборов,
предназначенных для работы в условиях вибрации (например,
ливаемых на электропоездах), на устойчивость к сотрясениям, их
низмы, выбранные случайным образом, по.мещают на испытательный
вибростенд и через определенные периоды воздействия подсчитывают
количество прекративших работу устройств (этот вид испытаний
водят на нерезонансной частоте, иначе трудно определить причину
хода из строя). Категорию приборов по виброустойчивости
вают, исходя из того времени воздействия, после которого сохраняют
работоспособность 50 % устройств (т.е. медианного времени).
ку экспериментально уловить этот момент не удается, его
ют, пользуясь приведенными формулами.
78
Пусть испытаниям подвергнуты 50 механизмов готовящейся к
выпуску новой серии приборов. Подсчет вышедших из строя устройств
проводили через 1, 3, 6 и 12 ч, после чего испытания прекратили.
пределение полученных данных приведено в табл. 2.3, столбец А и
иллюстрировано с помощью рис. 2.3.а.
Таблица 2..1
Чнс.ю механизмов, вышедших из строя в ходе испытаний на виброустойчивость в течение
определенного периода воздействия в разных условиях (данные к примеру 2.6)
Длительность
вибрации.ч
1
3
6
12
более 12
Число механизмов, прекративших работу
до усовершенствований
А
\i
12
10
9
4
после усовершенствований
конструктивных
Б
14
15
13
10
8
технологических
В
15
9
5
8
8
Итак, следует найти медианное время сохранения
сти. С помощью рис. 2.3.а можно видеть, что медианной является
дация «-3». Действительно, как справа, так и слева от нее находится
менее половины оценок C0 и 40 % соответственно). Используя формулу
B.11) находим положение медианного времени внутри медианной
градации.
Ме=\ +
0,5-50-
12
-C-1) = 2,67«2ч40мин.
То есть, половина всех механизмов вышла из строя в течение
2 ч 40 .мин. после начала испытаний, остальные продержались дольше.
Допустим, что для повышения устойчивости были введены некоторые
конструктивные изменения во все механизмы и повторные испытания,
проведенные на 60 устройствах, привели к результатам, отраженным в
столбце Б табл. 2.3 и на рнс. 2.3.6.
79
lA
ID -
14 -
12 -
10 -
8 -
6 -
4 -
2 -
0 -
45 .-..
.;:.31«ЙвЯ
12
мййШЬ-..
10
^^^^^^Ш: 1^^^^^^^Щ
^^^^^^^Ш
^^^^^Вб
^^^Цр ^ j ,^;^^^ЩЩ
- ^-^
1
4
■=?
-12
больше12
Рис. 2.3. Иллюстрация к примеру определения положения медианы и проверки
ности различия средних распределений на шкале порядка. Представлены гистограммы
распределения числа устройств, вышедших из строя в течение данного периода
испытаний: а — до внесения конструктивных изменений: б — после этого. В нижней
части рисунка приведены значения х^. вычиапенные для трех различных положений
разделяющей границы
80
Сравнивая диаграммы рис. 2.3.а и 2.3.6 можно видеть, что
ные усовершенствования позволили, как будто бы, повысить вибро-
устойчивость. Новое медианное время будет
A/g= 3+^^'^'^^"^^ F-3) = 3,23» Зч 14мин.
Новый медианный срок службы больше предыдущего. Но убедимся
в достоверности эффекта. Возьмем три положения разделяющей
цы — между градациями«-1» - «-3»; «-3» - «-6» и «-6» - «-I2». Для
дого положения рассчитаем значения х^ по формуле B.15), которые
приведены в нижней части рис. 2.3. По этим данным видно, что при
положении разделяющей границы между градациями «-1» и «-3»
руживается достоверность эффекта (хв = 4,25 > xls = 3,84) .
Исследование рассеяния
Как было сказано выше, рассеяние данных на шкале порядка
рактеризуют с помощью интерквартильного размаха i? = дъ — д\.
Какие же полезные сведения можно получить с помощью этой
характеристики?
Возрастание рассеяния говорит о возникновении какого-то
ра, который по-разному действует на различные объекты. В некоторых
из них значение регистрируемого гюказателя возрастает, а в некоторых -
убывает (или остается прежним, если фактор избирательно действует
лишь на часть объектов).
Достоверность влияния, проявляющегося в изменении рассеяния,
можно проверить, выбирая положение двух границ, разделяющих
вое, полученное после влияния фактора распределение (назовем его «В>)
на три части и вычисляя х^ формуле
{т-т,„.\ {т^~П1„Л (т-т „,.]
2 _ V ■' ■'"'■ / V 'Т 'т°* / ^ у " ""■' I B 17)
•™,.ож ■^Ч,.<>. ■"^..,0*
Здесь шп, rricf, гпп - фактические числа оценок в левой, средней и
правой частях распределения Д Отл.ож, шср.ож, /пп.ож - ожидаемые числа
оценок, рассчитанные пропорционально частостям оценок и тех же
границах исходного распределения А:
^д<,.= —/"о; m^,„.,= -^^m,;m^^,= -f-m,, B. Щ
п„ п„ п„
-1
-6
-12 Более 12 ч
'Xt:-
16
14
12
10
б 8
6
4
2
9
8 8
3,45
6,80
3,36
6,36
Рис. 2.4. Иллюстрация к примеру определения достоверности различия рассеяний
пределений на шкале порядка. Представлены гистограммы распределений числа
устройств, вышедших из строя в течение данного периода испытаний: а —до внесения
изменений, б — в предположении внесения изменений в технологию. В нижней части рМ
приведены значения ^, вычисленные для различных положений разделяющих гранич
82
где ллож, А!ср,ож, ппож - числз оцснок В лсвои, срсднси и правой частях
распределения А.
Пример 2.S (продолжение). Допустим, что для повышения виб-
роустойчивости приборов были внесены изменения не в конструкцию
(что коснулось бы всех механизмов), а в технологический процесс
изводства (что затронет лишь некоторые механизмы) и после этого
пытания новой партии 45 устройств дали результаты, приведенные в
столбце Втадл. 2.3 и проиллюстрированные на рис. 2.4.6.
Видно, что во 2-ом положении обнаруживается достоверное
растание рассеяния Хв "^ 6,80 > х1Л^= ^)- 5,99.
Рассматривая диагра.мму рис. 2.4 можно за.метить, что количество
данных в правых градациях, соответствующих большей устойчивости,
возросло, тогда как в левых осталось почти неизменным. Это говорит о
том, что воздействие нового фактора выразилось лишь в повышении
устойчивости наиболее совершенных приборов. Достоверное
ние рассеяния, обнаруживаемое при 2-ом положении разделяющих
ниц, подтверждает вывод.
В то же время отсутствие возрастания размаха еще не говорит об
отсутствии влияния указанных факторов. Далее, в примере 2.6 мы
кажем, что даже резкие изменения изучаемого показателя в ряде
тов, произошедшие под влиянием существенных для анализа причин,
могут не привести ни к смещению Me, ни к возрастанию размаха.
Итак, анализ рассеяния данных на шкале порядка может привести к
некоторым полезным вывода.м. Однако возможности этого анад.1иза
невелики и изменение рассеяния можно обнаружить практически лишь
тогда, когда оно видно и без всяких статистических критериев.
2.2.3. Статистические связи показателей, измеренных по шкалам
порядка
Многие полезные сведения может дать анализ статистическгих
зей показателей, измеренных по шкалам порядка.
Для исследования статистической связи между показателями,
ренными в шкалах порядка, необходимо построить решетку сопр.чжен-
ности этих показателей. В решетке сопряженности по горизонтальной
оси откладывают градации одного показателя - X, а по вертикальь'ой
градации другого - К В ячейках решетки сопряженности помещают
либо число объектов с данным сочетанием градаций Л'и Y, либо
средственно их номера.
8'3
Пусть, например, подлежит исследованию связь показателя X -^
«Длительность вибрации» с показателем Y - «Сохранность внешнего
вида» (градации «хорошая», «удовлетворительная»,
тельная»). Поскольку вибрация' влияет на внешний вид всех объектов
одинаковым образом, то наиболее плотно заполненные ячейки будут
сконцентрированы вблизи главной диагонали решетки сопряженности.
То есть, будет иметь место корреляционная связь (рис. 2.5).
Неудовл.
Удовлетв.
Хорошая
-12
Более 12 ч
Рис. 2.5. Иллюстрация возможного расположения ячеек с преимущественной
цией данных при связи корреляционного типа (X - «Длительность вибрации»,
Y - «Со.хранность внешнего вида»)
Проверить достоверность наличия статистической связи (не только
корреляционной, но и любого другого типа) можно по критерию у},
который в данном случае рассчитывают по формуле
x-li^
B.19)
где Eij- экспериментально наблюдаемое количество данных в ячейке //;
Oij- ожидаемое количество данных в этой ячейке.
Причем Оу рассчитывают по формуле
0 = "-^, B.20)
84
где п, - общее количество данных в /-ой строке; mj- общее количество
данных в_/-ом столбце; TV- количество данных во всех ячейках.
Число степеней свободы f в этом случае рассчитывают по формуле
f^(K\—\){K2—\), B.21)
где Л"! и А": — числа градаций показателей А'и К
Построение решеток сопряженности и их рассматривание - крайне
полезная операция. Можно, конечно, вычислить значение у;
ственно по числовым данным даже без построения решеток, но только
визуальный анализ расположения групп объектов и даже отдельных
объектов позволит извлечь максимум сведений о характере влияния.
2.2.4. Диаграмма сдвига
Если один и тот же показатель зарегистрирован по группе
ектов до и после некоторого воздействия на эти объекты, то для анализа
его изменений используют «диаграмму сдвига».
На диаграмме сдвига по горизонтальной оси отложены оценки,
полученные объектами «до», а по вертикальной оси - «после»
вия. Если оценка, полученная объектом, не изменилась, то точка,
значающая объект, попадает в одну из диагональных ячеек (рис. 2.6).
Если оценка изменилась в сторону возрастания, то точка попадает в
ячейку выше диагонали, в противном случае — ниже диагонали. Для
того, чтобы наглядно видеть, какой именно объект получил те или иные
оценки, удобно вместо точек использовать номера объекта.
Таким образом, расположение номеров объектов на диаграмме
сдвига позволяет обнаружить группы объектов, оценки которых
нились в желаемом или же нежелаемом направлении и обнаружить
екты, оценки которых изменились аномально — вне типичных групп.
Пример 2.6. При оценивании качества технических вод,
ваемых предприятиями после использования, определяют величину
превышения в этих водах предельно допустимых концентраций (ПДК)
загрязняющих веществ. Очищенной считается вода, в которой
трация загрязняющих веществ не превышает ПДК, то есть меньше
ПДК. Санитарно-эпидемиологической станцией (СЭС) была проведена
контрольная проверка состояния сбросных вод на 50 предприятиях
одного региона, после чего неблагополучным в этом отношении
приятиям указано на необходимость улучшить очистку. Через
рое время был проведен повторный контроль. Таким образом, каждое
85
предприятие получало две оценки по качеству очистки, которые и
деляли положение его номера на диаграмме сдвига (рис. 2.6).
ПДК «после»
Более 20
-20
<в.
«М7,
^, 2, 3, ^, 5,
6,7. а. 9.-to,
2к,
49.20,2^,
22,25,
37.
30,29,
3^.32,
33,3'i,35.36,
50.
38.39.
40,^<,«.
2425,26,27,
АЗ,А<,,'|5,^6,
«.
4 7,'(в,
ПДК «до»
■10
-20
Более 20
Рис. 2.6. Диаграмма сдвига распределения оценок качества сбросных вод 50 предприятии
между двумя контрольными проверками
Числа в ячейках обозначают номера обследованных предприятий.
Жирными линиями выделены диагональные ячейки, в которые попали
номера предприятий, не принявших мер по повышению качества очистки.
Что позволяет увидеть эта диаграмма?
Как можно видеть из рис. 2.6 предприятия по-разному
вали на указания СЭС. Большинство предприятий, ранее
лучных, приняли эффективные меры по очистке сбросных вод и вошли в
пределы гигиенических нормативов (не превышающих ПДК). Это
приятия, занявшие нижнюю строчку диаграммы: 22, 23 ... 48.
Другие предприятия, чьи номера заняли правый нижний угол C1,
32, 38 ... 49), но не нижнюю строчку, видимо, приняли определенные
86
меры по очистке вод, но пока еще недостаточные, так как нормативы
остались превышенными.
Предприятия, попавшие в диагональные ячейки A9, 20, 21, 29, 30.
50) никаких мер не приняли. Наконец, на некоторых предприятиях A6,
17, 24) произошли события, повлиявшие на качество воды в сторону ее
ухудшения. На особо выделяющихся предприятиях 18 и 37, видимо,
произошла какая-то техногенная катастрофа, приведшая к резкому
возрастанию загрязнения воды.
Достоверность положительного (в целом) эффекта указаний СЭС, а
именно преимущественного сдвига оценки загрязненности в
ную сторону (в данном примере в сторону улучшения) можно проверить
по критерию X" B.19). причем в качестве хлл и /Пп следует использовать
числа объектов выше диагонали и ниже диагонали, а «ожидаемые»
ла получают в предположении равновероятности изменения уровня
загрязнения в сторону повышения и понижения:
-..=-„,„. = ^^. B-22)
Здесь х^ рассчитывают при/= 2.
В примере 2.6 с предприятиями эта проверка, конечно, не даст
щественно новой информации - эффект виден и без х^- Но если бы
зультаты были менее очевидны, то применение критерия стало бы
ход и мы.м.
Следует подчеркнуть, что применение критерия х^ не является
то формальной операцией. Способ его использования должен опираться
на содержательные представления о той гипотезе, которая подлежит
проверке. В дашюм случае это была гипотеза о наличии
го эффекта, выражающегося в концентрации данных в правом нижнем
углу. В других случаях может потребоваться доказательство
ственной концентрации оценок в диагональных ячейках и т.д.
Таким образом, диаграмма сдвига позволяет подробно исследовать
характер изменений показателя не только выявляя типичные группы
изменений, но и обнаруживая индивидуальные изменения показателя в
каждом отдельном объекте.
87
Часть III
ОТБОР ЭКСПЕРТОВ
Как бы тщательно не была разработана квалиметрическая
ка, как бы безупречно не был организован опрос и как бы грамотно не
была проведена обработка экспертных оценок, результат экспертизы
решающим образом будет зависеть от того, насколько правильно
браны эксперты, все вместе и каждый по отдельности. Если вам
ложат задачу оценивания качества любых объектов - от сложных
нических устройств до произведений искусства • и при этом отбор
пертов оставят за собой, то знайте, что экспертиза придет к тому
зультату, который задумал заказчик.
Приемы формирования требуемых экспертных групп давно
ны организаторами всевозможных конкурсов (кинематографических,
театральных, команд КВН и др.). Посмотрите, кто входит в жюри?
возможные артисты, журналисты, шахматисты и т.д. Позвольте
сить: из какого круга претендентов и по каким критериям выбранЕ.1
именно эти лица? Чем обусловлено их умение назначать оценки? Чем
гарантирована объективность суждений? Ответ здесь такой: тот, кто
сформировал эту «экспертную группу» заранее знал результат, который
он с ее помощью получит, а формы договоренности с «экспертами»
могут бьггь самы.ми различными.
Когда очаровательные девочки с бантиками (которые, казалось бы,
не способны к продуманному обману) достают из барабана некоторые
шарики, обеспечивающие выигрыш в лотерее, спросите себя: чьи это
дети? кто их инструктировал? какие они получили инструкции?
нец, что находится в невыиутых ими шариках? Все эти вопросы,
но, риторические и имеют целью одно ~ показать, что подбор
тов» открывает все воз.можности для бессовестного обмана как
лей, так и большинства участников этих лотерей и конкурсов.
Но пусть эти обманы остаются на совести деятелей шоу-бизнеса.
Исключены ли они в сфере экспертизы качества промышленной
дукции и техники? Никоим образом!
Решение квалиметрических задач в технике также неизбежно
но с исгюльзованием экспертных групп. Руководству предприятий,
фирм, отраслей приходится полагаться на суждения экспертов не только
в оценивании качества промышленной продукции (например, при
шении вопроса о закупке продукции одной из конкурирующих фирм),
но и при оценивании надежности деловых партнеров, фирм, банков,
выборе вариантов действий и др. Поэтому специалистам по управлению
88
качеством совершенно необходимо знать способы выбора экспертов и
приемы работы с ними. Знание возможностей и «хитростей» групповой
экспертизы позволяет не только получить истинную оценку объекта или
ситуации, но, при необходимости, обеспечить видимость
ного обоснования» заранее намеченных результатов, либо, во всяком
случае, застраховать себя от подобного рода манипуляций со стороньЕ
контрагентов.
Получение не соответствующих цели результатов экспер^тизы не
обязательно является следствие сознательного обмана, но, иногда,
сто плохо продуманных действий организатора.
Приведем пример неправильной организации экспертизы из
ти, непосредственно близкой нам -управления производством.
В период кампании за децентрализацию управления, дл:я повьние-
ния эффективности работы вновь созданного Научно-Пронзвод-
ственного Объединения была сформирована экспертная группа из числа
заместителей директоров и главных инженеров предприятий, входящих
в состав НПО. При обсуждении каждый эксперт из ведомственных
ображений стремился достигнуть решения, налагавшего минимальные
обязательства па его собственное предприятие. Из соображений
«безопасности», а также не считая себя достаточно компетентным в
деятельности других предприятий, каждый эксперт не стремился ука;»ы-
вать резервы повышения эффективности, имеющиеся в р,аснор.'.!жении
его коллег. В цело.м, данной группой было достигнуто соглашение о
незначительном перераспределении кадров и транспорта, не
вовавшее поставленной перед группой задаче.
Основная ошибка организатора состояла в данно.м случае в том,
что он подобрал экспертов, личные (ведомственные) интересы кото'рых
противоречили задачам экспертизы, хотя внешне, на первый взгляд,
принцип подбора экспертов выглядел убедительно.
Другая ошибка организатора состояла в том, что он допустил
посредственное общение экспертов .между собой, что позв1Элило
ним немедленно осознать необходимость компромисса и свободно
работать его принципы.
Настоящее пособие написано для будущих машиностроителей -
специалистов по управлению качеством. В программе кур:са, наряду с
изложением рекомендуемых способов работы с экспертами,
ны приемы, позволяющие завуалировать истинную цель экспертизы и
обеспечить получение желаемых результатов. Это - первая попытка
создать, хотя и далеко не исчерпывающее, руководство по Г1рименению|
экспертных методов в квалиметрии технических объектов.
89
1. СПОСОБЫ ОТБОРА
СПЕЦИАЛИСТОВ В СОСТАВ ЭКСПЕРТНЫХ ГРУПП
1.1. Важнейший вопрос организации
групповой квалиметрической экспертизы
Наиболее важный вопрос, связанный с организацией
ческой экспертизы, состоит в том, чтобы, исходя из основной задачи
экспертизы и условий конкретной ситуации (возможностей выбора
пертов, тех или иных ограничений ресурсов и т.п.) найти оптимальный
принцип отбора экспертов. Причем принцип этот (или способ отбора)
придумать нетрудно - трудно обосновать его оптимальность.
Оптимальность проверяется, в конечном счете, результативностью
экспертизы. Но экспертизу проводят, за редким исключением,
ной группой, сформированной одним каким-то способом и поэтому ее
результаты не с чем сравнить (если только нет явного провала). Да и
решать вопрос о способе отбора экспертов приходится не после того,
как получены результаты, а на начальном этапе экспертизы, когда
зультаты еще неизвестны. Каково же может быть обоснование способа
отбора экспертов?
Надежных рекомендаций пока нет.
По нашему суждению, обоснованность может быть обеспечена те.м,
что по отношению к примененному способу отбора не .может быть
двинуто ни одно из возражений следующего характера:
♦ некомпетентность всех или части экспертов по предмету
тизы;
♦ возможная заинтересованность всех или части экспертов в
деленном решении;
♦ отсутствие в экспертной группе специалистов, способных
смотреть объект с определенной стороны, существенной для его оценки:
♦ квалиметрическая некомпетентность - отсутствие у некоторых
экспертов знаний, подготовки, навыков, необходимых для простановки
оценок и участия в работе экспертной группы;
♦ отсутствие стремления всех или части экспертов принять
ное участие в работе (например, из-за психологической
сти с другими экспертами);
♦ другие возражения, какие только можно придумать в
ной ситуации.
Именно при формировании экспертной группы организатор
жен тщательно обосновать (для себя) способ формирования группы и
90
рассмотреть с позиций общих требований каждую кандидатуру в
дельности, так как, если по окончании работы возникнут неустранимые
критические замечания в адрес способа формирования экспертной
группы в целом или хотя бы отдельных экспертов, то и вся выполненная
группой работа может оказаться бесполезной.
Пример 1.1. В НИИ конструкторского профиля для оценивания
чества проектных решений (выбор одного из проектов для дальнейшей
разработки, премирование лучших работ и т.п.), в начале года была
сформирована конкурсная комиссия. Учитывая возможность
вения конфликтов, Д.ПЯ ее формирования применили способ
«выдвижения подразделениями», рекомендуемый для этой ситуации в
квалиметрии (см. п. 2.4.1). Однако, в конце года, когда комиссия пре,а-
ставила результаты своей работы, руководители ряда подразделений
выразили несогласие с ними. Основу возражений составляло то, что в
течение года некоторые члены комиссии по разным причинам вышли из
ее состава, а относительно некоторых других в коллективах изменилось
мнение. В итоге вместо предупреждения конфликта работа комиссии
привела к его возникновению. При фор.мировании комиссии
торы не учли длительный характер ее работы и не предусмс>трели
ходимость систематического обновления состава.
Помимо указанных требований обоснованности, на выбор
ципа отбора экспертов могут оказать влияние:
♦ финансовые и временные ограничения;
♦ структура формируемой экспертной группы (с ведущим
том или без него, с различием ролей экспертов или без различия и т.п.);
♦ планируемый способ работы экспертной группы ( однократное
или многократное собрание, использование для получения информ'ации
анкет, интервью или деловых игр и т.п.).
Надо отметить, что в реальных условиях, когда экспертизу
дят в относительно небольшой организации (фирме, институте) пр.ч.ме-
нение различных способов отбора экспертов приводит к тому, что в
состав экспертной группы войдут в значительном количестве одни и те
же лица. Совпадение может составлять до 75 %. Это говорит о том, что
правильны.м выбором способа отбора можно улучшить результаты
оценивания лишь до некоторого предела. Остальное будет зависеть от
правильности руководства работой экспертной группы.
Сейчас уже никто не возражает против использования групповс>й
экспертизы в задачах квалиметрии, прогнозирования, управления
ми и т.п. Однако по отношению к применению групповой экспертизы
лля решения важных задач, связанных с крупными затратами, иногда
91
высказывается возражение, что привлекаемые эксперты не объединены
необходимостью действовать в единой упряжке, у них нет
ности за точность своих оценок и они мало заинтересованы в
ном обдумывании проблемы.
Эти утверждения не совсем верны. Во-первых, в работе группы
пертов существенно не чувство «ответственности» отдельного эксперта,
но его желание и возможность предложить наиболее обоснованные
оценки с учетом суждений других специалистов. Во-вторых, именно
правильный выбор способа формирования экспертной группы
пределяет возможность привлечения экспертов, способных и желающих
выполнить необходимые обязанности. В-третьих, если специалист
однократно участвует в работе экспертной группы, то по результатам
его деятельности может быть рассчитан рейтинг, с повышением
го растет репутация и зарплата специалиста, но при значительном
жении специалист может быть исключен из состава экспертной группы.
Этот способ автоматически обеспечивает подбор «ответственных лиц»,
или, вернее говоря, экспертов, суждения которых наиболее часто
ветствуют «истине».
Наконец, даже одно знание того, каким способом сформирована
экспертная группа и почему он попал в число экспертов, оказывает
влияние на психику эксперта и надежность производимых им оценок.
Уже поэтому следует тщательно подходить к выбору способа
вания экспертной группы.
1.2. Группы способов отбора экспертов
Способы отбора экспертов следует разделить, в первую очередь, на
две группы: способы определения первоначального круга экспертов
(или, как еще говорят, «кандидатов в эксперты») и способы отбора
пертов из числа этих кандидатов для участия в конкретной экспертизе.
Способы, отнесенные к первой группе, предполагают
ние только тех сведений о специалистах, которые можно получить в
отделе кадров соответствующей организации, или же тех неформаллзо-
ванных данных о профессиональном уровне, характере,
сти специалистов и т.п., которые приводят их опрашиваемые
ки или коллеги.
Способы, отнесенные ко второй группе, ориентированы на
зование специально собираемых данных о специалистах - кандидатах в
эксперты. Эти сведения заносят в специально создаваемый банк данных.
Конечно, в частности, к участию в экспертизе могут быть привлечены и
92
все специалисты, найденные одним из способов 1-ой группы и, таким
образом, сразу осуществлен окончательный отбор экспертов. Но это
может быть удобно лишь для одноразовой экспертизы. Если же иметь в
виду необходимость систематического проведения экспертизы качества
определенной продукции, то целесообразно создание банка кандидатов
в эксперты с последующим автоматизированным отбором требуемых
по ситуации экспертов.
В дальнейшем изложении способы формирования первоначального
круга экспертов, а также и способы отбора экспертов разделены на
большие группы по сходству методики выполнения. Далее, для каждого
способа приведены рекомендации по его применению. Краткая сводка
этих рекомендаций выполнена в табл. п. 4.
2. СПОСОБЫ ОПРЕДЕЛЕНИЯ ПЕРВОНАЧАЛЬНОГО КРУГА
КАНДИДАТОВ В ЭКСПЕРТЫ
2Л. Способы назначения
2ЛЛ. Непосредственное назначение заказчиком экспертизы
Членов экспертной группы назначает ответственное лицо
(руководитель организации, отрасли), по распоряжению которого
водится экспертиза, но лично в ней не участвующее.
При этом могут быть достигнуты следующие цели:
1) в число экспертов попадают, в основном, специалисты,
сованные в проведении экспертизы и склонные к коллективной работе
(т.к. руководитель знает характер своих сотрудников);
2) руководитель обязательно назначит авторитетных лиц, решение
которых не вызовет сильных возражений у других сотрудников;
3) решение такой экспертной группы будет авторитетно для самого
заказчика.
Если цель экспертизы состоит в подготовке некоторого важного
заключительного документа - о качестве некоторой дорогостоящей
продукции, о качестве предлагаемых к исполнению разработок
(например, для получения грантов) и т.п., то при использовании
ба назначения в эксперты попадают руководители достаточно высокого
ранга, которые имеют право принимать решения в силу служебного
положения. Однако вырабатываемое этой экспертной группой решение,
как правило, не наиболее обоснованное и, зачастую, далеко не
мальное. Руководители, особенно высокого уровня, часто не имеют
93
времени, а иногда и желания (полагаясь на свою интуицию) решать
■задачи непривычными методами. Организатор, проводящий работу с
такими экспертами, часто сталкивается со скрываемым саботажем,
чиной которого является некомпетентность отдельных экспертов или их
стремление избежать нежелательной нагрузки. В ряде случаев эксперт,
зная руководителя, распоряжением которого создана группа, можег
стремиться выразить в ответах не свое подлинное суждение, а суждение,
соответствующее предполагаемым ожиданиям этого руководителя. Те.м
не менее, решение, выработанное такой экспертной группой, будет
ляться достаточно авторитетным как для руководителя, так и для
гих лиц, использующих результаты экспертизы.
Но, надо подчеркнуть еще раз, что способ назначения всегда
ведет к созданию экспертной группы, решение которой соответствует
ожиданиям руководителя, назначившего группу, и никогда не будет
противоречить этим ожиданиям.
Например, руководство Министерства науки РФ в период
ной перестройки вынуждено было провести экспертизу правильности
своей научной политики, т.е. правильности выбора финансируемых
направлений исследований. Независимой организации было пред/южс-
но выполнить экспертизу, причем подбор ориентирующей информации,
постановку вопросов, опрос экспертов и все остальные операции
ществляла эта организация, но экспертов, весьма компетентных
листов из числа директората институтов (финансируемых
вом!), назначали руководители соответствующих отделов Миннауки.
Нетрудно представить себе, как оаднили эти эксперты научную
ку министерства.
Более обоснованные результаты могут быть достигнуты с
нием способа назначения в тех случаях, когда цель экспертизы состоит в
отработке предложений эвристического характера, выборе новых
правлений деятельности фирм, новых издеций для производства и т.п.
В этих случаях в экспертную группу в осногном попадают люди
циативные, склонные к работе в условиях конкуренции, как правило,
невысокого служебного положения и потому не пренебрегающие
нием новой информации.
Например, в европейских отделениях компануи SONY способо.м
назначения систематически создаются конкурируЮ|Цие между собой
группы, разрабатывающие проекты новых изделий -^ исследований.
Члены этих групп получают полную свободу высказывгния
ний и суждений и поощрение их работы мало зависит от чого, будут ли
приняты их предложения или же предложения конкурируюцей группы.
94
Высокий энтузиазм и высокая эффективность работы этих групп
ляют компании сохранять лидирующее положение на европейском рынке.
Сказанное позволяет рекомендовать способ назначения в двух
туациях:
1) когда Вы только приступаете к работе по проведению
зы в некоторой организации и стремитесь получить результат,
мый заказчиком (чтобы создать себе в его глазах хорошую репутацию);
2) когда цель экспертизы состоит в поиске новых, нетрадиционных
решений и члены экспертной группы не рискуют своей репутацией или
служебным положением, какие бы суждения они ни высказывали.
2.1.2. Назначение по выбору эксперта - руководителя группы
Руководитель организации назначает фактически одно лицо -
«руководителя экспертной группы» или «ведущего эксперта», который
гюдбирает членов экспертной группы, ориентируясь на собственные
неформальные критерии, а затем весь состав утверждается (назначается)
приказом руководителя. При этом могут быть достигнуты следующие
цели:
1) удается собрать специалистов, хорошо сработавшихся между
бой и потому высокоэффективных в совместной деятельности;
2) в экспертной группе не будет лишних людей, что позволит
номить средс1ва и время;
3) при способном руководителе в такой экспертной группе могут
быть достигнуты иногда выдающиеся результаты.
Так, в 70-е годы группа специалистов, отобранных известным
следствии доктором Деннисом Медоузом, в короткое время
ла сценарий количественных и качественных изменений предстоящей
жизни человечества - «Пределы роста». Этот выдающийся результат
(хотя он относится более к прогнозированию, чем к квалиметрии, но в
данном случае важна организационная сторона его достижения) был
обусловлен как правильным выбором «экспертов», так и правильной
организацией работы группы, что представляло несомненную заслугу
организатора.
Однако назначение по выбору ведущего эксперта может привести к
следующим нежелательным последствиям:
1) безусловно, в экспертную группу войдут специалисты одной
учной «школы», склонные к одностороннему подходу к решению
блемы экспертизы, совпадающему с подходом руководителя группы;
95
2) поскольку руководитель экспертной группы почти наверняка не
сможет привлекать к работе экспертов выше себя по служебному
жению, то авторитетность этой группы в глазах заказчика будет
сеть только от авторитетности руководителя.
Способ может быть рекомендован для тех ситуаций, когда
ся провести оперативный анализ проблемы и найти какое-либо
точно эффективное решение. Но при этом, как правило, не может быть
обеспечен широкий охват проблемы и многие возможные подходы
гут остаться без рассмотрения.
Способ назначения руководителем экспертной группы удобен для
создания временной или долговременной «поисковой» группы,
ной быстро оценить оперативную ситуацию в сфере деятельности
низации, фирмы, быстро найти решения, близкие к опти.мальным
(например, по коррекции деятельности фирмы).
2.1.3. Назначение комиссией, состоящей из руководителей
ных групп
Если в организации предполагается неоднократно проводить
пертизу примерно одного и того же назначения (например, по
нию качества сходных видов продукции или услуг, качества орханиза-
ции производственной деятельности в подразделениях фирмы и т.п.), то
целесообразно создать постоянную комиссию из специалистов -
водителей экспертных групп. При необходимости проведения
ной экспертизы руководители экспертных групп независимо друг от
друга составляют списки кандидатов в эксперты (учитывая характер
предстоящей работы), после чего в действительную экспертную группу
включают тех экспертов, которые названы большинством
лей. Дальнейшее руководство экспертной группой может осуществлять
один или двое из членов комиссии.
Цели, которые могут быть достигнуты при этом:
1) в экспертную группу могут быть привлечены необходимые
циалисты различного профиля, которых не мог бы найти никто из
пертов - руководителей, действуя в одиночку; благодаря этому может
быть обеспечена многосторонность анализа проблемы;
2) благодаря тому, что перед каждым проведением экспертизы
пертную группу формируют заново, появляется возможность отобрать
именно тех экспертов, которые лучше знают конкретную проблему и
готовы к работе именно в данный момент;
96
3) личная ответственность эксперта повышена благодаря тому, что
он ожидает критику со стороны представителей, других «школ». Это
обеспечивает и взаи.мный контроль оценок и результатов.
Однако данный способ сопряжен и с возможностью нежелательных
явлений:
1) продуктивность работы экспертной группы может оказаться
высокой из-за противоречий во взглядах представителей различных
«школ»; на устранение противоречий может уйти значительное время;
2) могут возникнуть трудности со сбором экспертов в одну группу
из-за их разобщенности в пространстве и из-за плохой психологической
совместимости некоторых из них друг с другом.
Рассмотренный способ назначения оказывается особенно удобным
при формировании экспертных групп отраслевого уровня, когда
ходимо подготовить решения, затрагивающие интересы лескольких
организаций близкого профиля. Далее рассмотрен альтернативный
способ «кота в мешке» (п. 2.4.2), который именно в этой ситуации
водит к худшим результатам. Тем не менее его тоже иногда приходится
использовать.
2.2. Документальные способы
Способы отбора экспертов по их «объективным»
ным) показателям на первый взгляд представляются наиболее
венными и их применяют относительно часто. При этом
ными показателями могут быть:
♦ стаж, возраст, ученая степень;
♦ показатели, характеризующие область знаний, науки, техники и
т.п., в которой специализируется эксперт, основные направлени?!" его
работ;
♦ показатели, определяемые инструкцией по профессиональной
аттестации;
♦ количество научных трудов, монографий, изобретений;
♦ частота участия в конференциях;
♦ количество ссылок на работы эксперта;
♦ количество премий, поощрений за результаты работ .
Хотя в документах .могут быть отражены и другие показатели, но
обычно документальными считают только вышеуказанные, о которых
можно найти сведения в материалах отдела кадров.
«7
2.2.1. Отбор по критерию максимальной авторитетности
В экспертную группу отбирают специалистов, занимающих
лее высокое должностное положение или же имеющих высокие ученые
степени и звания, или же имеюи(их наивысшие значения других
ментальных показателей.
При применении этого способа могут быть достигнуты следующие
цели:
1) созданная экспертная группа обладает максимальной
ностью в глазах лиц, ничего не понимающих в групповой экспертизе.
Именно из этих лиц состоит почти каждая, особенно высшая
рация. Поэтому такая группа представительна для обоснования любых
решений, заказываемых «сверху»;
2) дополнительным (кажущимся) преимуществом является
симость суждений экспертов от мнения начальства.
На самом же деле отечественная научная администрация до сих пор
на 90 % состоит из лиц, выдвинувшихся не на основании своих
жений в науке. Чаще всего это бывшие партийные и ко.мсомольские
функционеры, современные политические и административные деятели.
Выступая в роли экспертов, эти люди будут руководствоваться не
бованиями научной объективности, а конъюнктурными
ми, зависящими от их настоящего положения.
Члены такой экспертной группы, безусловно, ко.мпетентны в
нии нормативных и правовых актов, директив, суждений и намерений
руководства. То есть, если речь идет об экспертизе объектов с этих
зиций, то результаты будут заслуживать доверия.
Но есть и сомнительные стороны и нежелательные особенности
этого способа:
1) проведенные опыты показали, что эксперты, отобранные
ментальным способом, могут оценивать более широкий круг объектов,
чем менее авторитетные специалисты, но оценки первых ничуть не
нее, чем вторых;
2) в случае появления разногласий в сформированной таким
бом группе весьма трудно добиться согласования оценок, т.к. эксперты
зачастую отказываются участвовать в обсуждениях и игнорируют
доставляемую дополнительную информацию;
3) при применении документального способа весьма мала
ность попадания в экспертную группу инициативных специалистов,
согласных и способных решать задачи нетрадиционными методами; по
98
нашим данным, их доля в сформированной группе, как и при
вании способа непосредственного назначения, составляет 10-^15 %.
4) в последние годы получила распространение практика покупки
дипломов (в т.ч. докторских и академических), преподнесения ученых
степеней и званий в качестве «подарков» политическим деятелям,
нансовым магнатам и т.п. Понятно, что пытаться использовать их в
качестве экспертов - дело безнадежное. К чести этих людей, надо
зать, они понимают свою научную значимость и стараются уклониться
от участия в подобных работах.
В целом, отбор по способу максимальной авторитетности не
ставляет заметных преимуществ перед способом непосредственного
назначения, который требует меньших трудозатрат и приводит к
мированию более работоспособных экспертных групп.
2.2.2. Отбор по условию полноты охвата проблемы
Предварительно специалист по организации групповой экспертизы
путем консультаций выделяет в объекте экспертизы стороны, анализ
каждой из которых требует участия представителей разных
стей. Затем, по документальным данным о сотрудника.х данной
зации (или же ориентируясь на профиль нескольких разных
ций) организатор производит отбор требуемых специалистов.
Например, при оценивании качества выполненных ;)азработок
вой техники с целью их представления на выставку, организаторы
бирают экспертов, знакомых не только с сущностью решенных научно-
технических проблем, но и администраторов, знакомых с
ми производства соответствующих изделий, привлекают специалистов-
менеджеров, способных оценить перспективы внедрения изделий на
внутреннем и внешнем рынке. Таким образом, осуществляют
роннее оценивание выполненных разработок.
При этом могут быть достигнуты следующие цели:
1) при правильном определенней необходимых сторон анализа
ществляется всестороннее рассмотрение объекта;
2) по документальным характеристикам (например, по тематике
опубликованных работ) удается найти экспертов узкого и широкого
профиля. Участие первых в экспертизе обеспечив<'.1ет подробность
лиза, участие вторых - увязку между собой оценок различных сторон
(свойств) объекта.
Возможны проявления следующих нежелательных свойств этого
способа отбора:
99
1) ввиду невозможности привлечь многих специалистов одного
профиля, подход некоторых экспертов может быть односторонним,
отражающим позицию одной «школы»;
2) возможна несовместимость некоторых экспертов в группе ввиду
их несработанности;
3) не исключено, что организаторы допустят решающую ошибку
при выборе совокупности тех сторон, с которых следует рассматривать
проблему.
Способ отбора экспертов из условия полноты охвата проблемы
часто применяют при экспертной оценке качества образцов продукции,
предназначенных к массовому выпуску. В этом случае заранее
тывают некоторую инструкцию по аттестации отраслевой продукции, в
которой указывают состав специалистов, привлекаемых в экспертную
группу. Здесь могут быть ведущие специалисты предприятия
довательского или конструкторского профиля), представитель
стерства, сотрудники предприятий-поставщиков, дизайнеры и др.
В зарубежных методиках рассматриваемый способ отбора
няют на уровне руководства компаний, обладающих многи.ми
лами и предприятиями для оценивания целесообразности производства
той или иной продукции (при этом специалистов подбирают по
пам оцениваемых сторон, таким, как возможности производства,
транспорта, хранения, реализации продукции и т.п.).
2.3. Способы взаимных рекомендаций
2.3.1. Способ взаимных рекомендаций («снежного кома»)
Вначале опрашивают одного специалиста по объекту экспертизы.
Он должен назвать других лиц, которые, по его суждению, должны
ти в состав экспертной группы. Эти специалисты вновь должны назвать
возможных экспертов, может быть, включая и первого,
шего их (при этом способе обычно соблюдают анонимность
ций) и т.д. Постепенно круг взаимных рекомендаций замыкается, все
потенциальные эксперты названы.
Способ взаимных рекомендаций позволяет найти «незримый
лектив» сработавшихся между собой сотрудников одной или разных
организаций, достаточно успешно работающих с продукцией или (тро-
блемой, подлежащей оцениванию, независимо от служебного
ния. Такая экспертная группа может провести наиболее глубокий
лиз качества продукции или другого объекта.
100
Однако этот способ приводит иногда к слишком большому
ному составу экспертной группы - 200 человек и более. Приходится
отбирать тех экспертов, которые рекомендованы большинством, или же
применять другие ограничивающие меры. Поэтому способ взаимных
рекомендаций наиболее удобен при анализе продукции относительно
узкого использования или таких проблем оценивания качества, когда
заранее известно, что число потенциальных экспертов невелико.
Одна из таких типовых проблем, часто встречающаяся при
нении новых разработок - выбор соисполнителя, когда требуется
пределить задания, составляющие общую работу, между несколькими
организациями-соисполнителями. Эти специалисты (выступая на
ных правах с первым) предлагают свои составы соисполнителей и т.д.
Дополнительное достоинство способа взаимных рекомендаций
ляется здесь в том, что эксперты, рекомендованные в качестве
нителей, могут выступать с конкурирующими предложениями, что, в
конечном счете, позволяет найти оптимальный вариант распределения
заданий.
К недостаткам способа относится, как уже говорилось,
ность получения слишком большого числа потенциальных экспертов.
Поэтому приходится либо вводить некоторое «правило останова»,
гда дальнейший опрос кандидатов в эксперты прекращается, либо по
сформировании круга потенциальных экспертов применять другие
собы для отбора действительных экспертов из их числа.
Недостатком «незримого коллектива» является его безусловно
носторонний подход к решаемой квалиметрической задаче: члены этого
коллектива всегда являются представителями одной «школы».
2.3.2. Способ взаимных выборов
Этот способ отличается от способа взаимных рекомендаций тем,
что одновременно с формированием полного списка потенциальных
экспертов каждый эксперт знакомится со всем имеющимся на момент
его опроса списком экспертов и отмечает тех кандидатов, с которыми
он хотел бы сотрудничать в составе экспертной группы и тех,
чество с которыми он считал бы нецелесообразным.
При этом возможно образование в списке потенциальных
тов двух и более подгрупп, внутри которых специалисты склонны к
сотрудничеству друг с другом, но между подгруппами количество
имных выборов невелико. Конечно, в этом случае для экспертизы надо
использовать представителей какой-нибудь одной подгруппы или же
101
проводить работу с каждой подгруппой по отдельности. Последний
вариант требует значительно большей работы, но зато возникает
можность взаимного контроля результатов. Хорошо, если результаты
работы различных групп экспертов не будут сильно различаться. Но
если расхождение окажется сушественным, то провести согласование
оценок будет почти невозможно.
Способ взаимных выборов не вполне удобен потому, что лишь
которые кандидаты в эксперты знако.мятся со всем списком и
ляют выбор из этого списка. Большинство же специалистов получают
список на стадии его составления и потому не могут в полной мере
разить свой выбор. Лучше было бы предъявить каждому специалисту
полный список, но это требует дополнительного цикла опросов. Кроме
того, такой способ уже является не способом формирования
чального круга экспертов, а способом отбора экспертов из
ванного банка (см. п. 3.1.1. «Оценивание со стороны коллег»).
2.3.3. Способ последовательных рекомендаций («прогнозного дерева»)
Один эксперт, являющийся крупным специалистом по
мой проблеме (виду создаваемой продукции, направлению деятельности
фирмы и т.п.), должен указать условия, при которых проблема может
быть решена (достигнута некоторая цель) и при которых он лично мог
бы взять на себя ее решение. После того, как эти условия
жуточные цели) установлены, эксперт должен назвать лиц, которые
могли бы обеспечить достижение указанных им про.межуточных целей.
Эти лица выступают в качестве экспертов во 2-ом туре опроса, когда
выясняются условия достижения промежуточных целей и определяются
лица, способные обеспечить достижение этих промежуточных целей и т.д.
Например, руководство фирмы предполагает начать выпуск
дукции, превосходящей по качеству не только существующие, но и
спективные образцы аналогичного назначения, способной завоевать
рынок и обеспечить процветание фирмы в перспективе.
В этом случае способ последовательных рекомендаций является,
пожалуй, единственным, позволяющим не только предвидеть из.менение
фебований к качеству продукции, но и создать организационный
рат, способный реализовать намеченные цели.
Применением этого способа достигается повышенная
ность эксперта за свои рекомендации, поскольку он не может ожидать,
что его рекомендации будут скорректированы другими членами
пертной группы, но, возможно, подлежат исполнению самим экспертом.
102
Способ последовательных рекомендаций был впервые успешно
применен для экспертизы возможности реализации заданий в так
ваемом «нормативном прсгнозировании», когда производится
ное оценивание возможностей и сроков достижения определенных
лей. Поэтому его называют еще способом «прогнозного дерева».
Основным недостатком способа прогнозного дерева является то,
что поскольку эксперты подбираются непосредственно под конкретную
проблему, причем в минимально необходимом количестве, то
рованная экспертная группа с самого начала способна выработать и
осуществить единственный вариант решения без выдвижения и анализа
каких-либо альтернативных вариантов. Хотя можно, конечно,
ровать 2 3 альтернативные экспертные группы для дальнейшего
нения предложенных ими вариантов.
Поэтому способ прогнозного дерева можно рекомендовать
имущественно не для оценочных решений (связанных с анализом
менного рынка продукции), а для экспертирования перспективных
риантов действий, направленных на значительное повышение качества
выпускаемой продукции и завоевание рынка в условиях конкуренции.
2.4. Способы выдвижения
2.4.1. Выдвижение экспертов коллективами подразделений
Выдвижение специалистов в состав экспертной группы может быть
проведено коллективами подразделений данной организации путем
открытого или же тайного голосования. Таким способом могут быть
отобраны эксперты, пользующиеся всеобщим доверием и уважением,
независимо от их служебного положения и не обязательно наиболее
квалифицированные. Как показывает опыт, такие эксперты
кабельны и хорошо работают в составе экспертной группы.
Способ выдвижения коллективами целесообразно применять в тех
случаях, когда решение задачи экспертизы требует учета не только
ективных показателей, характеризующих объект оценивания, но и
росовестности исполнителей, сложности выполняемой задачи, условий,
в которых выполнялась работа и других дополнительных факторов,
связанных с моралью, добросовестностью, этикой. К таким задачам
относятся, например, оценивание качества работы подразделений
низации с целью премирования лучших, определение изделия-
победителя конкурсной разработки и т.п., в общем то, что связано с
103
возможным возникновением личных обид и конфликтных ситуаций
внутри данной организации.
Применяют также двухэтапную процедуру выдвижения, при
рой на 1-ом этапе выдвигают кандидатов в экспертную группу, число
которых больше заранее обусловленного числа членов экспертной
группы. На 2-ом этапе члены Совета директоров или заведующие
разделениями соответствующей организации проводят тайное
вание, например, способом ранжирования, и на основе обобщенной
ранжировки определяют окончательный состав экспертной группы.
При этом на 1-ом этапе подразделения заинтересованы в
нии объективных и квалифицированных сотрудников, так как в
тивном случае их кандидаты будут, скорее всего, отвергнуты на 2-ом
этапе и, следовательно, подразделение не сможет иметь своих
вителей в экспертной группе. На 2-ом этапе ведущие специалисты
ют возможность судить о квалификации выдвинутых кандидатов.
Большое число голосующих позволяет смягчить эффект возможных
личных предубеждений к отдельным кандидатам.
Основной недостаток способа состоит, конечно, в узости области
его применения: экспертизу, требующую объединения обширных
ний, типа прогноза требований к качеству продукции или оценивания
качества продукции отраслевого использования такая экспертная
па выполнить не сможет.
2.4.2. Выдвижение экспертов заинтересованными организациями
(способ «кота в мешке»)
Если решение проблемы экспертизы требует участия
лей нескольких различных организаций, фирм и т.п., тем более
щихся в разных городах, а иногда и в разных странах, то отбор
тов по их документальным данным, а тем более выбор по личностным
характеристикам становится практически невозможным. В этой
ции единственным средством найти и привлечь к экспертизе нужных
специалистов является обращение к руководству соответствующей
ганизации с просьбой о командировании представителей и указанием
на те их характеристики (профессиональные и личностные), которые
представляются желательными для участия в данной экспертизе.
Способ «кота в мешке», как правило, приводит к появлению в
ставе экспертной группы специалистов с трудно совместимыми
циями, так как каждый из них, помимо достижения цели экспертизы,
стремится к достижению тех или иных, не высказываемых открыто,
целей, поставленных перед ним руководство.м его организации.
104
Ситуация несколько улучшается, если экспертизу, для которой
формируют экспертную группу, предполагается.проводить систег-клти-
чески. Например, это может быть ежегодное составление прогноюв
требований потребителей к продукции отрасли, потребности в
мой или выпускаемой продукции и т.п. Тогда удается:
♦ организовать обучение выдвинутых в эксперты специалистов и
выбрать общеприемлемые формы экспертизы;
♦ сфор.мировать путем некоторой селекции стабильный состав
экспертной группы.
Но в целом этот способ приводит, во-первых, к появленР1'ю
пертной группы, которой трудно управлять, и во-вторых, к
там, сопряженным с большой вероятностью ошибки. Так, нзвес-:ио, что
прогнозы, выполненные специалистами стран СЭВ, собранными
бом «кота в мешке», почти всегда были грубо ошибочными. Ни'-ьма
квалифицированные специалисты, представлявшие разные страны,
стремились предлагать суждения и оценки, соответствующие не i.x
ствительному мнению, а наиболее выгодные, в каком-то смысле,
вившему их руководству.
Встречаются рекомендации привлекать в экспертную группу
более квалифицированных специалистов разных организаций сходного
профиля для выявления «непредвзятого» мнения. Нельзя доверять этим
рекомендациям. По указанным выше причинам способ «кота в мешь:е»
лучше не применять вовсе.
Свойства способа «кота в мешке» позволяют использовать его с
лью провала некоторой работы. Для этого в письмах руководстгу
влекаемых организаций следует намекнуть на ответственность
стоящих решений и обязательность их выполнения. Тогда будут
сланы «непробиваемые» специалисты, которые не пойдут ни на какие
компромиссы.
2.4.3. Способ максимального соответствия
Встречаются ситуации, когда члены экспертной группы доля-иы
отражать не свою собственную точку зрения на объект эксперти.(ы, а
позицию определенной категории населения, социально-экономи'.'ск>.1й
группы, группы потребителей и т.п.
Такова, например, экспертиза отношений нас1';ления к noflEjieHviio
новой продукции, введению нового вида услуг, к планируемым
ниям качества городской среды (снос или возведение зданий, сооруже-
105
ние памятников), изменениям природной среды (в результате некоторых
эколого-гигиенических мероприятий) и др.
Собственно говоря, проблема выявления суждений групп населения
не относится к квалиметрической экспертизе, это скорее объект
логии или социометрии. Определение суждений групп населения
вится задачей квалиметрической экспертизы в тех случаях, когда ее
решение находится в плоскости повышения качества какой-либо
дукции, потребляемой населением, составления квалиметрических
гнозов или повышения качества жизни самого населения.
При этом специалисты-квалиметрологи не проводят опросы более
или менее случайно выбранных респондентов, но используют обычные
формы работы с экспертами: формируют группы, используют
ные способы опроса и т.п.
Так или иначе, работа по повышению качества продукции иногда
связана с необходимостью выявить отношение населения к тем или
иным объектам производства или производственным решениям, и
этому в данном и следующем пунктах рассмотрены некоторые способы
выявления этого отношения.
Для применения способа максимального соответствия необходимо
предварительно составить стратификацию исследуемого контингента
населения по социальным группам, которые, как можно предположить,
могут иметь обособленную от других групп общую позицию по
шению к объекту экспертизы. Эта стратификация вручается всем
но-техническим и административным работникам той организации,
которой предстоит осуществить планируемое мероприятие. Каждый
сотрудник должен указать своих коллег, наиболее способных
вать позицию определенной социальной группы, входящей в
кацию.
Требования к такому специалисту трудно сформулировать
мально и способность удовлетворять им зависит почти исключительно
от личностных черт человека. Приблизительно требования выглядят
следующим образом:
♦ этому специалисту предстоит освоить значительный объем
вой информации, касающейся потребностей социальной группы, к
торой он, скорее всего, не принадлежит. Поэтому он не должен
дать заранее сформировавшейся жесткой позицией по предмету
тизы, но должен иметь желание усвоить и разумно отстаивать суждения,
возможно, чуждые ему лично;
♦ его работа в экспертной группе заключается в отстаивании
ределенной позиции. Это несколько сходно с участием специалиста-
106
эксперта в деловых играх (см. п. 3.1.4). Поэтому он должен быть
бен к участию в такой форме работы экспертной группы.
Ввиду указанных особых требований, которым может
рять далеко не каждый, отбор кандидатов в экспертную группу не
жет быть осуществлен по формальным критериям. В анкете-
стратификации, заполняемой сотрудниками организации, содержится
просьба указать лиц, наиболее соответствующих той роли, KvjTopyra им
придется выполнять. Отсюда и название способа.
Наибольшая трудность при реализации способа максимального
ответствия - в подготовке информации, входящей в анкету для опроса,
а именно - самой стратификации и указаний по характеру требований,
предъявляемых к кандидатам в эксперты. Нужна большая опытность,
чтобы правильно разделить население на заинтересованные .группы,
причем проверить эту правильность почти невозможно. Специалисты,
выдвигаемые кандидатами в эксперты, как правило, коммуникабельны,
но склонны к пространным рассуждениям. Необходим опытный
низатор работы экспертной группы для проведения экспертизы в
зумные сроки.
При рациональной стратификации и хорошо организованной
боте экспертная группа выносит всесторонне обоснованное заключение,
отражающее мнение, которое могло бы быть получено путем
го опроса изучаемого контингента, т.е. экспертиза дает значительную
экономию времени и средств.
2.4.4. Способ «фокус-групп»
«Фокус-группа» - это 7 н- 10 человек, проводящих дискуссию по
ранее составленному плану и направленную на выявление суждеь'ий
представителей различных социальных групп по квали.метрическому
вопросу в условиях непринужденной, «безопасной» обстановки. В очлн-
чие от способа максимального соответствия, фокус-группу формиру10т
из числа представителей общественных и профессиональных организ;Л-
ций, которые могут быть заинтересованы в решении поставленного
перед экспертизой вопроса. Способ фокус-групп предназначен для
явления суждений преобладающей части населения некоторого региона,
поэтому отбор представителей производят путем обращения в
венные и профессиональные организации, находящиеся на данной тер
ритории, особенно располагающие средствами массовой информации;
союзы потребителей, редакции соответствующих галет,
ные объединения (типа союза экспортеров нефти) и т.п.
107
Например, для оценивания качества намечаемых к выпуску новых
электробритв, работающих на принципе вакуум-выщипывания, оче-
ви^'но, что надо опросить парикмахеров и мужчин, которых не удовле-
твоччют имеющиеся устройства для бритья. Парикмахеры имеют
фессиональный союз, с которым и следует войти в контакт. Мужчин,
страдающих от пользования обычными средствами для бритья, можно
найти, обратившись в косметологическую или дерматологическую
нику, где могут порекомендовать заинтересованных пациентов. При
обращении в эти организации следует просить рекомендовать
ких человек, исходя из того, что в намеченное для собрания группы
время кто-то не сможет придти.
Поскольку к «экспертизе» привлечены лица, незнакомые с такой
формой работы, то формирование группы и работа с ней требуют
рошей подготовки самого организатора. Он должен вначале выделить
социальные группы, имеющиеся в регионе, суждение которых необхо-
ди.мо узнать, затем создать условия заинтересованности их
телей в участии в работе.
Заседания фокус-групп проводят 2 н- 5 раз, частично или полностью
меняя состав участников. Обязательна запись заседания на магнитофон.
Желательно использовать таблички с имена.ми, поставленные перед
каждым участником. Перед началом работы фокус-группы следует еще
раз встретиться с заказчиком экспертизы, обсудить состав участников,
порядок работы, содержание обсуждаемых вопросов.
Дискуссию проводят по плану, составленному организатором.
суждаемые вопросы должны идти от общих к частным, причем их
мулировка должна быть нейтральной - не ориентировать участника на
тот и;;ч иной ответ.
Например, нельзя спрашивать: «Является ли предлагаемая
ция лучше прежней?». Нужна приблизительно такая формулировка:
«Какие бы Вы выделили основные положительные черты той и другой
продукции?». Или, если речь идет о качестве предлагаемых
тивных решений: «Какие Вы бы выделили основные положительные
тенденции в конструировании данных объектов?».
Вопросы во всех случаях следует ставить так, чтобы участники не
могли догадаться о взглядах организатора.
Бвиду непрофессиональности состава «экспертов» фокус-группы,
особенно важно систематически задавать вопрос «Почему?», чтобы
отделить действительные факторы, влияющие на предпочтения
шиваемых, от их эмоционального обрамления. Организатор должен
внимательно слушать и отмечать не только ответы, но и заминки и ук-
108
лонения от ответов. Окончательные результаты экспертизы
тор оформляет после проведения всех заседаний и анализа аудиозаписей
в виде описания факторов и показателей, влияющих на предпочтения
представителей исследованных социальных групп.
С учетом сказанного о способах максимального соответствия и
кус-групп должно быть понятно, что опрос населения, проведенный без
стратификации, без продуманной процедуры отбора экспертов, без
тщательного выяснения их суждений, без предварительной подготовки
как содержания, так и формы предлагаемых вопросов, путем
вания отдельных лиц из очередей или прохожих, является лишь потерей
времени и средств, но никак не квалиметрически грамотным исследованием.
3. СПОСОБЫ ОТБОРА ЭКСПЕРТОВ ИЗ СФОРМИРОВАННОГО
БАНКА ДАННЫХ ПО КАНДИДАТАМ В ЭКСПЕРТЫ
3.1. Способы, основанные на использовании
коэффициентов компетентности
Коэффициенты компетентности экспертов можно получить
дующими способами:
1) оцениванием со стороны коллег;
2) формальным расчетом по некоторой формуле, учитывающей
кументальные данные;
3) по результатам тестирования (вариант: по результатам участия в
деловых играх);
4) самооценкой;
5) по результатам достаточно длительной систематической работы
в составе экспертной группы (путем расчета рейтинга эксперта).
3.1.1. Оценивание со стороны коллег
Надо отметить, что рассмотренные выще в п. 2.4 («Способы
движения») по существу являются способами оценивания со стороны
коллег. Суть этих способов состоит в том, что специалист выдвинут тем
или иным число.м коллег в круг потенциальных экспертов и, исходя из
того или иного критерия, либо включен в этот круг, либо нет. При этом
специалист, вошедший в потенциальные эксперты, во всех дальнейших
операциях считается равнокомпетентным со всеми остальными
циальными экспертами, т.е. никакой «весовой» оценки, используемой
для коррекции его оценок, ему не присваивают.
109
Эти способы можно без изменений применить и для отбора
тов из уже сформированного банка данных о кандидатах. Например,
получив задание на экспертизу качества некоторого объекта можно
предложить одному из экспертов указать коллег (из числа уже
щихся в банке), которых наиболее рационально привлечь для
ния именно данного объекта, затем обратиться с тем же вопросом к ним
и т.д. Эта операция отбора, как нетрудно видеть, аналогична способу
взаимных рекомендаций (п.2.3.1), но круг возможных экспертов
ничен содержимым банка данных.
Поэтому способы оценивания со стороны коллег, аналогичные
ложенным в п.п. 2.3 и 2.4 мы далее не рассматриваем.
В некоторых работах упомянута возможность получения оценки
компетентности эксперта со стороны коллег в виде некоторого балла.
Такие оценки нельзя реко.мендовать для использования при отборе
пертов по следующим причинам:
1) оценка со стороны коллег может оказаться лишь оценкой
моотношений экспертов. Особенно ярко это проявляется в тех случаях,
когда эксперты принадлежат к нескольким разны.м «школам». Никакой
эксперт не оценит представителя «чужой школы» выше, чем своей;
2) сама попытка как-то «взвесить» ко.мпетентность эксперта
этична как по отношению к оцениваемому специалисту, так и по
шению к оценивающему. Кандидат в эксперты, зная, что его суждению
придают меньший «вес», чем чьему-то, склонен отказаться от участия в
экспертизе;
3) нет никаких экспериментальных доказательств того, что оценки
экспертов, имеющих большие коэффициенты компетентности, точнее
или надежнее, чем оценки экспертов с меньшими коэффициентами.
3.1.2. Коэффициент компетентности как функция документальных
оценок
Обычно применяемая без излишних хитростей (и без какого-либо
обоснования) формула для расчета коэффициента компетентности
ет вид:
где Xij- значения оценок, весьма произвольно приписываемых эксперту
за производственный стаж, ученую степень, количество публикаций и
т.п.; т, - коэффициенты «весомости» стажа, «остепененности», публи-
куемости и т.п., приписанные с точки зрения предполагаемой важности
этих свойств для члена экспертной группы.
110
Например, в ГОСТ 23554.1-79 «Экспертные методы оценки
ва промышленной продукции» рекомендована формула:
jt=0,4jtapr+0,6it-caM .
где кйрг- коэффициент аргументированности, рассчитываемый
ционально числу научных командировок за рубеж, числу прочитанных
книг и др.; ксы - коэффициент знакомства, который эксперт назначает
себе сам.
По нашему суждению, опираться на подобные расчеты
ентов компетентности не следует.
На включение специалиста в экспертную группу (если исходить
только из требования его компетентности) могут влиять не общие
дения о печатных трудах и т.п., но только те данные, которые
ризуют его отношение к объекту предстоящей экспертизы. Это могут
быть его печатные работы в направлениях, имеющих отношение к
екту экспертизы. Однако, .может оказаться, что эксперт хорошо знает
объект экспертизы, но опубликовал в этом направлении мало работ,
или вообще ничего не опубликовал. То есть, оценка его компетентности
по документальным данным окажется неверной.
Весовые оценки компетентности, находимые по документальным
данным, присваивают эксперту без учета того состояния, в котором он
находится Б момент опроса. Однако точность оценки эксперта может
резко колебаться в момент опроса под влиянием обстановки, отсутствия
стимулов проявлять компетентность и т.п. То есть, и с этой точки
ния оценки компетентности не гарантируют высокой точности и
нованности оценок эксперта.
В настоящее время нет достаточной ясности в определении того,
что такое компетентность эксперта, каким образом она может быть
измерена и как следует использовать оценку компетентности, если она
будет получена. Попытки разработать меру компетентности, которая
могла бы быть использована для улучшения отбора экспертов, не
вели к успеху.
Литературные данные и опыт практической работы
вуют, что результативность работы эксперта значительно больше
сит от заинтересованности в результатах работы, добросовестного
ношения к работе, как со стороны экспертов, так и, в первую очередь,
со стороны организатора, чем от введения каких-либо коэффициентов
компетентности. Только сам специалист должен судить о своей
тентности в отношении объекта экспертизы, о своем желании дать
вильную оценку, и на основе его самооценки (учитывая и другие его
111
качества) можно принимать решение о его включении в экспертную
группу. Соответствующий способ самооценки рассмотрен в п. 3.2.2.
3.1.3. Отбор экспертов по результатам тестирования
Тестирование кандидатов для отбора в эксперты может быть
ществлено следующими способами.
1) По результатам решения тестовых задач.
Этот способ целесообразно применять в тех случаях, когда членам
формируемой экспертной группы предстоит многократно решать
типные задачи, требующие знания многочисленных правил и
ций, юридических положений и т.п. Например, если экспертной группе
предстоит систематически оценивать качество проектных решений
строительных фирм с эколого-гигиенических позиций.
2) Психометрическое тестирование.
Психометрические способы тестирования применяют в тех случаях,
когда для участия в экспертизе требуется некоторый минимум развития
психофизиологических функций. Например, предстоит оценивание
чества нового типа экранов дисплеев для ЭВМ. Понятно, что помимо
хорошего знания условий производства и использования этих экранов,
эксперт должен иметь физиологическую возможность оценить четкость
и контрастность изображения, качество цветопередачи и т.п.
3) Тестирование по результатам оценивания тестового объекта.
Группа уже сложившихся экспертов оценивает некоторый объект,
поступивший на экспертизу и фиксирует его достоинства и недостатки,
а также дает оценки по частным показателям. Затем анализ того же
объекта проводят кандидаты в эксперты. По числу совпавших оценок
судят о пригодности кандидатов для предстоящей экспертизы.
Способами тестирования удается отобрать экспертов с пониженной
инициативой, но умеющих хорошо соблюдать заданные правила,
пользовать профессиональные методики, положения и т.п.
3.1.4. Отбор экспертов по результатам участия в деловых играх
Участие в деловых играх можно рассматривать как один из
бов тестирования кандидатов в эксперты.
Обычно в деловых играх принимают участие лица, реально
ствляющие функции управления - администраторы предприятий,
ботники аппарата управления отраслей народного хозяйства, лица,
готовящиеся на должности руководителей фирм или отдельных пронз-
112
водств и т.п. Деловые игры позволяют специалисту испробовать себя в
разных должностях и лучше понять возможности и трудности каждой
из них.
Успешность деятельности игрока в деловой игре фиксируют в виде
некоторой сум.мы выигрыша, по каковой и судят о его способности
исполнять ту или иную должность. Этот [юказатель может служить и
для оценивания его способностей исполнять обязанности эксперта в
решении соответствующих задач. Деловые игры, по.мимо того, что
зволяют получить оценки способностей эксперта, развивают и
руют его инициативу и необходимые профессиональные навыки.
Однако, во-первых, трудно разработать деловую игру, в которой
достаточно полно проявились бы необходимые способности кандидата
в эксперты. Во-вторых, не всегда специалист, успешно выстз'пивший в
деловой игре, так же хорошо проявит себя в реальной обстановке. (По
нашему опыту, 10 ч- 15 % лиц, хорошо проявивших себя в игре, не .могут
столь же успешно справляться с реальными задачами).
Деловые игры применяют для отбора экспертов на задачи
ния качества функционирования сложных структур - органов
ния, подразделений или филиалов организаций, финансовых органов и т.п.
Вариантом де;ювой игры, требующим меньших трудозатрат со
стороны разработчика, является «кейс-метод». При этом каждый
дидат в эксперты должен найти оптимальное решение в ряде
ных ситуаций, которые моделируют для него организатор и .'другие
участники.
3.1.5. Использование «рейтинга» эксперта
В тех случаях, когда специалиста неоднократно привлекают /ця
участия в экспертизе и есть возможность ретроспективно оценить
пень соответствия его прошлых оценок и суждений истине, может бьггь
построена величина, характеризующая «качество» эксперта, его
тинг (У?).
Правила расчета рейтинга могут быть различными. Вначале нужно
составить словесное описание процедуры изменения рейтинга.
Например, изначально, при включении в банк, всем экспертам
сваивают одинаковый рейтинг A00 баллов). Если специалист
вал в некоторой экспертизе и его оценка впоследствии оказалась
ветствующей истине, то рейтинг .может быть повышен. Допустк'м, за
каждую оценку или суждение, признанные очень хорошими, R всфас-
тает на 5 баллов. За оценку, признанную хорошей, но не наилучшей', R
1.У
повышается на 3 балла. Напротив, ошибочная оценка или
ция снижают рейтинг на определенное число баллов. Могут быть
дены изменения рейтинга за предоставляемую дополнительную
мацию, немотивированный отказ от участия в экспертизе и т.п.
Спустя некоторое время эксперты приобретают различные
ния рейтинга и их отбор для дальнейшего участия в экспертизе может
быть пговеден с использованием этой величины. Так, в первую очередь
.могут быть выбраны эксперты с высоким рейтингом. Оплата работы
эксперта также может быть поставлена в связь с рейтингом. Может
быть предусмотрен критерий отказа от дальнейшего привлечения
циалиста к работе в экспертной группе. Например, если его R снизится
до 20 баллов.
Но рейтинг не может быть использован для «взвешивания» оценок
и суждений эксперта, выраженных во время экспертизы по причинам,
указанны.м в п. 3.1.2. Если эксперт отобран для участия в экспертизе, его
суждения должны быть приняты на равных с суждениями остальных
специалистов.
3.2. Отбор экспертов по их самооценке
3.2.1. Самооценка по направлениям
В тех случаях, когда экспертизу поступающих объектов проводят
неоднократно (периодически или по мере поступления объектов),
чем объекты экспертизы можно разделить на направления так, что
пертиза каждого направления требует привлечения особой группы спе-
циалгсстов, применяют следующий способ.
Организаторы подразделяют всю область возможной экспертизы
на направления и каждый кандидат в эксперты отмечает те
ния, в работе по которым он хотел бы участвовать, и те, свое участие в
которых он считал бы нецелесообразным. Эти сведения заносят в банк.
При поступлении на экспертизу очередного объекта организаторы
ределяют направление, к которому объект принадлежит и отбирают
соотв ггствующих специалистов в экспертную группу.
Пример 3.1.
Для проведения экспертизы качества электротехнических устройств
бытового назначения в соответствующем отраслевом институте все
виды продукции отрасли были разделены по направлениям:
♦ устройства и приборы освещения жилища;
♦ устройства для уборки жилых помещений;
114
♦ устройства и приборы кухонного назначения и т.д.
Специалисты, работающие в институте, заранее определили для
бя одно или несколько направлений оцениваемой продукции, в которых
они специализировались и могли бы выступать в роли экспертов. .При
поступлении на экспертизу нового образца продукции технический
секретарь получает из банка, хранящегося в памяти ЭВМ, све,цения о
воз.можных экспертах и, проверив готовность последних к участиь) в
данной экспертизе, производит их отбор в экспертную группу.
Пример 3.2.
Японский журнал «Кураси-но-тэтё», посвященный защите прав по-
•фсбителя, сформировал банк потенциальных экспертов, рассеянных по
всей стране, так, что при появлении где-либо продук-ции, подлежаи1ей
оцениванию, журнал быстро отбирает экспертов из числа
дентов, проживающих недалеко от места продажи продукции и
лизированных на оценивании этого вида продукции.
Положительные особенности этого способа состоят в следуЮ'щем;
1) в экспертную группу попадают специалисты, чувствующие себя
уверенно в отношении объекта экспертизы;
2) при условии систематической работы в экспертной группе
лификация специалиста, как эксперта, растет;
3) способ самооценки по направлениям удобен для
ванного отбора экспертов в тех случаях, когда число потег.щиальных
экспертов весь.ма велико и они разобщены территориально таьс, что при
отборе приходится учитывать фактор доступности.
Недостатки, присущие способу самооценки по напрааления.м,
следующие:
1) технический секретарь может неточно определить направления, к
которым относится представленный на экспертизу объект, и тогда
пертная группа окажется неверно сформированной, неспособной
сторонне оценить объект;
2) эксперты, отобранные в соответствии с оценками, сделанными
ими, быть может, задолго до экспертизы, к моменту экспертизы могут
изменить ориентацию своей работы и по этой или по другим глри'шнам
не обнаруживать желания участвовать в предстоящей экспер1И:.е.
3.2.2. Самооценка по объекту экспертизы
Способ, основанный на самооценке по конкретному объекту
пертизы, состоит в том, что кандидатам в эксперты объявл.яют задачу и
знакомят с объектом предстоящей экспертизы, после чегс каждый из
115
них принимает решение, участвовать в работе экспертной группы или
же нет.
Способ самооценки по объекту экспертизы лишен недостатков,
присущих предыдущему способу самооценки по направлениям, но
труднее в реализации, так как требует проведения опроса всех
тов, включенных в банк, в кратчайшее время. Кроме того, количество
отобранных экспертов может оказаться либо слишком большим, либо
слишком малым, и потребуются дополнительные меры по
ке ее состава.
Поэтому способ самооценки по экспертируемому объекту трудно
реализовать при наличии большого банка экспертов, тем более
дящихся в разных учреждениях или даже городах. Комбинация
бов самооценки по направлениям и самооценки по объекту экспертизы,
возможно, будет лишена недостатков обоих способов, сочетая их
достоинства.
3.3. Способы, основанные на минимизации расхода ресурсов
Ограничения по ресурсам, расходуемым финансам и
тельности работы могут иметь место при реализации любого способа
формирования круга кандидатов в эксперты или отбора экспертов из
числа рассмотренных выше. Однако, возможны ситуации, когда
дура отбора экспертов жестко связана с лимитированием финансов или
продолжительности работы.
В таких ситуациях вначале определяют количество экспертов,
торых можно включить в работу, исходя из расчетов, учитывающих
прошлый опыт, или же исходя из удобства управления экспертной
группой, а затем производят их отбор так, чтобы минимизировать
раничиваемый ресурс.
Например, если проведение экспертизы требует собрания
ной группы и для этой цели необходимо отрывать экспертов от их
новной деятельности на определенный срок, оплачивая их работу в
экспертной группе пропорционально ее продолжительности, или
вать из других городов (что связано с оплатой командировочных) то,
естественно, организаторы отбирают прежде всего тех экспертов,
рые на момент экспертизы не заняты срочной работой, и тех, кто
дится поближе.
Практически задача такого отбора не требует сложных вычислений
и решается моментально.
116
Достоинством способов отбора, проводимых с минимизацией
сурсов, является именно эта минимизация. Возможных недочетов при
применении этих способов, конечно, много. Из-за того, что
мые эксперты в основном базируются в организации, проводящей
пертизу, возможно появление «школы», состоящей из экспертов, при-
лерживающихся преимущественно одного из возможных подходов к
качеству объекта экспертизы. Из-за лимитирования количества
тов в группе может не оказаться специалистов того или иного профиля
и потому не будет обеспечен всесторонний анализ объекта экспертизы и
т.д. Наконец, результаты работы слишком маленькой экспертной
пы .могут не вызвать доверия заказчика экспертизы.
Поэтому экспертизу в условиях жесткого лимитирования ресурсов
лучше не проводить, а поискать другие пути решения стоящей перед
экспертизой задачи.
4. СВОДНАЯ ТАБЛИЦА СПОСОБОВ ОТБОРА ЭКСПЕРТОВ
Группа
способов
1
Способ
выбора
2
Цели, которые, по-видимому.
MOI ут быть достигнуты с
применением способа.
мендации по применению
3
Возможные нежелательные
обстоятельства, присущие
способу. Ограничения по
применению
4
СПОСОБЫ ОПРЕДЕЛЕНИЯ ПЕРВОНАЧАЛЬНОГО КРУГА ЭКСПЕРТОВ
Способы
назначения
ное
ние руководи-
вающим
экспертизу
Удается назначить лиц,
заинтересованных в решении
вопроса и достаточно
муникабельных (или
денных быть коммуника-
бельны.ми)
Могут быть назначены
ритетные лица, решение
которых не вызовет
ных возражений других
сотрудников.
Могут быть Е(азначены
циативные работники,
собные найти
ные высокоэффективные
решения
Эксперты с вьЕсоким
ным положением, как
ло, не склонны овладевать
новой информацией и
ми способами работы.
Эксперты в условиях риска
репутацией или служебным
положением могут
но выдавать искаженную
информацию, чтобы
жать этого риска
117
Продолжение сводной таблицы способов отбора экспергов
1
льные
собы
Способы
взаимных
ций
2
Назначение
по выбору
эксперта-
руководителя
Назначение
комиссией,
состоящей из
телей
экспертных
групп
Отбор по
условию
максимальной
сти
Отбор из
условия
ноты охвата
проблемы
Способ
имных
мендаций
(«снежного
кома»)
3
Удается собрать
стов, хорошо сработавшихся
между собой, что обеспечит
оперативность выполнения
экспертизы.
При опытном руководителе в
экспертной группе Moi ут
быть достигнуты
ся результаты.
В экспертную группу могут
войти специалисты
ного профиля,
щие многосторонность
лиза. Обеспечивается
ный контроль рекомендаций
Максимальной
стью такая группа обладает в
глазах высшего начальства,
не знакомого с ме годам и
группового принятия
ний.
Возможен
ный анализ проблемы с
точки зрения соответствия
нормативным и правовым
актам, явным и неявным
директивам руководства
При правильно.м
нии необходимых сторон
анализа осуществляется
всестороннее рассмотрение
объекта
Удается найти «незримый
коллектив» сработавшихся
между собой специалистов,
который может провести
глубокий анализ проблемы.
Удобно применять при
лизе относительно
ной продукции, когда число
возможных экспертов
домо невелико
4
Ввиду того, что в экспертной
группе будут сосредоточены
представители одной
«школы», неизбежна
ленная односторонность
анализа
Продуктивность работы
может оказаться невысокой
из-за противоречий во
дах различных школ
тов и из-за психологической
несовместимости некоторых
экспертов
Не удается сфор.мировать
экспертную группу из
циативных cneunajwcTOB,
способных решать новые
задачи нетрадиционными
методами
Ввиду невозможности
влечь многих специалистов
одного профиля, подход
экспертов может оказаться
односторонним, отражать
позиции одной «школы»
Может привести к слишком
большему численному
ву экспертной группы, а
иногда разрастание
«снежного кома» не удасгся
остановить
1
J
Продолжение сводной таблицы способов отбора экспертов
2
Способ
имных
ров
В формируемом банке
«кандидатов в эксперты»
образуются подгруппы
пертов, имеющих нееовпа-
даю1пие подходы, что дает
возможное гь провести
имный контроль результатов
Совместная работа
вителей различных
вавшихся групп вряд ли
возможна. Приходится либо
проводить экспертизу в двух
вариантах, либо
ваться олносторониим
лизом.
Полное определение
ных выборов требует
нительного цикла опросов
Способ
довательных
рекомендаций
(«прогнозного
дерева»)
Достигается повышенная
ответственность экспертов за
свои рекомендации.
Объем сформированной
экспертной группы
мально необходим для
ния задач экспертизы
Сформированная экспертная
группа вырабатывает лишь
один вариант решения
блемы экспертизы без
за альтернативных
тов
Способы
выдвижения
Выдвижение
коллективами
ний
Целесообразно применять,
когда решение задачи
пертизы требует учета
ных качеств: возможностей
разработчиков оцениваемой
продукции или связано с
этическими проблемами.
Рекомендуется для
ния разработок с целью
премирования, выдвижения
на выставки и т.п.
Применение возможно лишь
в масштабах организации,
где эксперты могут детально
ознакомиться с условиями
работы авторов оцениваемой
продукции
Выдвижение
сованными
зациями
(способ «кота
в мешке»)
Удается собрать
телей различных
ций, о сотрудниках которых
у организаторов экспертизы
нет никаких сведений.
двинутые эксперты окажутся
достаточно энергичными в
отстаивании интересов своих
организаций
В экспертную группу могут
попасть специалисты с
но совмести.мыми позиция.чи.
Трудно надолго собрать
экспертов в одном месте.
Из-за возможного
венного подхода экспертов
велика вероятность
нального решения задачи
Способ
симального
соответствия
Позволяет моделировать
требования и суждения по
качеству, предъявляемые
различными социально-
3KOHOMH4ecKH.viH группами
населения.
Если экспертная группа
удачно сформирована, то
результаты ее работы могут
сэкономить значительные
средства
Трудно определить характер
требований, предъявляемых
эксперту.
Правильность результатов
работы группы проверить
почти невозможно
119
Продолжение сводной таблицы способов отбора экспертов
1
2
Способ
«фокус-
группы»
3
Применяют для выявления
предпочтений населения
данного региона по качеству
продукции, услуг,
разности нововведений и т.п..
а также решения задач ква-
лиметрического
вания.
4
Требуется большая
рительная подготовка:
мирование состава
ков «фокус-групп»,
товка места проведения
заседании, проведения
скольких заседаний с
пами разно! 0 состава
Требует высокого
сионализма со стороны
низатора
СПОСОБЫ ОТБОРА ЭКСПЕРТОВ ИЗ СФОРМИРОВАННОГО БАНКА ДАННЫХ
КАНДИДАТОВ В ЭКСП ЕРТЫ
Способы.
основанные
на
вании
фициентов
тентности
Оценивание
со CTOpOHbl
коллег
Коэффициент
тентности,
ваемый как
функция
ных оценок
Отбор
тов по
татам
рования
Наиболее простой способ
получения оценки
тентности эксперта, не
бующий бо.тьших
трат со стороны
ров.
Удается найти экспертов,
сгюсобных работать в
пертной группе и имеющих
достаточную (но не
тельно наивысшую)
фикацию
Производит впечатление
научно обоснованной оценки
компетентности отбираемых
экспертов
Удается отобрать
стов, хорошо знакомых с
методическими и
ными документами,
щимися объекта экспертизы
и умеющими их твердо
держиваться.
Удобно ятя применения в
экспертизе, имеющей
ческие аспекты оценивания
Опенка со стороны коллег
может оказаться лишь
кой взаимоотношений экс-
нерюв.
Принцип нри.менения таких
оценок компете1ггнос1и
может вызвать
ную реакцию некоторых
экспертов
Исследованття не ттодтверди-
ли целесообразности
зования коэффициента
петентности для отбора
экспертов. Поэтому
бранная таким способом
экспертная труппа может
оказаться
ной, а время - потраченным
впустую
Инициатива членов
руемой экспертной группы
снижена. Задачи, требуютцис
нестандартного подхода.
решены не будут
120
Окончание сводной таблицы способов отбора экспертов
1
Отбор жс-
пертоп по их
самооценке
Способы,
основанные
на миними-
!ацни
да ресурсов
2
Самооценка
по
ниям
Самооценка
по объект}
экспертичы
Минимизация
расхода
нансов или
минимизация
расхода
мени
3
Удобно в тех случаях, когда
экспср! иза неоднократно
проводится относительно
определенного круга
тов.
Удобно при наличии
точно большого банка чкс-
нертсв, в частности,
тающих в разных городах
или странах
Удается выбрать экспертов,
наиболее способных
водить оценивание данного
объекта в данный момент
времени.
Исключается возможность
ошибки в отнесении объекта
к области знаний
щих экспертов
Удается минимизировать
расходы указанного вида
ресурсов
4
При неправильном
нии направления, к которому
относится оцениваемый
объект, возможны фубые
ошибки в результатах
пертизы
Способ труден и реализации,
так как требует проведения
предварительного опроса
всех кандидатов в эксперты в
крагчайшее время
Возможно поян.чение
«школы» экспериов. осущесз-
вляющих лишь
ний подход к объекту
тизы.
В группе может не оказаться
специалистов того или иного
необходимого профшля
121
Часть IV
ИНДИВИДУАЛЬНЫЙ ОПРОС ЭКСПЕРТОВ
1. ОРГАНИЗАЦИОННЫЕ ЗАДАЧИ
ИНДИВИДУАЛЬНОГО ОПРОСА ЭКСПЕРТОВ
Основной организационной задачей опроса экспертов является
создание условий для наиболее полного и свободного от искажений
выявления информации, имеющейся у экспертов и создание условий для
всестороннего анализа этой информации с разных точек зрения.
Необходимым условием полного и неискаженного выявления
дений экспертов является правильное применение различных способов
опроса в зависимости от конкретных обстоятельств экспертизы. Опрос
может бьгть индивидуальным, когда эксперт отвечает на поставленные
перед ним вопросы не взаимодействуя с другими экспертами, и
вым - ь противном случае. Способы группового опроса рассмотрены в
части V «Операции с экспертной группой».
Б практике квалиметрии применяют следующие способы
дуального опроса:
♦ заочное анкетирование, когда эксперт заполняет карту опроса,
пользуясь только пояснительной запиской;
♦ смешанное анкетирование, при котором эксперт заполняет
ту опроса, пользуясь консультацией со стороны лица, проводящего
опрос;
♦ интервью;
♦ косвенный опрос, при котором эксперт отвечает на серию
вых вопросов, среди которых размещены основные вопросы. При этом
истинную цель опроса эксперту не сообщают.
При проведении опроса обычно рекомендуют соблюдать принцип
нейтральности, согласно которому не только вопросы эксперту должны
быть сформулированы в нейтральной форме, но и лицо, проводящее
опрос (пои очной форме), никак не выражало своей заинтересованности
в том ели ином варианте ответа. Первая рекомендация, как будто бы,
не вызывает сомнений. Действительно, нельзя спрашивать: «По каким
показателям образец фирмы А лучше, чем образец фирмы Шу>, так как
это явно ориентирует эксперта на определенное предпочтение. Следует
сформулировать вопрос, например, так: «Приведите, пожалуйста,
можно более полный перечень показателей, по которым следует
нивать образцы данной продукции», не упоминая конкретно об
цах А]\ В.
\11
Однако вторая рекомендация, о невыражении заинтересованности
лица, проводящего опрос, представляется не столь бесспорной По
шим наблюдениям, при индивидуальной работе с каждым экспертом
более целесообразно выражать умеренное согласие с суждениями
перта, подчеркивая это кивком головы и постановкой уточняющих
вопросов типа «Почему?». Такая тактика больше способствует
нию имеющихся у эксперта данных и его критических замечаний, чем
строгая нейтральность опроса. Конечно, при групповом опросе
тов выражение заинтересованности недопустимо.
Важное требование к лицу, проводящему опрос - дословно
ровать все высказывания эксперта, особенно не вполне понимаемые
опрашивающим. В ходе опроса не всегда удается понять аргументацию
эксперта, но следует сохранить ее запись, т.к. она весьма часто
вится понятной и важной в ходе дальнейшей работы. Если запись
изводится на диктофон, следует предварительно спросить согласие
перта (которое всегда дается).
При осуществлении всех способов очного опроса не следует
миться минимизировать нагрузку на эксперта или сократить время
роса за счет беглого и невнимательного ответа на вопросы.
ция опроса должна быть такой, чтобы эксперт был предупрежден о
необходимости выделения определенного времени (от 1 до 2 часов) для
работы с опрашивающим. Следует решительно пресекать попытки
перта совместить ответы на вопросы организатора с занятием другими
делами, например, ответами на телефонные звонки. В случае, если
перт не может выполнить это требование, следует перенести опрос на
другое время. Так же следует поступить, если эксперт явно устал и не
может продуктивно работать.
Рекомендации противоположного характера («не перегружать
перта» и т.п.), встречающиеся в некоторых работах, нам
ся ошибочными, т.к. они не позволяют решить основную
онную задачу опроса экспертов (см. в начале п. 1).
2. СПОСОБЫ ОПРОСА
2.1. Заочное анкетирование
2.1.1. Общие рекомендации по применению
Этот способ применяют во всех случаях, когда необходимо
ся возможно более полной взаимной изолированности экспертов. Одна-
123
ко в большинстве случаев члены экспертной группы лично знакомы
друг с другом, могут общаться в процессе экспертизы и потому
лютная разобщенность вряд ли достижима. Практически достижима
относительная разобщенность, когда члены экспертной группы
преждены о нежелательности взаимных контактов в процессе работы и
не стремятся нарушить это требование. Можно указать следующие
ложительные стороны способа заочного анкетирования:
1) заочное анкетирование позволяет достичь наибольшей, по
нению с другими способами, относительной изоляции экспертов. Это
имеет важное значение для решения некоторых задач организации
мена информацией между экспертами (например, если для обмена
дует использовать только экстремальные суждения или оценки);
2) способ позволяет получить, по-видимому, наиболее
ные ответы, т.к. эксперт практически не ограничен во времени.
Основные недостатки заочного анкетирования состоят в следующем:
1) осуществление способа требует значительных затрат времени.
Так, однократный опрос, проводимый с пересылкой писем по почте,
занимает не менее месяца;
2) имеет место неполный возврат анкет: без напоминаний и друг их
дополнительных мер можно надеяться получить не более 50 -н 60 %
зосланных анкет. Нужно отметить следующее; анкеты следует разослать
специалистам, с которыми предварительно проведена беседа и получено
их принципиальное согласие на участие в экспертизе. Если же анкеты
разосланы без предварительной договоренности, то возврат будет
крайне низким;
3) в связи с неполным возвратом анкет возможен эффект селекции:
на анкеты будут отвечать преимущественно эксперты,
щиеся определенной ориентации по проблеме экспертизы.
Пример. По заданию Миннауки РФ был проведен опрос
телей НИИ одной из отраслей относительно целесообразности развития
ряда направлений исследований в России. Из опрошенных лиц ответили
около 45 %. Они оказались почти исключительно представителями тех
направлений, которые в последнее время получали наибольшую
держку министерства. Представители других направлений, получавших
слабую поддержку, предпочли не ответить на анкету, несмотря на
щанное вознаграждение, т.к. не хотели портить и без того не слишком
хорошие отношения с министерством, от которого зависит
вание их работ, косвенным образом критикуя его научную политику.
4) важным недостатком заочного анкетирования является
можность своевременно уточнить постановку вопроса, непонятного
124
эксперту, что может привести к тому, что некоторые эксперты
вильно поймут вопрос и их ответы не будут соответствовать цели работы.
Все эти обстоятельства могут привести к тому, что при внешней
убедительности проведенного опроса, значительном числе опрои1енных
и т.д., его результаты окажутся грубо ошибочными. Кроме того,
низатор опроса, хорошо владея его приемами, может, при желании,
получить любой заранее заданный результат, причем методическую
порочность такой экспертизы будет весьма трудно заметить и доказать.
Приведем один исторический пример, который, хотя и не относится
непосредственно к квалиметрии, показывает, как сильно можно
зить истину, умело используя заочное анкетирование.
Известный в прошлом Президент Академии сельскохозяйственных
наук Т. Д. Лысенко, стремясь доказать эффективность предложенного
им метода повышения урожайности - яровизации, разослал в тысячи
колхозов анкету, в которой было предложено указать площади,
ные яровизированными семенами, прирост урожая на этих площадях и
т.п. Между тем, руководители хозяйств старались яровизацию не
менять из-за ее фактической неэффективности и резкого возрастания
трудозатрат на обработку семенного материала. Но в условиях
тивных указаний «сверху» и возможных репрессий за отрицательные
результаты, председатели и агрономы предпочитали указывать в
тах небольшую прибавку урожая, якобы обусловленную яровизацией.
Просуммировав эти числа, Лысенко смог «доказать» эффективность
своего метода.
Понятно, что этот успех был обусловлен, в основном, классически
неверно использованной методикой анкетного опроса. Организаторы
обеспечили взаимную изоляцию опрашиваемых (что не дало им
можность выступить единым фронтом) и поставили «экспертов» в
вия, когда негативный ответ мог повлечь неприятности. Весьма
можно, что такой результат не был бы получен, если бы опрос
ли, допустим, способом смешанного анкетирования, используя
ствие руководителей хозяйств на каком-либо съезде.
В целом, несмотря на то, что способ заочного анкетирования
пользуют относительно часто, присущие ему недостатки заставляют
искать ему замену каждый раз, как только это возможно.
2.1.2. Структура анкеты
Анкета для заочного анкетирования состоит из пояснительной
писки и карты опроса.
Б пояснительной записке указывают цель и процедуру
ния, на конкретных примерах показывают, как заполнять графы карты
125
опроса, при необходимости указывают группы потребителей или
пы оцениваемой продукции, приводят другую информацию, которая
может понадобиться экспертам при выполнении оценочных операций.
Объем пояснительной записки должен быть минимальным, не более 1,5
страницы.
Совершенно ненужно и недопустимо многословно объяснять
чины анкетирования, указывать и разъяснять задачи, которые хочет
решить организатор и т.п. Пояснительная записка должна начинаться с
краткой, в одно предложение, формулировки цели экспертизы и
нения способов ответа на вопросы.
В карте опроса приводят определенным образом организованный
набор вопросов, для каждого из которых предусмотрена форма ответа,
одна из следующих:
♦ все возможные варианты ответа приведены в карте опроса н
эксперты лишь выбирают наиболее подходящий по их суждению;
♦ ответ имеет количественную форму;
♦ эксперты отвечают в свободной форме.
Если вопросы по смыслу можно разделить на группы (например,
вопросы, касающиеся характеристики потребителей и вопросы,
щиеся характеристик продукции), то следует объединить их в отдельные
группы, снабдив каждую соответствующим заголовком.
2.1.3. Порядок расположения вопросов в анкете
При проведении анкетного опроса (любым способом) существенен
порядок расположения вопросов. Вопросы в анкете рекомендуется
полагать не в случайном порядке, а по значению для проблемы, по
пени общности или так, чтобы обдумывая ответы на первые вопросы,
эксперт подготавливался к ответу на последующие вопросы. Это
ляет эксперту уточнить или исправить постановку задачи экспертизы,
если формулировка вопросов не способствует ее решению. Для
затора опроса, который не всегда может профессионально разбираться
в специальных вопросах формирования качества конкретной
ции, создается возможность устроить самоконтроль понимания
блемы.
Пример. Допустим, при исследовании причин, влияющих на
ство работы (надежность) установок ЭЦН, экспертам предлагали
нить в баллах негативное влияние факторов, расположенных в следуЮ'
щем порядке:
126
• недобросовестность монтажников:
• осложненные погодные условия во время монтажа установки;
• некомплектность монтажного инструмента;
• низкое качество крепежных деталей для соединения модулей
установки;
• низкое ка чество деталей и узлов погружного агрега та.
Такой порядок расположения факторов ориентирует эксперта,
в первую очередь, на обдумывание внешних, по отношению к самому
объекту анализа, причин, могущих вызвать сбои в работе. Эксперт
предположит, что целью разработки является выработка некоторых
организационных мер по повышению надежности. Исходя из этого,
эксперт главное внимает уделит обоснованности оценок по факторам,
у1юмянутым первыми и, может быть, укажет другие причины,
ные с работой монтажников и обслуживающего персонала. Если же
вопросы расположить в обратном порядке, то эксперт сосредоточит
основное внимание на факторах техногенной природы.
Пели исследование проводится с целью повышения надежности
боты уже созданного оборудования, то приведенный порядок располо-
жер|ия факторов правилен. Если же целью является разработка
жений по повышению качества изготовления элементов УЭЦН, то
торы следует расположить в ином порядке.
В некоторых руководствах, посвященных опросу экспертов,
зано противоположное суждение, а именно то, что вопросы эксперту
следует задавать в случайном порядке, с тем, чтобы оценки по одному
вопросу не влияли на оценки по другому. Нам это представляется
правильным. Мы исходим из того, что оценки экспертов тем более
ны, чем яснее для них цель экспертизы. Поэтому и расположение
сов должно способствовать лучшему пониманию этой цели. Если же
эксперта дезориентировать относительно цели работы (как, например,
мы это делаем при «косвенном опросе», п. 2.5), то он будет проставлять
оценки, исходя из придуманной им цели, или же из своей
ванности в определенном результате экспертизы, что приведет, в
шем случае, к повышению рассеяния индивидуальных экспертных оценок.
С увеличением числа экспертов растет и число лиц, неправильно
понявших цель работы или небрежно относящихся к своим
стям. Поэтому встречающиеся в литературе утверждения типа «чем
больше экспертов, тем точнее оценки», грубо ошибочны.
Опыт нашей работы ховорит о том, что как бы тщательно ни была
отработана постановка вопросов в опросном листе и как бы подробно
ни была составлена пояснительная записка, при заочном анкетировании
127
всегда обнаружится 5 + 10 % экспертов, которые неправильно поймут
вопрос и представят неадекватные ответы.
2.2. Смешанное анкетирование
Этот способ применяют в тех случаях, когда предстоит разъяснять
эксперту многие неясные или нечетко сформулированные вопросы
кеты. Заполнение анкет в присутствии организатора упрощает
товку пояснительной записки, а также позволяет значительно сократить
время операции, исключить воз.можность неполного возврата анкет.
Смешанное анкетирование может быть проведено индивидуально с
каждым экспертом или на собрании экспертной группы. Важнейшие
недостатки, присущие способу, следующие:
1) в процессе разъяснения отдельных вопросов организатор
вольно ориентирует экспертов на собственное понимание желаемою
ответа;
2) в присутствии организатора (или других членов экспертной
группы) каждый эксперт может предложить оценки, отличающиеся от
тех, которые он предложил бы при обдумывании в одиночестве;
3) в условиях ограниченного времени обдумывание ответов, по-
видимому, бывает не столь тщательным, как при заочном анкетировании.
Все же, в целом, способ смешанного анкетирования значительно
более удобен для решения задач оценивания качества, чем заочное
кетирование. Смешанное анкетирование следует стремиться применять
особенно в тех ситуациях, когда условия работы позволяют собирать
экспертов и регулярно работать с ними.
2.3. Мобильное анкетирование
Этот способ опроса, сочетающий смешанное и заочное
вание, удобно применять в тех ситуациях, когда число специалистов,
способных выступать в роли экспертов, крайне невелико C-5 чел.).
собом мобильного анкетирования удобно производить разработку
нормативных документов, методик оценивания качества, выполнять
квалиметрический анализ сложных объектов, типа вариантов
ных решений и т.п.
При этом способе опрос экспертов проводят индивидуально с
бильно меняющимся от эксперта к эксперту составом вопросов.
низатор, во время очной встречи, разъясняет эксперту цель работы и
результаты, достигнутые в процессе предшествующего опроса других
128
жспертов. Затем он передает эксперту полученный к этому моменту
материал (фрагменты разрабатываемого документа) и вопросы,
товленные для данного эксперта его предшественником, - для
шей работы. Опрашиваемый эксперт через определенный срок
щает организатору разрабатываемый документ со своими уточнениями,
дополнениями, возражениями и вопросами, которые организатор
жен передать следующему эксперту.
Опрос идет по кругу, причем лучше, чтобы каждый эксперт не знал,
кому поступают его материалы и от кого он получает вопросы. Это
снижает эффект конформизма. После нескольких циклов документ
работан и опрос окончен.
Мобильное анкетирование позволяет значительно увеличить объем
и качество информации, получаемой от экспертов и фиксируемой в
других способах путем группового опроса по общей для всех экспертов
анкете. При опросе по единой анкете содержание и объем извлекаемой
из экспертов информации фактически зависят от составителя анкеты
или его консультанта, уровень знаний которых может оказаться ниже
уровня знаний высококвалифицированных специалистов в области
предмета экспертизы (т.е. тех же экспертов). Поэтому основной объем
индивидуальной информации по изучаемому вопросу может оказаться
невостребованным, что отрицательно сказывается на качестве
татов работы, реальности их внедрения в практику.
Заполнение карты опроса с намеченным в общих чертах
том работы, серией вопросов, вытекающих из проделанной работы и
предположительных ответов, ведущих к намеченной цели, стимулирует
эксперта на проявление максимальной компетентности. Кроме того,
неясные и спорные вопросы он может включить в анкету для
дующего специалиста.
Способ мобильного анкетирования требует, однако, больших
трат времени со стороны организатора, которому приходится
вать неоднократно с каждым экспертом, готовить для каждого заново
карту опроса и, следовательно, фактически проводить 10 и более туров
экспертизы.
2.3.1. Вариант мобильного анкетирования - способ «круговой лапты»
Нсли задача экспертов состоит в аргументированном ответе на
просы анкеты, а число экспертов невелико C-5 чел.), то
щую информацию и анкету вручают независимо друг от друга каждому
эксперту (желательно, чтобы эксперты не знали, с кем они сотруднича-
129
ют). По заполнении анкету первого эксперта передают второму,
го - третьему и т.д. по кругу. Эксперты могут учесть аргументы коллег
и предложить новые оценки. Затем анкеты вновь передаются по кругу.
Опрос заканчивается когда каждый эксперт получает обратно тот
земпляр анкеты, который он имел вначале.
Способ «круговой лапты» автоматически обеспечивает
ванность суждений и глубокий анализ каждым экспертом объекта
оценивания.
2.4. Интервью
Интервью наиболее удобно для организатора, так как не требует ни
подготовки, ни карты опроса, ни пояснительной записки. Нужен лишь
небольшой план, список вопросов, которые организатор собирается
задать эксперту. Интервью проводят по этому плану, но всегда с
ными отступлениями от него. Не обязательно в ходе интервью получить
ответ на все подготовленные вопросы. Следует способствовать
мальному развитию экспертом его мыслей при ответах на те вопросы,
которые наиболее глубоко изучены и продуманы сами.м экспертом,
наиболее интересны для него. Не рекомендуется стремиться получить
ответы эксперта на те вопросы, в которых он чувствует себя неуверенно
или же не хочет отвечать по каким-нибудь другим причинам.
При соблюдении этих правил в ходе интервью можно получить
большое количество оригинальных суждений по проблеме экспертизы.
Появляется возможность уточнить правильность постановки основной
задачи экспертизы и выяснить варианты подходов к ее решению.
тервью можно проводить в начале экспертизы как операцию,
щую ориентировку с генерацией (см. ч. V). По результатам проведенных
интервью может быть сформирован исходный массив данных;
пов оценивания качества объекта, факторов, влияющих на это качество
и т.п., которые будут использованы на дальнейших этапах экспертизы.
Способом интервью можно решить некоторую квалиметрическую
задачу в той ситуации, когда по условиям работы каждого эксперга
можно опросить только один раз, причем в удобное для него время.
Например, предстоит разработать предложения по улучшению
боты крупного управленческого аппарата (территориального
ва, министерства и т.п.). Эксперты, назначенные приказом «Заказчика»,
которыми являются высокопоставленные и считающие себя крайне
занятыми чиновники, согласны участвовать в экспертизе один-два раза
(интервью продолжается до 45 мин.), причем в удобное для них время.
Организатор должен в этих условиях сформировать массив предложе-
130
НИИ. провести экспертный анализ вариантов перестройки работы и
лучить некоторые количественные оценки, характеризующие
мальный вариант перестройки. Возможный способ действий
тора проводить интервью с экспертами, постепенно изменяя цель
роса. Соответственно меняются вопросы, предлагаемые каждому
дующему эксперту.
Первых 7-10 экспертов опрашивают относительно возможных
тей перестройки работы управленческого аппарата. Д.алее организатор,
обнаружив отсутствие принципиально новых предложений, проводит
(без участия экспертов) обобщение полученных данных и следующих
10-12 экспертов просит привести критические замечания по тем или
иным из выдвинутых предложений (см. прил. 6).
Когда критические замечания тоже исчерпаны, следующим 8-10
экспертам можно предложить проранжировать Е1ыдвинутые
ния с учетом сделанных замечаний. И, наконец, завершаьощим этапом
экспертизы может служить выработка тех или иных количественных
характеристик оптимального варианта перестройки с помощью
тов, не принимавших до сих пор участия в работе.
Нетрудно заметить некоторую аналогию изло.женного способа со
способом мобильного анкетирования. Разница здесь в том, что, во-
первых, опрос каждого эксперта происходит один-два раза и он не
певает втянуться в ход экспертизы, не имеет стремления глубже
мать свои предложения и оценки. Во-вторых, из-за того, что эксперты,
выдвинувшие предложения, лишены возможности их отстаивать, а
нивание предложений выполняют другие эксперты, нет гарантии в
тимальности разработанных в итоге предложений.
Поэтому способ последовательных интервью, конечно, слабее
соба мобильного анкетирования. Но мы считаем нужным упомянуть о
последовательньгх интервью, так как работать организатору-квалимет-
рологу приходится в самых разнообразных условиях.
2.5. Косвенный опрос
Косвенный опрос применяют в тех случаях, когда по 3T;,i4ecKtf.v!
ображениям или по соображениям секретности истинная цель
зы не может быть сообщена экспертам. Собственно говоря, хосвенный
опрос не есть какой-либо особый способ опроса, его выполняют одним
из вышерассмотренных" способов: заочным либо смешанным
ванием или интервью.
При этом основные вопросы, ответ на котор-^ые представляет
рес для заказчика экспертизы, помещают среди многих нопросон, по-
ni
добранных так, чтобы дезориентировать эксперта, создать у него
ное представление о цели опроса. Среди этих «посторонних» вопросов
могут быть тестирующие, направленные на то, чтобы выяснить степень
знакомства эксперта с истинным предметом экспертизы.
Недостатки этого способа опроса следующие:
1) благодаря тому, что эксперт не знает истинной цели опроса, он
формирует в своем сознании другую, ложную цель и исходя из этого
понимания, высказывает свои суждения по предлагаемым вопросам. Но
известно, что суждения по одному и тому же вопросу решающим
зом зависят от того, какую цель опроса имеет в виду эксперт (см.
мер 1.1,4. III). Поэтому, получив ответы эксперта, организатор и
чик экспертизы не могут быть уверены в том, что такие же ответы
перт дал бы, будь ему известна истинная цель опроса;
2) значительное время уходит на подготовку опроса, подбор
кающих и тестирующих вопросов, смысловой анализ материала.
В целом, глубокий анализ объекта оценивания методом косвенного
опроса выполнить невозможно. Способ весьма трудоемок и всегда
никают сомнения в надежности полученных результатов. Поэтому
менять косвенный опрос в задачах квалиметрии следует в
ных случаях.
ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ
Существует следующее суждение: зачем нужны какие-либо
альные .методики опроса? Достаточно найти компетентных
стов, задать им нужные вопросы и будут получены вполне
рованные ответы.
Надо сказать, что это суждение совершенно верно. Результаты
дут получены, даже если проводить опрос без всякого знания способов
работы с экспертами. Но будут ли результаты соответствовать
ленной задаче? Можно ли будет убедительно показать, что полученные
от экспертов сведения не подверглись никаким искажениям в процессе
получения и обработки и полученный результат действительно
ставляет собой то, что можно назвать обобщенным суждением
ной группы в отношении цели работы?
Мы приводили примеры того, как сильно можно исказить истину,
опираясь на оценки, по всей видимости, наиболее компетентных
циалистов. Так, в «экспертизе» по поводу эффективности яровизации
(см. п. 2.1.1) лишь наличие методических неточностей выполнения оп-
132
роса могло навести на мысль о возможности заведомой грубой
фикации.
Во многих задачах. реи1аемых средствами групповой экспертизы.
нет и ной возможности проверить правильность предлагаемого
ния, кроме методической обоснованности всех операций при
нии работы.
Но надежно ли то. что мы вкладываем в понятие методической
обоснованности?
Ввиду того, что область знания о работе с экспертными группами,
«экспертология» лишь недавно возникла, тем более нет возможности
10ворить о завершенности ее методологии. На данный момент, как
представляется, методическая обоснованность проведенного
ального опроса экспертов определяется тем, что организатор может
уверенно ответить на следующие вопросы:
♦ чем обеспечена полнота выявления сведений по предмету
пертизы? (Во всяком случае, не громадным количеством опрошенных
специалистов, что заведомо свидетельствует о невостребованности
чительной части информации, имеющейся у каждого из них);
♦ как было обеспечено свободное от искажений высказывание
ждого эксперта? (Здесь должно быть учтено отсутствие давления на
экспертов, правильность постановки вопросов, правильность выбора
способа и формы ответа, правильность регистрации ответа);
♦ как были обеспечены возможность и желание каждого эксперта
проявлять компетентность? (Видимо, здесь должны быть
ны все мотивы, связанные с работой в составе экспертной rpynru.i. по
которым эксперт может стремиться к получению наилучшего результата).
Организатор также должен и.меть ответы и на другие вопросы,
занные с методикой проведения конкретной экспертизы.
133
Часть V
ОПЕРАЦИИ С ЭКСПЕРТНОЙ ГРУППОЙ
Правильный отбор экспертов - необходимое, но недостаточное
ловие эффективной работы группы. Как бы не были хороши эксперть:.
неправильная организация их работы может привести к тому, что
работанная методика оценивания качества или же экспертная система
подготовки решений окажутся неудачными.
Правильная организация работы экспертных групп включает,
ме рационального выбора структуры экспертной группы, также и
нованный выбор последовательности экспертных операций и
ски правильное выполнение каждой операции.
В этой части рассмотрены виды операций, применяемых в квали-
метрической экспертизе, способы их выполнения, и приведены
дации по выполнению. Несмотря на значительный уже возраст квали-
метрии - более 30 лет - мы пока не слишком продвинулись в знании
свойств групповой экспертизы: экспериментальных исследовании,
зывающих результаты выполнения экспертных операций со способами
и особенностями их выполнения пока еще явно недостаточно. Хотелось
бы, чтобы в дальнейшем возросло число исследований на эту тему.
ка же приводимые ниже рекомендации не следует воспринимать дог.ма-
тически, но необходимо корректировать их с позиций собственного
опыта.
1. ОСНОВНЫЕ ЭКСПЕРТНЫЕ ОПЕРАЦИИ
И ЗАДАЧИ ОРГАНИЗАТОРА
Групповая экспертиза заключается в последовательном проведении
серии экспертных операций.
Экспертная операция-~ организационно выделенный этап рабогы с
группой экспертов, в ходе которого достигается законченное
зование экспертной группой информации, относящейся к решаемой
задаче, из одной формы в другую.
По целевому назначению в квалиметрии выделяют операции
ентировки, генерации, назначения оценок и обмена информацией между
экспертами (коммуникации). Статистическую обработку выполняют
после операций генерации или назначения оценок без
го участия экспертов.
Каждая экспертная операция может быть выполнена различными
способами, которые по-разному влияют на получаемые в результате
134
операции суждения и оценки. Далее, рассмотрены наиболее
тельные способы выполнения экспертных операций и их влияние на
свойства получаемых суждений и оценок.
Приступая к проведению групповой экспертизы, организатор
жен составить общий план работы, но не обязательно при этом
навливать совершенно точные способы выполнения каждой операции:
достаточно представить себе только одну-две ближайшие. После
чания каждой операции следует обработать результаты, решить вопрос
о целесообразности коррекции основной цели экспертизы, дать точную
формулировку вопросов, решаемых в ходе следующей операции, и
брать способ ее проведения. По мере уточнения представлений о
чах отдельных операций, групп операций и этапов, рекомендуется
формировать об этом экспертов так, чтобы эксперты в процессе работы
видели логическую последовательность действий, могли способствовать
уточнению цели экспертизы и улучшению качества обработки
мации на каждом этапе.
На всех этапах эксперты могут высказывать любые свои суждения,
в том числе и слабо аргументированные. Желательно, чтобы каждая
точка зрения или оценка каждого эксперта была рассмотрена
ной группой и только после этого принята или отклонена. Также
бежно появление данных со стороны, не от экспертов. Зачастую
можно подвергнуть подробному анализу все данные, получаемые в ходе
экспертизы. Поэтому по окончании каждой операции организатор
шает, какие из имеющихся данных имеют достаточные основания и
должны быть использованы на следующем этапе и какие следует
ключить из рассмотрения. Это определяет ответственность
ра за выбранный путь достижения цели экспертизы и ее результаты.
Способность создавать условия для выявления точек зрения
пертов и всестороннего анализа этих точек зрения в ходе экспертизы
является до некоторой степени искусством, которым следует овладеть
специалисту по управлению качеством.
Иногда говорят: «Допустим, группе экспертов, с которыми не
ведено никаких «ориентировок» и т.п. разослана анкета, на вопросы
которой они отвечают. Где же здесь необходимость выполнения всех
этих «генераций», «коммуникаций» и др.?».
Ответ здесь следующий: «Тот, кто составил пояснительную записку
(инструкцию) по заполнению анкеты, заменил собственным суждением
операцию ориентировки и вырабатываемую в ходе ее точку зрения на
конечную цель работы. Гот. кто составил перечень вопросов - заменил
операцию генерации». Эти «организаторы» сочли, что их понимание
135
цели работы (выраженное в «инструкции») является единственно
ным и наиболее полным. Они же решили, что состав вопросов,
женных ими экспертам, вполне достаточен для достижения
ной цели и никем из специалистов не может быть дополнен.
женные ими формулировки вопросов безупречны и вопросы будут
наково поняты всеми экспертами. Суждения экспертов не могут быть не
согласованы и поэтому планировать в какой бы то ни было форме
суждение - бессмысленно. Этим лицам осталось только самим
нить соответствующие графы анкеты и экспертов можно вообще не
опрашивать. Результаты такой «экспертизы», естественно, отражают
лишь то, что в состоянии представить себе организаторы. Основное
преимущество групповой экспертизы - объединение знаний и таланта
многих специалистов - оказывается не использованным.
Поскольку никакую групповую экспертизу, как правило, не с чем
сравнить и нельзя повторить, о качестве разработанной экспертной
системы - квалиметрической или иного назначения - можно судить
лишь по методической безупречности выполнения ее разработки. Если
при обсуждении способом «атаки разносом» (см. п. 4.3.4) не получено
существенных критических замечаний, разработку можно считать
полненной хорошо, но это бывает редко.
Другой способ можно применить, если существует объективный
критерий правильности выбора каждого решения в разработанной
пертной системе. Тогда, перебрав все возможные сочетания значений
использованных частных показателей и сравнив полученные решения с
истинными, можно получить оценку качества разработки.
Несколько слов об оформлении результатов экспертизы.
Общей закономерностью любой многотуровой экспертизы является
то, что цель ее, сформулированная вначале, претерпевает некоторые
из.менения по этапам. Эти изменения сказываются и на постановке
дельных задач, и на формулировке вопросов. Поэтому при оформлении
результатов для заказчика нужно перечислить, хотя бы конспективно,
все основные варианты или группы вариантов предложений, решений и
оценок экспертов. Необходимо указать, какие из этих предложений
рассмотрены более подробно, как наилучшие, по каким критериям
ло выбрано окончательное решение. Такое оформление результата
гда позволяет вернуться к ранее предложенным вариантам и, не
чено, оценка их роли изменится. Впоследствии, при окончательном
оформлении результатов экспертизы эти материалы могут оказаться
более полезными для заказчика, чем даже наилучшее решение,
ния выработки которого остаются тайной организатора.
136
2. ОБЩИЙ ПЛАН ГРУППОВОЙ ЭКСПЕРТИЗЫ
2.1. Типичная последовательность экспертных операций
Типичный план групповой экспертизы выглядит следующим образом:
ровка
ция
Статистическая
обработка
Назначение 1
оценок г*
кая обработка
Обмен информацией 1
между экспертами ,'
Окончательные
результаты
Рис 2.1. Схема последовательное!и операций групповой экспертизы з общем случае
Так, например, применяемая в Институте технич1еской эстетики
тодика «ОКАЭГ» (оценка качества экспертом и группой),
ченная для оценивания эстетических свойств товаров, начинается с
лиза представленных материалов, который выполняе г ведущий эксперт.
Он подбирает данные о мировом рынке оцениваемого товара, выбирает
два-три эталона для сравнения, составляет предварительный перечень
эстетических показателей качества, то есть готовит ор)иентирующую
информацию (рис. 2.2).
исполнитель
Вед) щий эксперт
Эксперты
индивидуально
Рабочая группа
Группа экспертов
Рабочая группа
Группа экспертов
Ведущий эксперт
ОПЕРАЦИИ
Подготовка ориентирующей инфор.ч ации
Дополнение и корректировка списка эстегических
свойств и показателей
Обобщение представленных эксперта.ми ;1анных. Пол-
готовка материалов дг,(я обсуждения
Обсуждение результатов. Определение согласованной
части. Назначение оценок
Обработка оценок. Выявление рассогласованных
нок и спорных вопросов
Обсуждение спорных вопросов. Повтор>чое назначение
оценок по остаточным показателям
Утверждение по.тученных результатов (либо их
ректировка и возврашеные на обсуждение)
Рис. 2.2. Последовательность операций пс .методнК)' ОКАЭГ
137
После первого заседания («ориентировка») эксперты
но дополняют и корректируют материалы, представленные ведущим
экспертом («генерация») и после статистической обработки проводят
обсуждение («обмен информацией») и назначают оценки качества по
согласованной части показателей. Рабочая группа вновь выполняет
статистическую обработку, выявляя рассогласованные оценки и
лируя оставшиеся нерешенными вопросы. После повторного заседания
экспертной группы и достижения согласия ведущий эксперт (который
также участвует в заседании) утверждает результаты либо не
ется с ними и назначает новое обсуждение.
Повторное осуществление операций обсуждения и назначения
нок, называемое «итерацией», является принципиальным элементом
групповой экспертизы. Именно благодаря проводимым обсуждениям
(итерациям) создается возможность объединить знания и способности
многих специалистов.
При разработке конкретных экспертных систем отдельные
ции могут быть совмещены во времени. Например, проводимое на
дании экспертной группы обсуждение по способу «ОКАЭГ» включает
назначение оценок. В ряде случаев приходится повторять отдельные
операции. Рассмотрим практический пример.
Пример 2.1. При разработке методики оценивания качества
водственных участков были использованы операции представленные на
рис. 2.3.
Мы не будем обсуждать рациональность такой организации
пертизы, так как нас интересует ее общий план, который выглядит, как
показано на рис. 2.4.
Здесь на рис. 2.4 можно видеть, что ориентировка редуцирована и
совмещена с первой операцией генерации. Это стало возможным
му, что эксперты (сотрудники НИИ гигиенического профиля) были
вполне знакомы с постановкой задачи. Кроме того, генерация была
выполнена дважды, так как вопреки рекомендациям квалиметрии,
чале был сформирован перечень комплексных показателей, а затем -
частных. Дважды выполнялась и циклическая итерация. Тем не менее
общий состав и гюследовательность экспертных операций совпадает с
рассмотренной общей схемой (рис. 2.1).
Итак, общая последовательность экспертных операций сохраняется
как при выполнении непосредственного оценивания качества
ции, так и при разработке квалиметрической методики. Однако способ
выполнения отдельных операций в каждой разработке выбирает
низатор. Способ обусловлен постановкой задачи, видом доступной
информации и особенностями того учреждения, под эгидой которого
проводится разработка.
138
ОПЕРАЦИИ
КОММЕНТАРИИ
И
Экспертам были розданы анкеты,
держащие квалиметрическое опреде.пе-
ннс понятия «качества» и просьбу ука-
laib факторы, формирующие качество
прон:1вояствснной среды на участках
Совмещение операций ориенгиролки
и генерации. Этими обобщенными
факторами оказа.>1ись «планировки
помещений», «загроможденное гь
проходов», «микрок.шмат»,
«освещенность», «вибрашюннс)-
акустический режим» и др.
2 I Сост авлен сводный список факторов | Статистическая обработка
Экспертам было прел-южено определить
ко«и1лекс показателей,
щих каждый фактор
ripoBc.icHO обобщение показателей,
характеризующих каждый фактор
Эксперты назначили оценки «весомости»
частных показателен
Индивидуальные экспертные оценки
проверены на внутреннюю
чивость и согласованность
I
Д.тя несогласованных оценок проведено
обсуждение причин рассогласованности с
возвращением на п. 5, посте достижения
сог.шсованностн - на п. 8
Построение графиков изолированного
В.1ИЯНИЯ значений каждого частного
показателя на комплексную оценку
качества
9 Проверка графиков на согласованность
и построение обобщенных графиков
Для несогласованных графиков
но обсуждение причин
сти с возвращением на п. 8, после
жения согласованности - на и. 11
Оформление разработанной методики
Генерация. Например,
«микроклимат» характ еризова. 1и:
температура воздуха, радиационнаи
температура, градиенты гсмперату-
ры, относительная влажность,
подвижность воздуха
Статистическая обработ ка
Операция назначения оценок
Статистическая обработка
Коммуникация. Возможен переход
на новую итерацию
Назначение оценок
Статистическая обработка
Коммуникацин. Возможен nepc!i:oa
на итерацию
Окончательное оформ.1ение
результатов
Рис. 2.3. Содержание операций в методике оценивания качества пpoизвoдrтвeннo^i сре^г.ы
1.39
Ориентировка
Генерация
факторов
1
Назначение
оценок
весомости
,
>
—►
ческая
обработка
ческая
обработка
''
Коммуникация
—»
—►
Генерация
частных
зателей
Построение
кривых
влияния
-►
ческая
обработка
ческая
обработка
1'
Коммуникация
Окончательный оезультат
Рис. 2.4. Схема последовательности операций при разработке методики гигиенической
оценки качества производственной среды
2.2. Пилотажная экспертиза
Специальную экспертную процедуру - пилотажную экспертизу
выполняют в тех случаях, когда организатор не может уверенно
брать способ формирования экспертной группы или способ опроса
пертов, или он не уверен в правильности постановки отдельных
сов, на которые должны ответить эксперты.
При проведении пилотажной экспертизы организатор должен
пользовать нескольких кандидатов в эксперты, более доступных и
муникабельных, которых он лично опрашивает по подготовленной
анкете, фиксируя не столько их ответы на вопросы анкеты, сколько
замечания по материалу ориентировки, содержанию анкеты и т.п. Здесь
приходится проводить опрос, совмещая ориентировку и назначение
оценок, причем частично по вопросам, предлагаемым опрашиваемым
специалистом. Такой опрос позволяет скорректировать
мые материалы и правильно выбрать форму работы с экспертами.
140
3. ОРИЕНТИРОВКА
3.1. Сущность и роль ориентировки
Ориентировка состоит в снабжении экспертов информацией по
анализируемой проблеме, полученной из внешнего источника, в
сти, от заказчика экспертизы. Как правило, ориентировку проводят
один раз, в начале экспертизы. Операция ориентировки имеет
щее назначение: уточняется сформулированная заказчиком генеральная
цель экспертизы, проверяется принципиальная правильность на.мечен-
ного пути достижения цели, у экспертов создается определенная
тация в отношении проблемы и принципов подхода к ее решению,
торые должны быть основополагающими в дальнейшей работе
пертной группы.
Чем ответственнее задача экспертизы, тем большую роль играет
подбор ориентирующей информации. В некоторых японских фирмах
созданы специальные аналитические группы, занимающиеся только
подготовкой ориентирующей информации для экспертов, причем
следние собираются раз в год и решают, в частности, вопрос о путях
повышения качества продукции. В условиях России, особенно в период
перехода к рынку, аналитические группы подобного назначения
сообразно создавать в крупных управленческих организациях
ного или республиканского уровня), располагающих банком экспертов,
систематически привлекаемых для работы в группах.
Цель работы, уточненная после ориентировки, в значительной мере
определяет дальнейшее развитие экспертизы и форму представления ее
результатов. Надо обратить внимание на то, что представление о цели
работы почти всегда меняется по ходу выполнения экспертных
ций. Если это изменение стало существенным, организатор должен,
после консультаций с заказчиком, снова провести операцию
ровки, разъяснив экспертам причины переориентировки и вновь
никшие задачи.
Если применена процедура с последовательной заменой состава
экспертов, то результаты работы первой экспертной группы становятся
частью ориентирующей информации для второй группы. В этом случае
следует предусмотреть необходимость оперативной обработки данных
так, чтобы промежуток между работой 1-й и 2-й экспертных групп не
был с.чишком велик.
141
3.2. Задачи организатора при проведении ориентировки
Самая первая задача организатора, приступающего к проведению
экспертизы, состоит в самоориентировке - создании у себя такого
ставления о цели экспертизы и способах ее достижения, которые
точны для выполнения хотя бы первых операций. Представить себе
идеальную конечную цель, ясно и коротко ее сформулировать, довести
до сознания всех экспертов - значит надежно выйти на верный путь
решения проблемы экспертизы.
Но для организатора-квалиметролога выполнение этой задачи
вает достаточно трудным. Во-первых, заказчик, как правило, не может
четко сформулировать цель экспертизы и организатор должен изложить
пространные рассуждения заказчика в кратком и ясном виде. Во-
вторых, если организатор остановится на фор.мулировке цели в своем
понимании, то он, в лучшем случае, достигнет именно этой,
рованной им, цели. Но .может оказаться (и это весьма частое явление
при решении сложных квалиметрических задач), что сфор.мулированная
организатором в начале экспертизы цель, даже одобренная экспертами,
потребует корректировки. Организатор должен иметь в виду это
стоятельство и стремиться его использовать, так как изменение
лировки цели может способствовать получению более надежных, более
высококачественных результатов проводимой экспертизы. Иногда при
небольшом изменении формулировки цели появляется совершенно
вый, более эффективный путь ее достижения.
Пример 3.1. При разработке методики оценивания качества
вых электростанций (см. п. 2.2.7, ч. I) цель работы перед экспертами
вначале была сформулирована так; «Разработать систему стандартных
показателей, с использованием которых можно определять
ную оценку качества работы тепловых электростанций».
В соответствии с общими принципами квалиме1рии был проведен
опрос экспертов, направленный на составление наиболее полного
речня этих показателей, и далее перечня решений, принимаемых
сительно ТЭС, получающих те или иные оценки. При это.м выяснилось,
что количество принимаемых решений очень невелико (всего 5), и
ются нормативные документы, в которых указаны показатели (также
очень немного), значения которых непосредственно влекут за собой
одно из решений. Хотя эксперты - опытные специалисты-теплоэнер-
гетики - и до начала работы знали об этих документах и
вались ими, но H.vieHHO обилие документов (технической, экологической,
гигиенической и другой направленности), «раз.мазанность» содер*^'
142
шихся указаний не позволяли обнаружить простоту самого алгоритма
принятия решений. В то же время, намеченный алгоритм расчета
плексной оценки, вытекающий из структуры «дерева свойств» оказался
неприменимым из-за обнаруженного взаимодействия показателей.
этому на специальном собрании экспертной группы цель работы была
изменена и сформулирована следующим образом: «Разработать систему
правил (алгоритм), определяющих принятие одного из решений
тельно ГЭС по сочетаниям значений нормативных показателей».
Теперь работа экспертов приобрела совершенно новое
ние. Определение весомостей и т.д. оказалось ненужным. Методом
бильного анкетирования (см. п. 2.3, ч. IV) была разработана схема
готовки решений (рис. 2.5, ч. I), которая и была положена в основу
буемой методики. Таким образом, результат работы оказался
совершенно иным, че.м это предполагалось вначале, и на.много более
полезным.
Нужно отметить, что это явление ~ постепенное уточнение
лировок в ходе экспертизы, особенно многотуровой - касается не
ко постановки цели, но и отдельных частных вопросов. Постепенное
изменение формулировок не должно обескураживать организатора, это
не говорит о плохом качестве проведенной работы. Надо быть готовым
к этим изменениям и использовать их для достижения основной цели
экспертизы.
Итак, основная задача организатора при проведении ориентировки -
выработка четкого представления о цели работы и донесение этого
представления до экспертов. Организатор должен также разъяснить
экспертам способы и общий ход предстоящей работы так, как он их
себе на данный момент представляет. Реакция экспертов позволит ему
уточнить план действий. Цель работы и общий ход ее выполнения,
сформулированные в результате ориентировки, следует неоднократно
напоминать экспертам в процессе экспертизы. Но в то же время нельзя
догматизировать сформулированную постановку задачи. Надо быть
готовым переосмыслить конечную цель и пути ее достижения.
3.3. Формы ориентировки
Формой ориентировки может быть краткий доклад по проблеме,
сделанный организатором экспертизы, представителем заказчика или
одним из специалистов-экспертов. Проведение доклада не требует под-
''отовки какой-либо инфор.мации в письменном виде, распространяемой
Феди экспертов, и [ютому наиболее просто в организационном плане.
143
Однако ориентировка, проводимая в форме доклада, сопряжена со
следующими негативными возможностями:
1) эксперты могут прослушать, забыть и т.п. основные положения
доклада и подготовленные организаторами четкие формулировки цели,
задач и др.;
2) эксперты не могут в ходе доклада всесторонне осмыслить задачу
и предложить продуманные формулировки цели и способов работы;
3) в случае, если доклад делает представитель заказчика, он по
опытности может вообще не обратить внимания на такие важные
менты, как формулировка цели, описание принципов работы и др. и
увлечься второстепенными вопросами.
Ориентировка может быть проведена в форме обязательного
комления всех экспертов с печатными материалами по проблеме
пертизы. Для этого может быть использована специально подобранная
сводка данных, копии статей, прогнозные данные и т.п.
При выполнении экспертизы прогнозного назначения
но использовать информацию, получаемую путем экстраполяции
денций. Это позволит получить значения показателей оцениваемой
продукции, достигаемые при сохранении существующих условий.
пертам легче будет указать пределы сохранения тенденций, предвидеть
качественные или скачкообразные количественные изменения показателей.
Для прогнозирования изменений в требованиях к качеству
мер, к качеству предполагаемой к выпуску продукции, качеству
водственной и экологической обстановки и др.) целесообразно
вить в ориентирующей информации данные по соответствующему
ту развитых стран.
Недостатки указанной формы ориентировки следующие:
1) крайне трудно подобрать, обработать, представить в удобной
для восприятия форме весь необходимый объем информации, имеющей
отношение к проблеме экспертизы. Нет уверенности в том, что
ранная информация нужна экспертам и будет ими использована. Нет
возможности убедиться в полноте подобранной информации. Весьма
возможно, что именно важные для оценивания источники не вошли в
состав ориентирующей информации, что решающим образом отразится
на работе экспертов;
2) при обработке разнохарактерной информации велика
ность одностороннего, субъективного подбора данных, что также
верно ориентирует экспертов. Если же представить информацию в
обработанном виде (в виде простого набора копий документов), то из-
за большого объема эксперты могут ее вообще проигнорировать.
144
в целом форма ориентировки, предполагающая передачу экспертам
некоторой совокупности документов, так или иначе подобранных,
лоэффективна и чревата ошибками. Здесь можно рекомендовать
чать экспертам не сами документы, а их аннотированный список, чтобы
эксперт мог выбрать необходимые лично ему документы. Этот вариант
почти гарантирует ознакомление экспертов с отобранной информацией
и значительно снижает объем работы организаторов.
Непосредственно спросить эксперта, какая именно ориентирующая
информация ему нужна, нельзя. Некоторые эксперты не спросят ничего,
и это значит, что они проигнорируют поступающие извне сведения.
Другие же представят список редкой и специальной литературы,
рую организатор не сможет достать, что может послужить упреком в
невыполнении им своих обязанностей.
Формой ориентировки может быть выполнение экспертами
деленных домашних заданий, например, составление докл.эдных
сок по проблеме экспертизы или же заполнение определенных анкет, в
ходе которого эксперт вынужден обращаться к справочной
ции. Этот способ оптимален, но чреват тем, что некоторьи; эксперты
из-за нежелания заниматься самоподготовкой откажутся от участия в
экспертизе.
Итак, приступая к работе, организатор может столкнуться с
ностями обеспечения глубокого знакомства экспертов, особенно
коквалифицированных, с материалами ориентировки. Радикальным
средством, обеспечивающим эффективное ознакомление с
щей информацией, если это возможно по общей обстановке, является
проведение деловой игры.
В процессе деловой игры можно обеспечить освоение всеми
тами необходимой ориентирующей информацией, причем в форме, не
приводящей к значительной усталости экспертов.
Но подготовка деловой игры требует большой работы рабочей
группы и занимает значительное время. Поэтому применять этот способ
целесообразно в тех случаях, когда экспертизу данного назначения
предстоит проводить неоднократно, например, при оценивании
ва систематически поступающих партий дорогостоящей прюдукции.
Ориентировку можно проводить с сообщением экспертам всей
имеющейся информации по проблеме или же лишь ее части. При этом
появляется возможность проверить в ходе экспертизы точность оценок
экспертов путем сопоставления их с не сообщенными экспертам да нны-
^1и. Иногда применяют такой прием: предоставляют экспертам зав1.^10-
мо неверную информацию с просьбой прокомментировать и откоррс к-
14.S
тировать ее. Если при этом удается стимулировать эксперта на
комление с имеющейся «истинной» информацией, то цель ориентировки
достигнута.
В фантастическом рассказе Р. Джоунса «Уровень шума» описан
прием ориентировки, когда экспертам, поставленным перед
мостью решения задачи, считавшейся неразрешимой (создание
витационного устройства), были сообщены заведомо ложные сведения
о том, что кем-то это устройство уже создано. Эксперты, в итоге
ты, напши решение проблемы. Но мы не можем сказать, насколько
ально такое развитие событий вне фантастических рассказов.
3.4. Качество проведенной ориентировки.
Ее влияние на оценки экспертов
Качество проведенной ориентировки можно оценить по характеру
ответов экспертов на вопросы, предназначенные для контроля
ния задачи. Например, различным подгруппам экспертов можно
ложить один и тот же вопрос в разных формах. Если цель экспертизьв
понята экспертами приблизительно одинаково, ответы экспертов будут
сходными, если же четкого понимания цели не выработалось, ответы
будут существенно различны.
О качестве проведенной ориентировки можно также судить по
тивности экспертов по ее окончании. Хорошо выполненная
ровка стимулирует экспертов к получению дальнейшей информации.
4. ГЕНЕРАЦИЯ
4.1. Назначение генерации и ее особенности
Операция генерации есть опрос экспертов, предназначенный для
получения от них возможно большего числа предложений, подходов.
идей, фактов, гипотез и других новых сведений, относящихся к предмету
экспертизы.
Решение квалиметрических задач обычно начинают с генерации
набора показателей (или набора воздействующих на качество объекта
факторов), которые могут быть использованы в дальнейшем для
вания качества объекта, а также, если это следует из постановки задачи,
выполняют генерацию набора решений, которые могут быть приняты в
отношении объектов по результатам оценивания. При решении задач
прогнозирования потребительских требований проводят генерацию
146
этапов дальнейшего развития объекта прогнозирования, факторов,
влияющих на это развитие, событий или проблем, возникновение
рых обусловлено развитием.
Например, при прогнозировании изменений требований к ьсачеству
телевизоров составляют перечень ожидаемых изменений в
сти потенциальных потребителей, изменений характера их жизни и. с
другой стороны, перечень предстоящих нововведений в системах связи,
в информационных сетях. Затем по отдельности и в комплексе
ривают возможное влияние этих событий на требования к качеству
телевизоров.
Если объектом экспертизы является сложившаяся неблагоприятная
обстановка в некотором регионе или учреждении (например, резкое
загрязнение объекта рекреации вследствие аварии), то генерация может
быть направлена на выработку предложений по улучшению ситуации.
Особенно большую роль играет генерация в решении
ских задач. При этом, применяя специальные способы генерации (си'нек-
тические, мозговую атаку, мозговой штурм и др.) удается не только
увеличить количество предложений, выдвигаемых каждым специа;.|и-
стом, но и получить оригинальные идеи, которые вряд ли могли бы; ь
выдвинуты участниками экспертизы без применения специальных
низационных средств.
4.1.1. Вопрос о достаточности данных
В результате генерации должен быть получен широкий набор
ных, составляющих информационный массив, с которым будет
нена дальнейшая работа. Однако в ходе других операций экспертизы
могут возникнуть в небольшом количестве некоторые дополнительные
данные, которые также должны быть включены в основной
ционный массив. Появление этих данных весьма нежелательно, так как,
с одной стороны, их трудно использовать (как например, включите их в
материалы, уже подвергнутые анализу экспертами?), с другой, это
рит о плохом качестве проведенной генерации, наличии, возможно,
упущенных показателей или решений, то есть порождает сомиеш'е в
качестве выполненной экспертизы в целом.
Но раз эти данные появились, следует их учесть. Вариантов здесь
два: либо следует создать небольшую подгруппу из экспертов.,
ных повторно обсудить возникшие данные, либо включить эти данные
в перечень проблем, которые возникли в ходе экспертизы,, но не могли
быть решены (приводятся в приложении к отчету).
!47
Вопрос о достаточности данных, полученных в результате
ции, не всегда можно уверенно решить. В тех случаях, когда
ваемая методика предназначена для квалиметрического оценивания
продукции или составления схемы подготовки решений, причем
тен полный набор возможных решений, достаточность данных
тировать наиболее просто. Нужно перебрать все сочетания возможных
значений показателей в оцениваемых объектах и сопоставить решения,
принимаемые согласно методике и решения, назначенные по данным
сочетаниям экспертами. Совпадение решений говорит как о
ности использованных данных, так и о правильности самой
танной методики.
Если количество данных, которое предполагается получить от
пертов невелико (в пределах двух-трех десятков), то ориентировочно
модно определить количество экспертов, достаточное для выявления
этих данных с заданной обеспеченностью (см. прил. 6). Это может и.меть
место при генерации потребительских показателей качества изделия,
генерации перечня факторов внешней среды, влияющих на качество
функционирования объекта и т.п.
При решении задач прогнозирования или квалиметрического
лиза технологического процесса, достаточность генерируемых данных
a-priori проверить невозможно. В этих задачах для повышения
ности в достаточности выявляемых сведений следует проводить
вторные операции генерации и анализа обстановки по мере развития
ситуации.
4.1.2. Вопрос о выборе необходимых данных («определяющих»
показателей)
Вообще говоря, выбор необходимых данных (то есть исключение из
информационного массива тех, которые нецелесообразно использовать)
происходит на последующих, после генерации, этапах экспертизы - при
обсуждении, назначении оценок весомости и, окончательно, при
мировании расчетного алгоритма. Однако некоторое сокращение
но провести чисто формальными приемами непосредственно после
генерации.
В случае удачно выполненной генерации получают обычно много
данных, но они носят разрозненный, плохо формализованный характер.
Организатору при подготовке следующего этапа приходится проводить
обобщение, уточнение фор.мулировок предложений, исключать
ры. Как выполнить такую работу, учитывая, что организатор не всегда
148
может понять специальную терминологию экспертов? Лучше всего
завестись неформальным консультантом среди экспертов, который
мог бы обработать формулировки и подготовить материалы к
щей экспертной операции.
4.2. Общая организация генерации
По виду организационного процесса способы генерации (как и
обще способы опроса экспертов) подразделяются на следующие группы.
1) Способы, связанные с индивидуальной работой с экспертами:
♦ анкетньи'1 опрос;
♦ создание экспертами докладных записок, сценариев;
♦ способы, связанные с перебором вариантов сочетаний значений
показателей (например, морфологический анализ).
2) Способы, осуществляемые на заседании в составе экспертной
группы, когда эксперты активно взаимодействуют друг с другом:
♦ мозговая атака, штурм, осада и другие разновидности;
♦ синектические методы;
♦ совмещение генерации с другими операциями.
Способ генерации выбирают в зависимости от характера задачи и
сложившейся ситуации. Если стоит задача оценивания качества
ставленного объекта, то генерации могут подлежать лишь показатели,
характеризующие объект оценивания и принимаемые решения. Здесь
нужно создать экспертам возможность для тщательного обдумывания и
потому лучше при.менить один из способов, связанных с
ной работой экспертов. В задаче прогнозного характера генерацию
лучше осуществить, чередуя способы группового и индивидуального
опроса. Выработка путей решения неотложных вопросов управления
организацией или решений изобретательской задачи рациональна с
помощью мозговой атаки и ее разновидностей. Задачи, связанные с
трудно прогнозируемыми конфликтными ситуациями (конфликт
ного населения с ведомством, осуществляющим некоторые мероприятия
на данной территории, конфликт конкурсного характера и т.п.)
ют применения сценарных способов, специально разработанных
вых игр.
При проведении генерации любым способом большую роль играет
обеспечение доступа экспертов к желаемой информации. При
нии этого условия продуктивность работы резко возрастает.
Оперативное обеспечение экспертов требуемой информацией важно
еще и для снижения субъективности суждений. Отмечено, что чем менее
149
ясны эксперту закономерности формирования качества или
ности развития оцениваемого объекта, тем более сказывается влияние
заинтересованности эксперта на его суждениях.
4.3. Особенности основных способов генерации
В части 4 «Индивидуальный опрос экспертов» уже рассмочрень!
способы, используемые как для генерации, так и для назначения оценок.
Различие между ними только в создаваемой обстановке. Если для
рации требуется обстановка, стимулирующая эвристическое мышление,
поиск новых идей и т.п., то для назначения оценок нужна спокойная
обстановка, обеспечивающая независимое обдумывание. Других
чий выполнения этих операций нет. Поэтому в настоящем разделе мы
рассмотрим особенности только тех способов генерации, которые
ществляются на заседании в составе экспертной группы.
4.3.1. Морфологический анализ
Этот способ предназначен для выявления и анализа всех
ных вариантов осуществления некоторого мероприятия или процесса,
всех вариантов сочетаний значений показателей в оцениваемых
тах. Сущность способа состоит в построении многомерной схемы, в
которой перечислены основные показатели оцениваемых объектов и их
значения (градации). Если удается перебрать все возможные сочетания
градаций и каждому сочетанию поставить в соответствие определенное
заключение, то квалиметрическая (оценочная, прогнозная и т.д.) задача
будет решена.
Например, пусть нужно найти оптимальный вариант выполнения
природоохранных мероприятий в некотором регионе России до
2010 года. Прежде всего выбираем (с помощью экспертов или по
тивным указаниям) общий объем финансирования природоохранных
мероприятий до 2010 года: допустим это будут Л''и Л/млрд. долларов.
Составляем перечень вариантов применения традиционных
тий {А, В, С, Д £), новых технологий {X, Y, 2), вариантов
ального распределения работ {а, Ь, с, d). Получается морфологическая
схема вариантов (рис. 4.1).
Если удается перебрать все варианты сочетаний значений
лей и для каждого варианта найти оценку качества, то тем самы.м
дено решение поставленной задачи.
150
ПОКАЗАТЕЛИ. ВЛИЯЮЩИЕ
НА ВЫБОР ВАРИАНТОВ
РАЗВИТИЯ
Вариан1ы финансирования
Варианты применения
ционных мероприятий
Варианты осуществления
вых технологий
Варианты территориального
распределения работ
ВАРИАНТЫ
N
5 млрд. S
1 М
1 5 млрд. S
ш ш ш н ш
ш ш ш
н н и m
Рис. 4.1. Морфолотческая слема вариантов выполнения природоохранных мероприятий
(данные условные)
Достоинство морфологической схемы в том, что она позволяет
менить исследование совокупности мелких единиц (конкретных
больших мероприятий, конкретных технологий и т.п.), которые легко
упустить из виду и невозможно рассмотреть во всех вариантах
вления перебором более крупных. Это позволяет надежно определить
небольшое число вариантов, в рамках которых имеет смысл осушеств-
лять дальнейший анализ.
Морфологическая схема будет тем полнее, чем больше она
жит показателей и чем больше вариантов предусмотрено для каждого
показателя. В этом и заключается один из основных недостатков
фологического анализа. Так, в приведенном примере использование 4-х
показателей обусловливает появление 120 комбинаций. Дальнейший
рост числа показателей катастрофически увеличивает объем работы.
Другой недостаток способа - отсутствие уверенности в том, что
при построении морфологической схемы учтены все факторы и все
рианты значений этих факторов. Интуитивный поиск путей реализации
природоохранных мероприятий морфологический анализ позволил
заменить интуитивным же поиском вариантов осуществления новых и
традиционных технологий и др. Но упустив один из вариантов или
один из показателей, мы рискуем при всей тщательности дальнейшего
анализа получить решение, далекое от оптимального.
Поэтому применение морфологического анализа как способа
рации представляется целесообразным в качестве вспомогательного
15i
приема, осуществляемого в процессе индивидуальной работы, но не
всеми экспертами, а только теми, которые имеют возможность и
ние его выполнить.
Встречаются случаи, когда способом морфологического анализа
решают вопрос типа изобретения или небольшого открытия. Например,
таким способом можно изобрести новую конструкцию агрегата или
композиционный материал с заданными свойствами. При этом
ляют перечень требуемых свойств и их вариантов проявления и находят
комбинацию, обеспечивающую соответствующее качество.
4.3.2. Мозговая атака
Операция «мозговой атаки» и ее разновидности - «мозговой
штур.м», «мозговая осада», «атака разносом» имеют общую
ционную черту - проведение управляемой дискуссии небольшой
пой экспертов (оптимально - 10-15 человек). Прямая мозговая атака
является как бы эталоном, вокруг которого сгруппированы различные
модификации этого способа. Изложим назначение и особенности
менения некоторых модификаций.
Приводимые рекомендации по управлению группой основаны на
нашем опыте проведения экспертиз и литературных данных. Однако не
следует воспринимать рекомендации догматически. Практика
ния мозговых атак показывает, что организатору каждый раз
дится подстраиваться под характер выступлений и проявлять гибкость в
отношении регламента с тем, чтобы в максимальной степени
вовать достижению основной цели работы.
Правила проведения
Для проведения мозговой атаки необходимо создать экспертную
группу 6-25 человек, которая проводит одно или ряд заседаний,
должительностью каждого не более 45 минут. Перед началом каждого
заседания проводят краткую B-3 минуты) ориентировку, в которой
напоминают исходные данные и выделяют единственную задачу
стоящей генерации.
Было бы ошибкой, например, предложить экспертам одновременно
определить показатели, влияющие на качество и альтернативные
анты решений в отношении объекта экспертизы. Следует
вать их мышление на одну из этих задач и в ходе мозговой атаки
правлять высказывания экспертов в соответствующее русло.
152
Во время мозговой атаки организатор должен замечать новые
предложения любого рода и способствовать их развитию. Нельзя
ражать сомнение, скептицизм или тем более объявлять предложение
эксперта бесполезным, неверным или не относящимся к делу.
тор также должен исключить критику предложения эксперта со стороны
других экспертов. Разрешены только высказывания новых идей и
ступления в развитие предыдущего предложения.
С другой стороны, во время мозговой атаки должно быть получено
большое количество новых предложений, поэтому слишком тщательное
обсуждение каждого предложения приведет к снижению
сти работы. Аргументация предложений должна быть такой, чтобы
большинство участников поняло сущность предложения и, по
ности, прореагировало на него.
Организация работы группы
Мозговую атаку ведут два сопредседателя; специалист по проблеме
экспертизы и специалист по процедуре. Весь ход заседания записывают
на магнитофон. Рукописных записей не производят. Основное
ние ведет процедурный председатель: он следит за тe^л, чтобы все
перты выступали достаточно активно, не критиковали друг друга и не
углублялись в анализ частностей отдельных предложении.
Председатель-специалист подготавливает организ}'ющую
мацию (совместно с процедурным председателем) и следит за тем, чтобы
каждое высказанное предложение аргументировалось в понятных для
специалистов терминах. Председатель-специалист выступать не имеет
права. Он может только предлагать тому или иному эксперту развить
мысль, которая ему показалась неясной и таким путем способствовать
доведению этой мысли до сознания других участников эксшфтизы.
Функции мозговой атаки:
1) генерация частных и комплексных показателей, учет которых
может оказаться необходимым в разрабатываемой системе оценивания
качества;
2) генерация факторов (оснований), по которым следует выделять
группы однородных объектов, или факторов, влияю1цих на кач'.ест.во;
3) генерация ответов на вопросы, требующие немедленного
ния (например, при анализе сложившейся в процессе работы ситуаци.и,
угрожающей срывом выполнения задания);
4) предварительный анализ задач прогнозного характера.
Мозговая атака эффективна тогда, когда заранее ясно, что путей
решения вопроса может быть много: надо лишь сти1му.г1ир6вать вооб-
153
ражение экспертов. Например, мозговая атака эффективна при поиске
новых путей рекламы.
Однако, .мозговая атака оказывается бессильной при высоких
уровнях сложности проблемы. Так, в одной из наших работ при
ке генерировать возможные способы получения сигналов из будущего
было получено лишь одно предложение, остальные участники хранили
молчание.
Способ отнесения оценки
Этот способ не привязан жестко к мозговой атаке, но может быть
применен и по отношению к други.м способам генерации.
Практика проведения мозговых атак показала, что многие
ные идеи не получают развития в последующих выступлениях и
ют. Это происходит из-за сложившейся традиции научных собраний
обращать внимание преимущественно на слабые места докладов.
В целях борьбы с этим недостатком используют способ отнесенной
оценки. Сущность его состоит в разделении во времени процесса
рации и процесса критического анализа полученных данных. При
рации запрещена всякая критика, не только словесная, но и молчаливая -
в виде скептических улыбок, неодобрительных взглядов и др. После
генерации делают перерыв. Рабочая группа прослушивает
ную запись и выделяет предложения, подлежащие развитию и
скому анализу. Затем происходит обсуждение этих предложений,
повая разработка каждой выдвинутой идеи. Назначение оценок и
готовку решений выполняют также с отнесением во времени в ходе
гих экспертных операций.
Практика показала, что при применении способа отнесения оценки
группа при генерации выдвигает примерно в 10 раз больше идей и более
высокого качества.
4.3.3. Мозговой штурм и мозговая осада
Усовершенствованный вариант мозговой атаки - «мозговой штурм» -
состоит в том, чтобы разделить процессы собственно генерации и
вития и анализа предложений не только во времени, но и по группам
экспертов. Одна группа экспертов, получив задачу, только выдвигает
предложения, другая - осуществляет их развитие и критический анализ.
Мозговой штурм особенно эффективен в решении прогнозных задач.
В группу генерации входят 6-10 человек различных специальностей.
Регламент выступления - 1 минута. Общая продолжительность генера-
154
ции - 20 -ь 40 минут. В группе анализа нужно тщательно прорабатывать
все идеи, даже те, которые кажутся явно ошибочными.
Мозговой штурм эффективен в решении задач управления
вом, поиска перспективных проектных и конструкторских решений,
задач прогнозирования. В задачах, решение которых связано с
нием исходной постановки вопроса, мозговой штурм не эффективен.
В ходе мозгового штурма запрещена явная критика, но ее почти
избежно заменяют скрытой критикой в форме выдвижения новых
ложений, пресекающих развитие других идей. Если проводить мозговой
штурм так, чтобы каждую идею обязательно доводить до логического
завершения, то эффективность штурма повышается. В этом случае
нако возрастают и затраты времени, и штурм приходится вести в
ние многих дней. Такой вариант штурма называют мозговой осадой.
4.3.4. Атака разносом
Методика атаки разносом может быть применена для обнаружения
недочетов, недоделок и ошибочных заключений и выводов в разрабо'1Г-
ке, близкой к завершению.
В заседании принимают участие до 25 человек, которым заранее
розданы копии подготовленного рабочего документа. Все эксперты
выступают по очереди. Задачей каждого эксперта является обнаружение
возможно большего числа недостатков работы. О достоинствах работы
н о путях ликвидации ее недостатков эксперты говорить не должны.
Каждому эксперту отводят на выступление 1-3 минуты. Запрещено
вторять недочеты, отмеченные другими экспертами. Может оказаться
целесообразным проводить опрос экспертов в два кр>уга: после того, как
вес эксперты выступили, повторяют выступления желающие дополнить
свои замечания.
Атака разносом является исключительно сил1>но действую'щмм
средством негативного анализа. Авторам подготовленного докуьлента
лучше не присутствовать на заседании, чтобы не связывать инициативу
экспертов и во избежание тяжелых душевных трасвм.
Организационно атака разносом не отличается от прямой мозгоной
атаки. Вести заседание рекомендуется двум сопредседателям и все
си производить на магнитофон. Продолжительность атаки разносом -
ДО 45 минут.
Смягченной модификацией атаки разносом является атака с
пользованием «адвокатов дьявола». Этот способ применяют в тех спу-
чаях, когда по условиям работы с подготовленным документо.м можло
135
полностью ознакомить только 2-3 человек. Задача этих экспертов -
«адвокатов дьявола» - состоит в том, чтобы каждому из них в течение
10 ч- 12 минут сделать краткий обзор документа, доказывая его
ческую непроработанность и ошибочность. Остальные 10-12 экспертов
выступают после «адвокатов дьявола» с краткими замечаниями
тивного характера. Высказывания, в которых отмечены положительные
стороны работы, а также полемика с «адвокатами дьявола» - запрещены.
4.3.5. Синектические способы
В основу синектических способов генерации положен мозговой
штурм, проводимый группами специально обученных людей, для
рых участие в этой работе (квалиметрической экспертизе) является
фессией. Такие группы, накапливая приемы и опыт работы, добиваются
больших успехов, в частности, в повышении качества выполняемых
фирмой разработок, прогнозировании спроса на продукцию фирмы,
нахождении новых способов рекламы, в решении технических и
тательских задач.
В отличие от мозгового штурма, решение задачи начинают с
ния изменений в ее постановку, предложенную заказчиком (эта
ция может быть повторена неоднократно в ходе экспертизы). После
того, как уточненная постановка сформулирована, участники группы,
пользуясь набором приемов, производят систематические попытки
взглянуть на проблему с различных точек зрения и тем самым
леть «психологическую инерцию». Ход синектического заседания
сывают магнитофоном, затем запись изучают с целью извлечения
ков совершенствования приемов решения.
Синектические способы являются основным инструментом анали-
тико-прогностических групп, работающих в региональных
тельствах крупных фирм. При этом синектику, как форму групповой
генерации, дополняют индивидуальным изучением объективных
номерностей и тенденций развития анализируемого объекта или
ния. Это позволяет каждому участнику группы, не теряя основную
лификацию, стать профессионалом в области оценивания качества и
квалиметрического прогноза, что ведет к улучшению работы всей
пы в целом.
156
4.4. Совмещение генерации с другими операциями
В некоторых методиках групповой экспертизы встречается
щение отдельных операций или же типового порядка выполнения
раций. В части 4 мы уже рассматривали «мобильное анкетирование», в
котором ориентировка проводится при опросе каждого нового эксперта
заново, а генерация и назначение оценок совмещены. В методике
ОКАЭГ, рассмотренной в п. 2.1, генерацию осуществляет частично
дущий эксперт, а частично - экспертная группа. Встречаются и другие
отклонения от типичного выполнения операций.
Рассмотрим некоторые формы организации работы экспертов,
главное назначение которых - генерация, но она удачно соединена с
одновременным выполнением других операций.
4.4.1. Способы генерации, основанные на участии экспертов в
вых играх
Деловые игры, или игровые процедуры, или «активные системы»
применяют для решения задач оперативного прогнозирования в
зе рынка продукции, а также для рещения таких проблем управления
фирмой (организацией), которые связаны с возможностью
ния конфликтных ситуаций. Этот способ генерации отличен от других
тем, что участвуя в деловой игре, эксперт отстаивает и аргументирует не
обязательно свою точку зрения, а позицию представляемой им стороны.
При этом одновременно осуществляется коммуникация и назначение
оценок.
Деловая игра представляет собой сложную процедуру, разработка
которой требует участия специалистов по теории принятия решений.
Разработчики игры должны учесть стороны, взаимодействующие в
процессе развития ситуации, предусмотреть возможности воздействия
каждой из этих сторон на ситуацию, предусмотреть возможности
рого выполнения требуемых расчетов (экстраполяционный прогноз
значений отдельных показателей или уровня воздействия факторов и
т.п.). Обычно такие расчеты в ходе деловой игры выполняет
ная группа с помощью ЭВМ.
Экспертизу в форме деловой игры проводят обычно неоднократно,
рассматривая различные варианты развития оцениваемого объекта или
различные варианты разрешения конфликтной ситуации.
Пример 4.1. В Алтайском крае несколько лет назад было
жено остаточное влияние ядерных взрывов на Семипалатинском поли-
157
гоне на здоровье детского населения и окружающую природную среду.
Для прогнозирования дальнейших изменений состояния здоровья и
окружающей среды была создана деловая игра «Дети - Алтай». Группы
экспертов представляли взаимодействующие стороны: руководство
МЗ РФ, администрацию Алтайского края и «Природу» Алтайского
края.
Группа, представлявшая руководство МЗ РФ, располагала
ленными финансовыми и кадровы.ми ресурсами, которые можно было
направлять в разные регионы края и на различные цели.
«Администрация края» могла проводить различные организационные
мероприятия и не всегда целевым образом расходовала выделяемые
средства. Группа, олицетворявшая «Природу», оценивала ее
ную и количественную реакцию на действия других групп и
дала о возможных последствиях. С помощью ЭВМ непосредственно в
ходе игры прогнозировали значения отдельных показателей (число
заболевших детей, уровень радиации на пораженной площади,
ное воздействие вредных факторов и др.).
В результате многократного использования деловой игры в разных
организациях Москвы и Барнаула были найдены оптимальные пути
управления социально-эпидемической ситуацией.
Пример 4.2. Решение о включении отдельных тем исследований,
выдвигаемых сотрудниками НИИ в план бюджетного финансирования,
всегда было связано с конфликтной ситуацией, так как выбор тем
ществлялся субъективно. Для объективизации процесса принятия
ний в этой ситуации разработана деловая игра «Приоритет НИР».
Взаимодействующие группы представлены на рис. 4.2.
Представляет каждую выделяемую тему «Группа Защиты»,
щая из членов соответствующей лаборатории или подразделения. Ее
задача - раскрывать важность и перспективность заявленной темы,
отвечать на возражения «Группы разноса». Напротив, задача группы
разноса, состоящей из представителей конкурирующих подразделений, -
указать слабо проработанные элементы заявки, сомнительность
спектив получения и использования результатов. Представители групп
могут выступать неоднократно. «Группа суда» осуществляет только
общее руководство дискуссией. Члены «Группы экспертов»
ют независимо друг от друга оценки каждой по рассматриваемой теме
по заранее разработанны.м показателям. Реализация игры «Приоритет
НИР» позволяет предотвратить конфликтную ситуацию, которая может
привести к уходу ряда сотрудников, частичному изменению структуры
исследовательской организации и т.д.
158
Группы
«Зашиты» - по
числу
мых тем НИР
\1^
Группа «Суда»
Группа «Экспертов»
1'руппа
«Разноса»
Ц-0. 0 0
Рис. 4.2. С 'хема 1ичсское изображение взаимодействующих подгрупп в деловой игре
«Приоритет НИР»
Итак, в целом, опрос экспертов, проводимый в форме участия в
ловой игре, имеет следующие положительные стороны:
1) способствует проявлению максимальной компетентности
тов, стимулирует поиск неожиданных, нетрадиционных решений;
2) позволяет быстро проводить анализ сложных, нестандартных
ситуаций;
3) деловые игры, применяемые в учебном процессе, способствуют
долговременному закреплению знаний по изучаемому предмету.
Однако деловая игра требует тщательной подготовки со стороны
разработчиков для того, чтобы условия игры максимально
вовали реальности, чтобы в ходе игры не были упущены возможности
того или иного развития событий. Практически разработка деловой
игры занимает несколько недель, иногда несколько месяцев.
Эксперты в ходе деловой игры не всегда успевают тщательно
думать свои действия, в результате чего многие их идеи остаются
крытыми. Для того, чтобы уменьшить возможность «упущения» того
или иного варианта, целесообразно проводить деловую игру
кратно, причем при повторениях эксперты должны меняться ролями.
В целом, деловая игра, как способ генерации, и возможно,
ния оценок, может быть рекомендована для анализа сложных и
дартных, но повторяющихся ситуаций (типа рассмотренных выше).
159
4.4.2. Генерация по способу «нормативного прогноза»
В п. 2.3.3 части III мы рассматривали способ выбора экспертов для
составления группы, способной не только дать оценку качества объекта
(который еще не существует), но и осуществить его разработку. Этот
способ связан и с особенностями генерации. В тех случаях, когда опрос
экспертов направлен не на получение оценок качества того или иного
объекта (они уже получены), а на выбор оптимального пути достижения
этого качества (например, создания нового технического объекта),
применяют методику так называемого «нормативного»
ния. При этом опрос экспертов выполняют индивидуально,
ливая каждому из них, по личному требованию, особую
щую информацию. В ходе единовременного опроса эксперт выполняет:
а) генерацию событий, которые должны быть осуществлены, чтобы
он (эксперт) лично принял участие в работах по достижению основной
поставленной цели;
б) назначение оценок: указывает временные и финансовые условия
выполнения предстоящей работы;
в) обмен информацией: в произвольной форме обсуждает с другими
привлеченными специалистами назначаемые оценки.
Все эти операции эксперт выполняет параллельно, без четкого
деления во времени. Результаты статистической обработки оценок,
торую выполняет рабочая группа, могут привести к изменению
ний эксперта и тогда опрос повторяют.
В этой методике имеет место специфическое совмещение отдельных
операций. Задача организатора в такой ситуации - способствовать
лизации основного преимущества групповой экспертизы:
нию данных, полученных от многих экспертов при выработке суждения
каждого эксперта. Можно, например, получить предварительные
дения нескольких экспертов с позиций следующего по ходу опроса
циалиста и представить их последнему в качестве ориентирующей
формации. Можно, полностью построив «дерево целей», подвергнуть
его общему обсуждению с внесением новых оценок и предложений и др.
Если организатор, поддавщись впечатлению, что окончательное
ние соответствующей части задачи в ходе опроса каждого отдельного
эксперта достигнуто, на этом этапе прекратит общение с ним, то
ченное решение будет методически не обоснованным.
160
5. СПОСОБЫ ОРГАНИЗАЦИИ ОБМЕНА ИНФОРМАЦИЕЙ
МЕЖДУ ЭКСПЕРТАМИ (СПОСОБЫ КОММУНИКАЦИИ)
5.1. Общие принципы и особенности коммуникации
Способы организованного обмена информацией между экспертами
предназначены для того, чтобы дать возможность каждому эксперту
всесторонне обдумать полученную на предыдущих этапах .жспертизы
информацию, учесть аргументы коллег и предложить обоснованные
оценки или без ущерба для самолюбия изменить раннее предложенные
оценки.
Все способы коммуникации применяют в тех случаях, когда
ченные после опроса экспертов оценки оказываются
ми. Но что такое «рассогласованность»? Рассогласованность бьшает
двух видов: отклонения от согласованной группы отдельных эксмертои -
«еретиков» и распад всех оценок на две внутренние согласованные
группы - «школы». Выбор способа коммуникации зависит от вида
согласованности. Если после 2-3 операций коммуниклции достичь со-
1 ласованности не удается, то организатор принимает одно мз л1вух
решений:
♦ проводить дальнейшую работу в двух вар:чантах;
♦ за.менить полностью или частично эксперт.чую группу.
Основной целью обмена информацией межд.у экспертами .тогда
считают достижение максимальной сходимости оценок. Это 15ерно льшь
для некоторых видов оценок и некоторых ситуаций. Например, высока'я
согласованность необходима при определении выраженности качест•
венных показателей или при применении оценок вида «логических
почек». Для таких видов оценок, как точечные, ба-тльные или
ные кривые, применяемых в квалиметрических задачах, добиться
ной сходимости оценок почти невозможно. Но даже если это
дит, то получаемые согласованные оценки ничуть не ближе к истине,
чем усредненные по индивидуальным, так как нeяvCHO, насколько
мость оценок при обмене информацией обусловлена качеством ap.iy-
ментов, и насколько - эффектом конформизма.
Поэтому, вообще говоря, целью ком.муникации является создание
условий для учета каждым экспертом суждений ко.?тлег, достижение"
всестороннего обдумывания проблемы всеми экспертуми, стабилизация
их суждений, что. в частности, может привести к сближению оценок.
Тем не менее, надо отметить, что во всех случгхях привнесение новой
информации в экспертную группу приводит к сближению оценок.
161
в ходе обмена информацией весьма часто возникает стремление
экспертов внести изменения в постановку цели экспертизы или же в
формулировку конкретных вопросов. Такие изменения следует (после
тщательного обсуждения) вносить. Это естественный результат
стороннего анализа.
Операции обмена информацией между экспертами проводят с
блюдением следующих общих правил:
1) экспертам предоставляют сводную информацию, подготовлен-
нуго рабочей группой по результатам предыдущих операций генерации
или назначения оценок;
2) создают условия, стимулирующие полное использование всеми
экспертами предоставленной информации.
Способы обмена информацией между экспертами подразделяют на
открытые и анонимные. Среди открытых мы рассмотрим: «лицом к
лицу», способ «комиссий», способ «обмена мнениями», «мини-Дельфи»;
из числа анонимных - «анонимная аргументация», «итерация», «Вати-
кангчий Дельфи». Эти способы дают достаточное представление о
можностях управления коммуникацией экспертов. Выбор конкретного
способа зависит от возможности проведения собраний экспертов, вида
требуемых оценок, служебного положения и личных качеств экспертов.
Организатор, учитывая приводимые ниже сведения, должен сам
рать и изобретать способы коммуникации, адекватные ситуации,
жившиеся в проводимой им экспертизе.
5.2. Способы открытого обмена информацией
5.2.1. Способ «лицом к лицу»
Обсуждение способом «лицом к лицу» проводят в группе экспертов
от 5 до 30 человек. Обсуждается единственная проблема, например, об
оценивании качества предлагаемой к закупке аппаратуры. Руководство
обсуждением со стороны организатора почти исключено. Он должен
лишь следить за тем, чтобы каждый эксперт участвовал в дискуссии.
Продолжительность дискуссии не ограничена, но практически
ляет 20 -ь 40 минут. Достоинством способа «лицом к лицу» является его
простота, возможность немедленно задать дополнительные вопросы.
Но способ имеет и серьезные недостатки:
1) эксперты анализируют лишь часть имеющейся в их
нии информации;
2) обсуждение часто уходит в сторону от основной цели
зы: много времени тратится на не относящиеся к делу разговоры
(«семантические шумы»);
162
3) наибольшее влияние на выработку группового суждения
вают наиболее разговорчивые индивидуумы. Со стороны других
пертов, напротив, проявляется стремление к конформизму.
Эти недостатки приводят к то.му, что в целом способ «лицом к .аи-
цу» не имеет преимуществ перед другими способами обмена
цией и его применяют в групповой экспертизе крайне редко.
5.2.2. Способ «комиссий»
Способ комиссий состоит в том, что экспертная группа
но собирается для обсуждения одного и того же вопроса, напршиер,
последствий принятия какого-либо решения. Продолжительность
даний не ограничена. В промежутках между заседаниями эксперты
гут получить дополнительные материалы по рассматр»и.ваемому
су. Так же, как в способе «лицом к лицу», организатор не руководит
обсуждением. Он лишь способствует получению экспертами
сующей информации.
Комиссия принимает решения путем голосования. Способ комиссий
положительно отличается тем, что эксперты используют большой
ем информации. Организатор имеет возможность довести обсуждение
каждого варианта до логического конца, тем самым избежав потери не
рассмотренной информации. Например, если речь идет о некогс-рс:
мероприятии, то следует рассмотреть все его возможные поспедстпия на
перспективу, а не ограничиваться ближайшими эффектами. Основные
недостатки способа следующие:
1) имеют место большие затраты времени как на отдельные
ния, так и в целом на серию заседаний;
2) при увеличении числа заседаний вырастает илияние высокоавго-
ритетных экспертов, которые подавляют суждения менее авторитетных
экспертов.
В целях борьбы с последним недостатком можно применить спс^соб
отнесения оценки, то есть перенести операцию назначения оценок на
некоторый промежуток времени (несколько часов) после окончания
заседаний.
5.2.3. Способ обмена мнениями
Способ обмена мнениями представляет собой разнови,дность
говой атаки, целью которой является достижение соглашения между
небольишм числом F-8) экспертов или между представителями двух
школ, имеющихся в экспертной группе.
163
Процедурный председатель предварительно подготавливает
сы, которые должны быть решены путем соглашения, и по каждому
вопросу приводит несколько вариантов решений. Эксперты заранее
по.чучают списки решений и дополняют их новыми. По ходу
ния председатель-специалист четко формулирует появившиеся новые
идеи. После обсуждения эксперты независимо друг от друга определяют
наиболее желательные решения и рабочая группа находит наиболее
приемлемое по их оцеика.м. При недостаточной согласованности или
при появлении новых вариантов решений операцию повторяют, В
цессе обмена мнениями возможна расширенная аргументация
жений, но запрещена критика в адрес коллег.
Основной недостаток состоит в том, что результат обсуждения
сильно зависит от способности председателя-специалиста находить и
формулировать компромиссные решения. При отсутствии такой
собности или предвзятости его позиции обсуждение заходит в тупик -
способ не работает.
5.2.4. «Мини-Дельфи»
Члены экспертной группы A0-25 человек) в начале заседания
висимо друг от друга назначают требуемые числовые оценки. Опросные
листы собирает организатор, выделяет согласованную группу и
«вьшадающие» замечания. Эксперты, предложившие выпадающие
оценки, выступают с их обоснованием. Затем участникам раздают
вые опросньЕС листы и они назначают уточненные оценки. Операцию
можно за 30 минут повторить 2-3 раза.
Достоинством способа является быстрота его выполнения.
тер обсуждения таков, что конформизм сказывается мало.
Недостаток: способ примени.м лишь для числовых оценок. Кроме
того, ввиду краткости обсуждения возможно проявление сильного
влияния ошибочных аргументов, дезинформации.
5.2.5. Попытка согласования
Особую экспертную операцию, которую можно назвать «попытка
согласования» приходится выполнять в тех случаях, когда внутри
пертной группы обнаруживаются «школы» - подгруппы экспертов,
придерживающиеся несовместимых суждений по проблеме экспертизы
В этом случае проведение совместного заседания подгрупп
сообразно. Рекомендуется выбрать представителей «школ», 6o.iee
164
склонных к учету иных точек зрения, и путем ряда последовательных
консультаций с каждым представителем выработать приемлемый
ант для дальнейшей работы.
5.3. Способы анонимного обмена информацией
Основное достоинство способов анонимного обмена информацией
в том. что они абсолютно снимают давление авторитетов, влияние
говорчивых индивидуумов. Однако недостаток анонимных способов,
имеющий место почти всегда, - невозможность экспертам глубоко
нять аргументацию коллег. Но если эксперт плохо представляет себе
основные закономерности развития (создания, функционирования)
оцениваемого объекта, то для него прямо противоположные аргументы
могут казаться равновесомыми и, следовательно, изменение оценок
эксперта окажется случайным.
Кроме того, анонимная аргументация требует больших затрат
времени на связь с экспертами и на обработку получаемой от них
информации.
5.3.1. Анонимная аргументация
Способ анонимной аргументации состоит в том, что, кроме оценки,
эксперт приводит в анкете те или иные аргументы, на основании
рых он пришел к своей оценке. Каждый эксперт выполняет операцию
индивидуально. Способ может быть применен как для количественных,
так и для качественных оценок. Заполненные анкеты с оценками и
гументацией собирает организатор и, исключая повторяющиеся
менты, составляет их свод. Свод аргу.ментов размножают в
мом числе экземпляров и вручают экспертам вместе с указанием тех или
иных параметров полученного распределения оценок. Каждый эксперт
получает возможность оценить аргу.менты, предложенные его
ми и пересмотреть свою оценку с учетом новой информации.
Сообщение экспертам имеющейся аргументации всегда приводит к
сближению оценок. Однако частично это сближение обусловлено
фектом конформизма. Для снижения эффекта конформизма
разно несколько искажать информацию: экспертам, предложившим
оценки, близкие к средним, сообщать только аргументацию «еретиков»,
а «еретикам» - аргументацию экспертов, предложивших согласованные
оценки. В этом случае склонность экспертов к изменению своих оценок
vвeличивaeтcя.
165
5.3.2. Способ итерации
Итерация отличается от анонимной аргументации тем, что
там сообщают только усредненные данные о групповых оценках
дыдущего этапа опроса (поэтому способ применим только к
венным оценкам). Чаще всего сообщают значения медианы и квартилей
распределения экспертных оценок.
Итерация, проводимая без аргументации, способствует
нию интерквартильного раз.маха (при.мерно на одну треть после
го этапа), но почти никогда не приводит к значительному сдвигу
дианы оценок от этапа к этапу. Дело в том. что в большинстве случаев
абсолютная величина изменения оценки экспертом
5, =|.v';'-A-;"|.
где лг*" и .v'/' - оценки >го эксперта на 1-ом и 2-о.м этапах, не
дит расстояния от предыдущей оценки эксперта .?'" до сообщаемой
эксперту медианы предыдущего этапа Л/е<", то есть почти всегда.
поэтому сдвиг медианы
фактически определяется изменением оценок тех двух или трех
тов, которые на предыдущем этапе были наиболее близки к .медиане.
Эти эксперты, как правило, мало изменяют свои оценки, а потому и
М6-'> оказывается весьма близка к Ме"'.
Но зато итерация существенно способствует сближению оценок, то
есть уменьшению рассеяния. Особенно сильное влияние оказывает
рация на сходимость стоимостных оценок, которые вначале имеют, как
правило, большой разброс.
Понятно поэтому, что раз итерация не способствует приближению
к истине, но способствует уменьшению рассеяния, то связь между
сеянием (согласованностью) и близостью к истине отсутствует.
Выполняя итерацию, мы по сути предлагаем эксперту решить,
ковы были соображения его коллег, предложивших оценки, близкие к
медиане, или же еретические, то есть эксперт должен провести
рую «самоаргументацию». Эта самоаргументация и составляет основу
изменений оценок экспертов после итерации. Если же .мы стремимся
использовать способность эксперта не к самоаргументации, а к учету
аргументации коллег, то следует проводить операцию анонимной
ментации.
166
5.3.3. «Ватиканский Дельфи»
Применяемая в настоящее время в Риме разновидность способа
Дельфи, получившая название «Ватиканского» способа, позволяет
стро, несмотря на имевшиеся в начале разногласия, достичь
ванного решения.
Суишость способа состоит в следующем.
Членам условно называемой «экспертной группы», состоящей из
кардиналов и других высших сановников католической церкви,
тарь раздает листки-вопросники, в которых сформулирован тот или
иной вопрос, требующий принятия альтернативного решения.
ный лист разделен по вертикали на две графы, в одной из которых
перты приводят аргументы в пользу одного варианта решения, в другой -
в пользу противоположного варианта. После заполнения листков,
торые собирает секретарь, экспертная группа собирается для
ния правильности постановки вопроса и предложенных аргументов.
Затем члены группы уединяются и после более или менее длительного
обдумывания приводят новые соображения, причем каждый эксперт
может приводить аргументы «за» и «против» одновременно.
Листки с аргументами передаются секретарю и организуется
дующее обсуждение. Постепенно проясняется общая точка зрения,
ты одного столбца приближаются к ответам другого. Рассмотрение
вопроса прекращается, когда все аргументы исчерпаны, спор окончен и
достигнуто единогласие.
В некоторых случаях аргументы выявляют в течение нескольких
дискуссий, возникает оппозиция («школа»). Если нет возможности
тигнуть единогласного мнения, вопрос снимают с обсуждения. Его
вновь изучают, разбивая на несколько подвопросов, каждый из
рых требует специального рассмотрения.
Ватиканский способ отличается от Дельфи характером решаемых
вопросов, которые не связаны с назначением каких-либо числовых
нок. Кроме того, различен характер достигаемого соглашения: в
канском способе, в отличии от Дельфи, получают единое суждение.
В квалиметрических разработках Ватиканский Дельфи может быть
применен для быстрого решения несложных вопросов, вызывающих
вначале разногласия, например, вопросов согласования терминологии,
критериев выполнения группировок объектов оценивания и др.
Приведенный в настоящем разделе обзор способов ком.муникации
показывает основные возможности организатора в регулировании
формационного взаимодействия экспертов. Отметим еще раз, что рас-
167
смотренные способы должны служить лишь ориентирующей
цией при подготовке групповой экспертизы. В практической
сти менеджера-организатора экспертизы необходимо творчески решать
вопросы коммуникации между экспертами в соответствии с условиями
поставленной задачи и условиями работы экспертной группы.
6. ОПЕРАЦИИ НАЗНАЧЕНИЯ ОЦЕНОК
Операции назначения оценок проводят после генерации и после
коммуникации с применением тех или иных способов индивидуального
опроса. От генерации операции назначения оценок отличаются
тером создаваемой обстановки. Если для генерации необходи.мо
лирование эвристических способностей экспертов, то для назначения
оценок следует стимулировать всестороннее обдумывание
ленной экспертам информации. Основным условием выполнения
рации назначения оценок является возможность независимого
вания экспертами информации, полученной после генерации или
муникации. Форма этого независимого обдумывания может быть
личной: от небольшого перерыва в работе группы до простановки
нок в домашних условиях с предоставлением результатов через
сколько дней, так называемое, «отнесение оценки». Выбор формы
сит от объема и сложности предстоящей экспертам работы.
Организатор заранее решает вопросы, связанные с назначением
оценок: разрабатывает их шкалы, способ выполнения контрольной
операции, бланки для записи и т.д. Не рекомендуется совмещать
чение оценок на 2-м и последующих этапах экспертизы с элементами
генерации. Например, в анкету, содержащую вопросы с вариантами
ответов, не рекомендуется включать предложения экспертам дописать
недостающие варианты ответов. С одной стороны, появление
ных вариантов деморализует организаторов, так как говорит о плохой
подготовке анкеты, плохом проведении операций генерации, с другой -
предложения экспертов на этом этапе трудно использовать, так как для
их оценивания всеми экспертами нужно будет проводить повторные
операции опроса.
168
7. СВОДНАЯ ТАБЛИЦА СПОСОБОВ ПРОВЕДЕНИЯ ОПЕРАЦИЙ
С ЭКСПЕРТНОЙ ГРУППОЙ
Способ
дения операции
Положигельныс стороны
Негативные стороны
2
ОРИЕНТИРОВКА
KpaiKMU доклад
по проблеме
Нет необходимости готовить
ориентирующую информацию
хтя экспертов в письменном виде.
В ходе доклада эксперты могут
задавать вопросы и докладчик
должен непосредственно разъяс-
1шть или уточнить формулировки
Эксперты могут не обратить
ние на некоторые важные положения
доклада.
Эксперты не могут в ходе доклада
всесторонне осмыслить задачу и
четко сформулировать замечания и
пре;1Ложения. дать четкую
ровку цели
Обяза1ельное
ознако.млепие
экспертов с
.материала.мн по
проблеме
Можно предоставить экспертам
всеяоз.можную информацию,
например, прогнозную.
При слишком большом объеме
ориентирующей информации
можно надеяться на то, что
перты, в основном, с ней
мятся
Невозможно убедиться, что эксперты
тщательно ознакомились с магориа-
лами. Часто эксперты, особеньчэ
высокоавторитетные, пренебрегают
знакомство.м с ориентирующей
формацией.
Имеют место большие трудноет.ч для
организатора в подготовки и
пактном представлении информации
для всех экспертов.
Есть воэ.можность при подготовке
информации упустить какой-нибудь
важный аспект и тогда вся экспертиза
окажется неверно направленной - не
достигнет основной цели
Вручение экс-
пергам
рованного
ска документов,
рекомендуемых
и качестве
ориетируюшей
информации
Д;1Я организатора подготовить
такой список намного легче, чем
компактные материалы fio
блеме.
Так как каждый эксперт может
сам выбрать желаемую
цию, повышается вероятность ее
рациональною использования.
Можно предложить каждому
эксперту догюлнить
ный список работами, с
ми целесообразно ознакомится
всем экспертам
Если подбор литературы осуществлен
односторонне, то есть с прева.тирона
нием работ определенного
ния, то возможна неверная
ция экспертов.
Возможность дсполчения списка
новыми работами ре^щ;о испо.тьзуегся
экспертами по этическим соображе-
ния.ч
169
Продолжение сводной таблицы способов проведения операций с экспертной группой
1
Выполнение
экспертами
«домашних
шданий"по
подготовке
ориентирующей
информации
Ориентировка в
форме «деловой
игры»
2
Эксперты, выполнившие
«домашние задания», глубоко
знакомятся с литературой и в
дальнейшем активно участвуют в
работе
Достигается эффективное
комление всех участников с
ентирующей информацией.
Целесообразно при оценивании
качества постоянно поступающей
новой продукции сходного
значения
3
Подготовка содержания «до.машнпх
заданий» 1ребует от организатора
хорошего знания предмета
зы.
Ввиду значительных трудностей д.1я
некоторых экспертов, не имеющих
желания выполнять «домашние
ния», возможен их отказ от участия в
экспертизе.
Суждения экспертов, выполнивших
«домашние задания», становятся в
дальнейшем доминирующими, что
чревато односторонностью подхода к
проблеме
Подготовка деловой игры требует от
организатора больших трудозатрат.
Ее проведение требует тщательной
подготовки.
Помимо участия в ориентировке,
эксперты должны будут
но участвовать в других процедурах.
Нужна уверенность в постоянном и
длительном участии каждою
та
ГЕНЕРАЦИЯ
Анкетный опрос
(заочный)
Смешанное
анкетирование
Наиболее простой способ с
низационной стороны.
Относительно просто
вать результаты опроса
Нетрудно организационно. Нет
необходимости составлять
нительную записку.
Есть возможность разъяснить
эксперту неясную постановку
вопроса
Можно получить ответы только на гс
вопросы, которые может себе
ставить организатор или лицо, его
консультировавшее. Большая часзь
информации, имеющейся у экспертов,
остается невостребованной.
При заочном опросе неизбежен
полный возврат анкет и связанный с
этим эффект селекции.
Большие сроки рассылки и возврата
анкет
Большие затраты времени
тором.
Возможно привнесение
ром своего суждения в оценки
пертов.
Обдумывание ответов эксперюм
может быть не слишком тщательным
170
Продо.чжсние сводной таблицы способов проведения операций с экспертной группой
1
Мобильное
анкетирование
Стимулирует эксперта к
нию максимальной компетентно-
С1И
Участие каждого эксперта в
постановке вопросов дает
можность получить из экспертов
даже ту информацию, которой
они не располагали в начале
работы.
Достаточно 3-5 экспертов
Большие затраты времени со стороны
организатора, который должен
нократно подготавливать новую
карту опроса, обобщая данные
дыдущих опросов
Ипгсрвыо
Не требует подготовки анкеты.
Можно получить подробные и
обос11оваи1п,1е ответы на
сы, которые хорошо знает экс-
перг
Почти никогда невозможно получить
ответы на запланированные вопросы.
Неизбежно сильное влияние
ки организатора на характер ответов
эксперта.
Уходит много времени на
ровку записей
Создание
пертами
ладных записок,
сценариев
Сценарии - эффективный способ
анализа ситуации, связанный с
относительно быстрым
ем объекта и;ш же с
стью изменений объекта от
ствий тех или иных групп людей,
организаций и т.п
Несколько сделанных сценариев
вскрывают практически все
более вероятные направления
изменений качества объекта или
же требований к этому качеству
Разработка сценария весьма 1рудна
для эксперта, ранее не выполнявшего
такую работу. Практически лишь
некоторые из экспертов могут
вить сценарии.
Трудно организовать обс>'ждекие
всех сценариев и всех вариантоп
развития, вытекающих из .каждого
сценари.ч. Практически пр.ихо;.'>ится
ограничиваться несколькими
тами, оставхшя оста;.'ьные в стороне
Способы,
занные с полным
И-1И почти
ным перебором
варианюв типа
кого анализа»
Удобно для выявления еще не
испробованных вариа1ггов
таний значений показателей,
составляющих качество объекта
(например, в изобрегательских
задачах)
Трудно гарантирова! ь полноту
явления всех возможных значений
некоторого показателя ('например',
вариантов размещения гостиничного
комплекса или вариантов
ского решения), а это озпа чг'.ет
полноту анализа.
Уже при небольшом числе .13.чгы\ в
анализ показателей число
щихся вариант ов станоЕится нгобоз-
римо большим
171
Продолжение сводной таблицы способов проведения операций с экспертной гругпюй
Мо1говая атака
В короткое время появляется
много новых идей, предложений.
Несложная организация.
Эффективна при решении задач,
у которых заранее видно много
путей решения, следует их
явить для дальнейшего анализа
Наверняка выявляются не все
можные подходы, а лишь некоторые.
Результатив1тость сильно зависит ог
способностей организатора.
Неэффективно в решении сложных
задач, требующих более или менее
точных расчетов (например,
ний качества окружающей среды при
планируемом проведении тех или
иных мероприятий)
Атака разносо.м
Сильное средство негативного
анализа для обнаружения
татков выполненного проекта
или разработки.
Несложная организация
Требует от экспертов
ного ознакомления с материалом
Требует от организатора создания
обстановки, способствующей
ности экспертов
Мозговой
шт}'рм, осада,
синектические
,методы
Повторяя мозговую атаку много
раз, можно выявить все
жения, на которые способна
данная группа.
Разделяя операции генерации и
оценивания, можно провести
наиболее полный анализ объекта
и выработать наиболее
ванную квалиметрическую
ку.
Применяя известные приемы и
разрабатывая новые, экспфтная
группа добивается значительных
успехов в решении квали.метриче-
ских, прогнозных,
ских задач
Занимаез крайне много времени.
Необходимо постоятюе участие
специалистов, профессионально
овладевших методами групповой
экспертизы.
Для организатора весьма трудоемок
анализ, который необходимо
дить после каждого заседания и
готовить новую ориентирующую
информацию к каждому заседанию
Генерация в
форме деловой
игры
Позволяет быстро провести
анализ сложных, нестандартных
ситуаций, чреватых
ми.
Стимулирует проявление
мальной ко.мпетентности
тов, поиск нетрадиционных
решений.
Может быть применена для
нивания деловых качеств
ников
Требует большой подготовительной
работы.
Занимает значительное время у
стников, особенно при повторениях.
Для организатора нере;и<о труден
анализ результатов деловой игры.
Несмотря на повторные проведения
нет увсренносги в по.тнотс выявления
возможных путей развития ситуации
172
Продолжение сводной таблицы способов проведения операций с экспертной группой
1
2
3
КОММУНИКАЦИЯ
Лицом к липу
Способ
сий
Способ обмена
мнениями
«Мини Дельфи»
Попытка согла-
сонаиия
Анонимная
аргументация
Наиболее просто с
онной стороны.
Подготовка заключается только в
формулировке обсуждаемой
проблемы
Имеется возможность
реть несколько вариантов
ния проблемы, довести
ние каждого варианта до
ского конца
Позволяет достичь coi лашения
между двумя-тремя
шимися в экспертной группе
подгруппами
Быстрота вьиюлнения
Почти исключено давление
ритетных экспертов.
Обсуждение всегда идет по делу
Удается сформулировать
новку основных задач экспертизы
в форме, приемлемой для
вавшихся подгрупп экспертов
При пересылке по почте
ты будут, по- видимому, наиболее
продуманшимн и четко сформу-
лированны.ми: могут быть
дены аргументы «за» и «против».
На заседании экспертной группы
есть возможность ответить на
возражения, разъяснить неясио-
С1И,
Применима лля качественных и
количественных данных
Обсуждение малопродуктивно, так
как большое время уходит на не
относящиеся к делу разговоры.
Весьма воз,можно давление
тетного эксперта.
Большое влияние оказывают
лее разговорчивые индивиды
Затраты времени резко возрастаю!
по сравнению со способом «лицом к
липу».
Под влиянием авторитета ipyruia
может сосредоточиться на одной идее
и отказаться рассматривать другие
Затрачиваемое время и резу,н.тат
работы сильно зависят от
стей организатора, от умения
лять нейтральность
Способ применим только к
венным оценкам.
Влияние аргументации сильно
сит от умения представителей разных
точек зрения обосновать свою
цию.
Организация диалога плохо
лизуема.
Большие затраты времени
При пересылке по почте нет
ности отвечать на аргументы и
ражения; уйдет большое время.
Если проводить на заседании
пертной группы, то трудно быстро
обобщать аргументы
173
Окончание сводной таблицы способов проведения операций с экспертной группой
1
Итерация
Ватиканский
Дельфи
2
Эффективное средство
ния рассеяния оценок, особенно
стоимостных.
Наиболее простая обработка
Быстро находится согласованное
решение.
Очень удобно для квалиметрии.
так как исключает давление
авторитета, влияние многослов-
пости, почти исключает
рование «школ» и другие
тельные эффекты
3
Применима только к количественнь'м
данным.
Приближения среднего к «истине»
практически не происходит
Применимо только лля решения
вопросов, допускающих
тивные ответы.
174
ЗАДАЧИ И ВОПРОСЫ
1. ПОСТРОЕНИЕ ПОДДЕРЕВЬЕВ СВОЙСТВ
В нижеприведенных столбцах табл. 1.1 указаны комплексные и
стные показатели качества мужских наручных часов со стрелочным
циферблатом, а также указаны группы возможных потребителей.
плексные показатели могут относиться к разным уровням дерева
свойств. Преподаватель указывает (подчеркивает) группу потребителей,
с позиций которой должна быть разработана МОК, а также некоторые
комплексные показатели, для расчета которых следует построить
деревья. Требуется составить описание ситуации оценивания и
ить соответствующие поддеревья свойств, выбрав единичные
ли и, возможно, дополнив состав показателей. Расположить показатели
в группах в порядке предполагаемого снижения весомости. При
строении можно использовать рекомендации п. 2.2. части I и
ные в списке литературы источники.
Таблица 1.1
Погрс'бигелм
Школьники
Преполава тсли
школ
С/улеиты
tIpcnoAaBa тсли
вузов
Туристы, iiyicnic-
сг пенники
Изыскатели
(геологи, геолсзи-
сты)
Алминисграция
произвола всплыл
предприятии
Комплексные
показатели
Ф\ икциональиость
Эстетичность
Эргономичность
Надежность
Информационная
выразительность
Удобство
вания
Удобство
тировки
ний
Единичные и комплексные покачагели
Автоподзавод '
Антимагнитная защита
Возможность
вания громкости звука
Гарантийный срок
службы
Герметичность
Громкость сигнала
Диаметр
Единство
ного решения
Оригинальность
(новизна) формы
корпуса
Противоударное yci -
ройство
Продолжительность
хода одною завода
пружины
Различимость показаний
при слабом освещении
Рациональность формы
корпуса
Расположение секундной
стрелки
Способность работать
при К -ЮС
Способность работать
при t > 50С
Срок безотказной
ты по
нию
175
Продолжение табл 1.1
Инженеры -
водители
водства на
ностроительном
предприятии
Инженеры-
проектировшики
Нефтяники,
рильщики
Работники
ческих
водств без профес-
сиональны.\
ностей
Работники
водств с
сиональными
вредностями
(сваршики,
муляторщики)
Работники
чих цехов
Инженеры -
водители
тельства
Работники
ческих
водств на
том воздухе
а) строительство
б) нефтедобыча
Удобство
ления на руке
Надежность
крепления на руке
Зависимость точности
хода от температуры
Установка секундной
стрелки по точному
времени
Чистота поверхности
стекла
Устойчивость к
ции
Устойчивость к
нению корпуса и
браслета
Срок безотказной
работы по
рованию
Срок безотказной
ты по точности
Сигнальное устройство
(будильник)
Толщина корпуса
Расположение секундной
стрелки
Секундомерное
ство (таймер)
Соответствие
ным тенденциям
образования и
тивность
Точность хода(ошибка
за сутки)
Усилие завода пружины
Устойчивость к
нию корпуса и стекла
Рекомендация преподавателю. При выдаче задания студенту
черкнуть одну-две группы потребителей и 1-2 комплексных показателя.
Литература: [1], [2], [9], [13], [16], [17], п. 2 части I настоящего пособия.
План отчета.
1. Задание.
2. Требования ГОСТа и другие правила выбора номенклатуры
телей качества.
3. Примененные способы формирования набора показателей качества.
Перечень показателей использованных сверх приведенного списка.
176
4. Описание ситуации оценивания.
5. Струк!ура дерева свойств для заданной группы, потребителей. ,
6. Структура поддерева для данного комплексного показателя.
2. ОБРАБОТКА ИНДИВИДУАЛЬНЫХ ГРУППИРОВОК
Даны и]щивидуальные группировки 10 объектов (например,
зателей качества), выполненные 4-мя экспертами (их указывает
даватель из числа данных 10-и экспертов). Проверить согласованность
группировок в отношении отдельных объектов, проверить наличие
«еретических» группировок и построить обобщенные группировки при
ак„= 0.5; р,р = 0,75.
Эксперты
Э1
Э2
ЭЗ
Э4
Э5
Э6
Э7
Э8
Э9
Э10
1 234
1 234
1 238
1 268
I 478
1 48
1 48
248
248
28 10
567
569
569
359
2359
23569
2369
1 359
1 569
356
89 10
78 10
47 10
47 !0
6 10
7 10
5 7 10
67 10
37 [0
1479
Рекомендация преподавателю. При выдаче задания студенту глод-
черкнуть любые 4 строчки задания, соответствующие любым четырем
экспертам.
Литература: [2], [8], [9], п. 2.2.6 части I настоящего пособия.
Плаи отчета.
1. Задание.
2. Общая последовательность действий при обработке экспертных
нок .тюбого вида. Принимаемые решения.
3. Особенности обработки группировок. Проверка согласованности з
отношении объекта и выяв;гение «еретических» лфуппировок.
4. Выполнение расчетов.
5. Построение обобщенных группировок.
177
3. ОПРЕДЕЛЕНИЕ КОЭФФИЦИЕНТОВ ВЕСОМОСТИ
ПОКАЗАТЕЛЕЙ КАЧЕСТВА СПОСОБОМ ПАРНЫХ СРАВНЕНИЙ
При оценивании 5 частных показателей качества микроклимата на
рабочем месте станочника 4-я экспертами D-ую матрицу заполняет пре-
подава1ель) получены следующие матрицы парных сравнений (табл.
3.1, 3.2), Весомость первого из сравниваемых показателей принята в
10 баллов.
Таблица 3.1
№
Показатель
1 ! ""cNiiiepaTypa воздуха
2 jj' ...;щеииосгь
3" [Подвижность воздуха
4 jVpoEeHbвибрации
5 вровень шума
8,0
6,5
8,0
4,5
6,0
7,5
2,5
2,5
3,5
3,5
7,5
6,0
7,5
4,0
5,5
7,0
2,0
3,0
3,0
3,0
2
8,0
ш
3
6,5
8,0
Ж
4
4,5
6,0
8,0
^
5
2,0
3,5
3,0
4,0
ш
Таблица 3.2
№
Показатель
1 |Те.мпсратура воздуха
2 Освещенность
!
i
3
4
5
Подвижность воздуха
Уровень вибрации
вровень шума
2
8,0
8,0
7,0
3
6,0
6,5
6,0
8,0
8,0
7,5
4
4,5
4,0
4,0
6,5
6,0
5,5
8,0
7,5
7,5
5
2,5
2,0
1,5
2,5
2,5
3,0
3,5
3,0
3,0
4,5
4,0
3,0
шшшш^.
требуется:
• проверить внутреннюю непротиворечивость оценок каждого
перта;
• проверить согласованность оценок в отношении отдельных
зателей:
• рассчитать нормированные оценки весомости.
Рекомендация преподавателю. При выдаче задания студенту
черкнуть любую из трех строчек для каждого показателя в 4-ой матрице.
178
Литература: [9], [12], ri. 2.2.4 части I настоящего пособия.
План отчета.
1. Задание.
2. Общая последовательность действий при определении коэффиц^'ентов
весомости показателей методом парных сравнений.
3. Проверка внутренней непротиворечивости оценок каждого эксперта.
4. Расчет индивидуальных коэффициентов весомости.
5. Проверка согласованности индивидуальных оценок в отно.иекии
каждого оцениваемого объекта. Выявление «еретических» оценок.
6.Расчет обобщенных коэффициентов весомости. Выявление и
ние малозначимых показателей.
4. ОПРЕДЕЛЕНИЕ КОЭФФИЦИЕНТОВ ВЕСОМОСТИ
ПОКАЗАТЕЛЕЙ КАЧЕСТВА СТОИМОСТНЫМ СПОСОБОМ
Для определения желательности различного дополнительного
рудования (или модификаций стандартного) для штанговой скважин-
ной насосной установки проведен опрос экспертов. В табл. 4.1
ставлены суммы (в абстрактных денежных единицах), которые, по :уж-
деиню экспертов, согласен доплатить потребитель к базовой стоимс,>сти
установки с минимальным набором оборудования.
Требуется:
• проверить согласованность оценок в отношении каждой пози1и1и;
• рассчитать среднее возможное повышение рыночной цены по
ждой позиции;
• отобрать 2-4 наиболее перспективных вида дополнигельногс обо
рудования и рассчитать для них нормированные весовые коэффици.;.,1ЬД
по их влиянию на качество.
Рекомендация преподавателю. При выдаче задания сгуденгу пь[-
брать из 10 экспертов 4-6 и обвести их кружками.
Литература: [А], [12], [16], п. 2.2.4 части I настоящего nocooi'-iH.
План отчета.
1. Задание.
2.Проверка согласованности индивидуальных оценсж стоимост!-! по
каждому дополнительному устройству. Выявление «еретиков» и
деление среднего.
3.Выбор устройств, обещающих наибольшую прибыль.
4. Расчет их коэффициентов весомости.
79
Таблица 4 1
Дополнительные
устройства
1. Газовый якорь
2. Песочный якорь
3. Динамометр
4. Скребки .]ля очистки труб
от отложений парафина
5. Центраторы штанг
6. Плунжер с винтовой
кой
7. Плунжер типа «пескобрей»
8. Плунжер с мягкими
нениями
9. Сгеклопластиковые штанги
10. Коррозионностойкое
полнение клапанов
Эксперты
Э|
98
90
48
0
15
22
20
35
80
62
Э2
99
87
49
0
0
25
27
40
82
60
Эз
10
85
40
0
5
20
22
37
85
61
Э4
101
82
41
0
10
27
25
35
87
65
Э5
102
80
42
0
5
30
24
40
90
65
Эб
88
87
43
20
20
27
23
42
87
62
Э7
89
85
44
20
10
25
26
45
85
60
Эи
90
82
45
20
12
22
21
42
82
70
Эч
91
80
46
20
8
20
28
40
80
67
э,,~
92
90
47
20
18
22
30
37
82
62
5. РАСЧЕТ НОРМИРОВАННЫХ КОЭФФИЦИЕНТОВ
ВЕСОМОСТИ ПО УРОВНЯМ ДЕРЕВА CBOfl[CTB
Используя подчеркнутые значения коэффициентов весомости,
денные способом парных сравнений, найти нормированные
енты весомости показателей по уровням дерева свойств.
Рекомендация преподавателю. Выбрать на каждой ветви одно
чение и подчеркнуть его.
10,0
7,5; 6,5; 5,5; 4,5
8,0; 7,0; 6,0; 5,0
8,0; 7,0; 6,0; 5,0
10,0
10,0
10,0
9,0; 8,5; 7,0; 6,5
7,5; 6,0; 5,5; 4,0
5,0; 4,5; 4,0; 3,5
180
Литература: [1], [2], [3], [9], [16], п. 2.2.5 части I настоящего
пособия.
План отчета.
1. Задание.
2. Зачем нужно производить нормирование коэффициентов весомости?
3. Расчеты и схема дерева с нормированными коэффициентами.
6. ИЗУЧЕНИЕ СВОЙСТВ ШКАЛЫ ПОРЯДКА И
ДИАГРАММЫ СДВИГА
При оценивании качества очистки сбросных вод предприятий
ределяется величина превышения загрязняющими веществами
но допусти.мых концентраций (ПДК) в этих водах. Контрольная
верка, проведенная санитарно-эпидемиологической станцией на 25
предприятиях дала результаты, приведенные в строке 2 (табл. 6.1).
сле принятия мер по очистке повторная проверка дала результаты,
веденные в строках 3-4.
Задание.
1. Характеризовать среднее превышение ПД^ на неблагополучных
предприятиях и рассеяние данных.
2. Проверить влияние принятых мер. Убедиться в достоверности
положительного эффекта. Характеризовать среднее npesbrnjeHne ПДК
после принятых мер.
Таблица 6.1
Г!рй1П]ЭИ-
ЯГИЯ
шение
ПДК
до
тия мер
шение
ПДК
после
тия мер
1
1
3,0
1
2
1
2..Ч
1
3
1
3.0
1
4
.3,5
i
5
2,3
4,0
1
6
3,0
4,5
5.0
7
4,0
5,0
7,5
8
5,0
4,5
9,0
'
5,5
2,5
1
10
6,0
8,5
1.5
п
6,5
10,0
1
12
7,0
2,0
9,5
13
12.5
1
12.0
14
13,0
1
3,5
15
15,0
8,5
1
16
10,5
2,5
8,0
17
9,5
14,0
1
18
12,
7.5
1
19
15,0
6,5
2,5
20
1
1
4,5
21
1
1
3.5
22
1
1
4,0
23
2,5
5,5
1
24
4,5
8,0
1
25
5.0
12,0
1
Рекомендация преподавателю. При выдаче задания студенту
черкнуть в произвольном порядке данные из 3 и 4 строк.
Литература: [2], [12], п. 2.2.4 части II настоящего пособия.
План отчета.
1. Задание.
2. Гистограммы распределения данных до и после принятия мер.
3. Вычисление средних и характеристик рассеяния.
4. Диаграмма сдвига. Расчет достоверности положительного эффекта.
181
ЗАКЛЮЧЕНИЕ
О содержании дисциплины «Квалиметрия и управление качеством»
в программе технического вуза
В настоящее время курс квалиметрии читается в более чем в 20
нических вузов Москвы и более чем в 60 - России. Однако, несмотря на
наличие программы, рекомендованной Госстандартом России и
ным методическим советом по специальности 072000 «Стандартизация
и сертификация» [14] содержание и объем преподаваемой дисциплины
фактически значительно варьируют. Это происходит, во-первых,
му, что рекомендованная программа предоставляет мало возможностей
для учета специфики оценивания качества продукции в различных
отраслях машиностроения и, во-вторых, в ней отсутствует ряд важных
разделов, охватывающих современные методы квалиметрии, такие, как
«экспертные методы», «квалиметрический анализ», «разработка квали-
метрических алгоритмов» и др. Содержание рекомендованной
граммы в отношении квалиметрии приблизительно соответствует
ню 70-х годов. Естественно, что преподаватели вынуждены, каждый по-
своему, выходить за рамки этой программы.
В связи с указанными обстоятельствами авторы настоящего
ного пособия считают целесообразным изложить свои взгляды на
держание дисциплины с учетом современного состояния квалиметрии и
методов управления качеством для возможных критических замечаний
и обмена опытом.
Общий объем аудиторной работы представляется рациональным в
диапазоне 68 - 84 ак. ч. Из них лекций - 50 - 60 ак. ч, практические
тия - 18 - 28 ак. ч. Внеаудиторно: самостоятельная работа (курсовая) -
10 ч.
1. Цели и задачи дисциплины.
Дисциплина входит в циклы «организация управления», а также
конструкторской и технологической подготовки специалиста.
1.1. Цель дисциплины - формирование у специалиста:
• системного представления о технической и
ческой природе качества продукции, ее показателях, методах
оценивания;
• умения решать задачи обеспечения требуемого качества
ции, возникающие при разработке новой продукции, техноло-
182
гическои подготовке производства и в процессе серийного
пуска продукции:
• знания основ построения систем качества машиностроительных
производств, стандартизации и сертификации продукции и
пользуемых в этих системах методов квалиметрии.
1.2. Задачи дисциплины. Изучение:
• методов измерения и количественного оценивания свойств,
ставляющих качество;
• методов формирования экспертных групп, получения
ных оценок и их обработки;
• приобретение навыков решения задач по количественным
пертным и статистическим) методам оценивания и контроля
качества.
2. Содержание дисциплины. Лекции.
2.1. Элементарные методы квалиметрии.
Причины зарождения квалиметрии. Цель, задачи и объекты
вания качества машиностроительной продукции. Техническая и
ально-экономическая природа качества.
Основные термины и определения. Единичные и комплексные
казатели качества продукции. Деревья свойств. Способы определения
весомости показателей.
2.2. Квалиметрическая информация.
Источники формирования состава используемых показателей.
меряемые и контролируемые показатели, обеспечивающие полноту
информации о качестве. Выполнение группировок потребителей,
тов и показателей. Квали.метрические шкалы, способы их разработки.
Допустимые статистические операции.
2.3. Разработка квалиметричсских алгоритмов.
Построение кривых влияния. Виды структуры расчетных
мов. Выбор определяющих показателей. Взаимодействие показателей и
его отражение в алгоритмах. Схемы подготовки решений. Проверки
надежности алгоритмов.
2.4. Экспертные оценки.
Виды экспертных оценок. Способы их получения, свойства,
тимые операции. Обнаружение «еретиков» и «школ». Виды связи
пертных оценок и характеристик связи.
2.5. Экспертные методы квалиметрии.
Способы отбора специалистов в состав экспертных групп. Способы
опроса экспертов. Выбор структуры экспертной группы. Правила вы-
183
полнения операций с экспертной группой: генерации, назначения
нок, коммуникации. Влияние группы на работу отдельного эксперта.
2.6. Квалиметрия продукции .машиностроения.
Особенности составления перечня показателей для продукции,
пускаемой в ассортименте. Инструментальные и статистические
бы оценивания показателей качества. Прогнозирование значений
нических характеристик машиностроительной продукции.
вание изменений потребительских требований. Переход от
тельских требований к конструктивным пара.метрам.
2.7. Основы построения систем качества продукции машиностроения.
Отечественные системы обеспечения качества продукции (БИП,
КАНАРСПИ, НОРМ, КСУКП). Причины неэффективности. Системы
ИСО-9000. Зарубежные (американские, японские) методы управления
качеством. Принцип Деминга.
2.8. Статистические методы управления качеством продукции.
Входной и выборочный контроль. Приемочный контроль.
чинно-следственные диаграммы, диаграмма Парето. Гистограммы,
диаграммы распределения, стратификация. Методы выявления причин
дефектности.
2.9. Квалиметрический анализ технологических процессов.
Выявление технологических факторов, негативно влияющих на
чество. Определение их весомости. Устранение важнейших негативных
факторов. Квалиметрический анализ как средство непрерывного
шения качества продукции.
2.10. Квалиметрия в стандартизации и сертификации
строительной продукции.
Определение сертификации по ЕСК 0021. Виды сертификации.
Функции организаций, участвующих в работах по сертификации.
мы сертификации. Измерение качества сертифицируемых объектов.
Оформление результатов сертификации (аттестат производства,
фикат соответствия, знак соответствия).
3. Практические занятия
3.1. Построение деревьев свойств.
3.2. Обработка индивидуальных группировок.
3.3. Определение коэффициентов весо.мости показателей качества
(способы вспомогательной шкалы, парных сравнений, стоимостной).
3.4. Расчет нормированных коэффициентов весомости.
3.5. Построение кривых влияния.
184
3.6. Определение типов взаи.модействия показателей и расчет
фициентов взаимодействия.
3.7. Изучение свойств шкалы порядка и диаграммы сдвига.
3.8. Квалиметрический анализ технологического процесса
строительного производства.
3.9. Построение дерева перехода от потребительских требований к
конструктивным.
3.10. Статистические методы контроля качества: расчет объема
борки, определение достоверности различия средних. Построение диа-
грам.мы Парето.
3.11. Ориентировочные расчеты объема экспертной группы.
Таково наше представление о содержании дисциплины «Квали-
метркя и управление качеством» в машиностроительном вузе. Обзор
приведенной программы и ее сравнение с содержанием настоящего
собия позволяют увидеть также, насколько большой объем работы
предстоит еще выполнить для полноценного обеспечения студентов
пособиями по данной дисциплине. Можно полагать, что когда эта
бота будет выполнена, методы квалиметрии также усовершенствуются и
потребуется создание новых пособий. Поэтому в ближайшее время
держание программы подготовки, види.мо, не достигнет меняющегося
уровня квалиметрии.
185
ПРИЛОЖЕНИЯ
Приложение I
СПОСОБ ЭТАЛОННОГО РЯДА
Все методы квалиметрии, рассмотренные в настоящем пособии,
обеспечивают возможность количественного оценивания качества
дукции только в отношении независимой оценки отдельных свойств. Но
сочетание проявления этих свойств в одном изделии, гармоничность их
совместного проявления, является самостоятельным потребительским
свойством, которое не может быть оценено только по данным о
лении каждого отдельного свойства, т.е. до создания оцениваемого
делия, или, хотя бы, его модели.
Именно поэтому при разработке нового технического объекта, после
получения им достаточно высокой комплексной оценки качества по
ничным показателям, определяют «целостную» оценку. Для ее
ния используют способ эталонного (или «базового») ряда. 1хли
ная целостная оценка оказывается недостаточно высокой, конструкция
изделия должна быть nepecMoipena
Эталонный ряд представляет собой разновидность шкалы порядка
с присвоенными градациям балльными оценками. Отличие состоит в
том, что обычно порядковая шкала содержит ряд градаций одного
казателя, а эталонный ряд составляют из объектов, обладаюищх
гими показателями, и этот ряд воплощает представления экспертной
группы о нарастании уровня гармоничности сочетания значений этих
показателей и о тенденции развития технических требований и эсгети-
ческих взглядов общества.
Для построения эталонного ряда отбирают 4-5 лучших
ных и зарубежных образцов изделий, аналогичных оцениваемому,
пример, электродвигателей определенного назначения. Путем
ния ряда итеративных процедур согласования члены экспертной rpynm:>i
располагают эти образцы в ряд по нарастанию технического и эстеги-
чсского качества. При этом образцу с наименьшим качеством
вают О баллов, а образцу наивысшего качества - 4 балла. Другим
разцам присваивают промежуточные значения числа баллов - от О до 4-х
(рис. П.1.)
Далее каждый эксперт независимо находит место нового образца,
подлежащего оцениванию, в эталонном ряду и присваивает этому
разцу соответствующее количество баллов. Количество баллов может
быть и более 4-х, если новое изделие, по суждению эксперта, превосхо-
дит по техническому качеству и совершенству форм все
щие образцы.
^С^^
Рис. п. I. Иллюстрация принципа построения и использования эталонного ряда
Полученная таким способом оценка называется «целостной»,
скольку для ее получения эксперты не проводили анализ отдельных
показателей, характеризующих качество изделия, но основывались на
целостном впечатлении.
Рхли целостная оценка превосходит высшую оценку изделий,
ставляющих ценностный ряд, и при этом комплексная оценка также
достаточно высока, то новое изделие, по-видимому, окажется
тоспособным и его следует принять к серийному выпуску.
Метод эталонного ряда рационально применять при экспертной
оценке качества объектов на этапе проектных решений, причем в эта-
лонно.м ряду также целесообразно использовать перспективные
цы лучших мировых фирм.
187
Приложение 2
ЭСТЕТИЧЕСКИЕ ПОКАЗАТЕЛИ КАЧЕСТВА
Среди специалистов, связанных с производством промышленной
продукции, еще распространено ошибочное мнение, будто красивая
форма изделия есть лишь оболочка, а основные потребительские
ства входят в компетенцию инженеров. Но это не так. Форма изделия -
не только одно из важнейших потребительских свойств, но она нередко
оказывает решающее влияние и на технологию производства, и на
курентоспособность продукции.
Роль эстетических показателей в комплексной оценке качества
ет тенденцию к росту, что связано с росто.м требований потребителей.
Это характерно как для промышленной продукции в целом, так и
бенно для продукции .массового спроса, кулыурно-бытового
ния и т.п.
Установлено, что основными эстетическими показателями изделий
массового спроса являются показатели, отражающие взаимосвязь
вне1ннего вида с функциональным назначением, в том числе с
ми эксплуатации изделий. Если этой взаимосвязи нет, то изделие самых
современных форм, отделки и т.д.. поставленное в несоответствующие
условия эксплуатации, производит неэстетичное впечатление.
В 70-х годах, когда встал вопрос о количественной оценке эсзетиче-
ского впечатления, специалисты ВНИИ технической эстетики
жили рассматривать комплексный эстетический показатель как
купность четырех показателей следующего уровня (см. рис. П.2.) с
следующим делением, как это принято для показателей других свойств.
Однако, оказалось, что для частных показателей, таких, как «Знако-
вость», «Стилевое соответствие», «Тектоничность» и другие трудно
разработать шкалу измерения, т.к. представления об их лучших и
ших проявлениях быстро меняются даже в пределах очень узких
рий потребителей. Поэтому вначале пытались организовать поэтапное
оценивание эстетических свойств двумя комиссиями, но это оказалось
слишком трудоемко и все равно не приводило к устойчивым оценкам. В
настоящее время принято следующее правило:
кая комиссия определяет по частным показателям лишь возможность
допуска изделия к оцениванию, отбраковывая явно неэстетичные
(с разъяснением исполнителю, какое именно свойство
тельно выражено). Остальные изделия гюдлежат технико-зстетичсскому
оцениванию с использованием способа эталонного ряда.
188
Знаковость
Эстетичность
Ипформалмопная
выра зитс.тышс гь
Рациональность фop^n.l
Цс'юстность компознцин
Совершенство
произволе! Ве[П!010 ПСН0.1-
нсния внешнего вида
Оригинальность
Стнлсвос соответствие
Соответствие моде
Функшюнально-коиструк-тивная
приспособленность
Целесообразность формы
Организованность объемно-пространственной
структуры
Iектоничность
Пластичность
Графическая прорнсованмость формы н элеменюв
Цветовой колорит
Гщат c.'ibHocTb покрытия и чистота от лелки
Чисгота вьнюлнсиня сочленений, скруглений и
сопрягаюищхся 1ГОверхностен
Четкость исполнения фирменных знаков,
ний упаковки и сопроводительной документации
Рис. П.2. Поллсрспо сппйсга лля эстетического показателя качества
189
Приложение 3
ОПРЕДЕЛЕНИЕ И ИСПОЛЬЗОВАНИЕ
ПОКАЗАТЕЛЕЙ НАДЕЖНОСТИ
Свойство кадежности изделия, согласно ГОСТ 27.003-83 «Выбор и
нормирование показателей надежносги» определяется безотказностью,
ремонтопригодностью, сохраняемостью и долговечностью его частей.
Безогказносгь - это свойство изделия сохранять работоспособ-
носгь в течение некоторого времени. В случае, если конкретное ггзделис
имеет низкую оценку по этому гюказателю, следует выяснить причины
отказов. Отказы целесообразно разделить на 2 группы: отказы,
ные производственно-технологическими причинами и отказы,
ные с конструктивным несовершенством изделия. Имеется еще одна
группа причин, связанных с неквалифицированным обслуживанием, но
она не связана с качество.м изделия.
Отказы 1-ой группы .можно ликвидировать, совершенсчвуя "lexHO-
логический ироцесс. Но конструктивные причины, если изделие
то к серийному выпуску, устранить очень трудно. Поэтому необходимо
на этапе технического задания тщательно проверять связь консгруктив-
ных решений с безотказностью работы.
Ремонтопригодность ~ определяет приспособленность изделия к
предупреждению, обнаружению и устранению повреждений путем
ведения технического обслуживания и ремонтов.
Сохраняемость - это свойство изделия сохранять свою
собность при транспортировании или xpanetiHn. Сохраняемость
то характеризовать у - процентом, у - процент - это процент изделий,
сохраняющих работоспособность в определенных условиях
тирования или хранения.
Долговечность - это средний срок работы в опти.мальных для
го изделия условиях (также может быть использован у-процент работы).
Примерный состав единичных показателей, сосгавляющих
ность, приведен на рис. П.З.
Все свойства, составляющие Р1адежность, отличаются от других
свойств тем, что они нужны не сами по себе, а для того, чтобы при
плуатации дать возможность проявиться другим свойствам
нальности, эстетичности и др. Ввиду этой специфичности свойство
дежности не включают в дерево свойств, а учитывают с помоьчью
эффициента использования Кж.
190
где /"(Л - Menbujee из времен морального износа Tim и срока службы 7сл.
г;' - эталонный срок службы, Т„р - часть периода существования, во
время которой объект находится в состоянии отказа или ремонта.
Для определения удовлетворенности потребителя тем или иным
значением Кж с этим коэффициентом обращаются, как с частным
зателем, т.е. строят кривую влияния различных значений Кж на качество.
В зависимости от условии использования, и в соответствии с норма-
тив[10-1ехнической документациеГ1 на данный вид изделий в дерево могут
быть включены и другие единичные показатели.
Для изделий машиностроения и приборостроения используют
же понятие «коэффициент сохранения эффективности», огфсделяемьп! в
соответствии с ГОСТ 27.003-83 (причем Km практически совпадает с /иф).
Наработка на отказ
Надежность
Ьезотказность
Ремонтопригодность
Сохраняемость
Долговечность
Ин генсивность отказов
Параметр потока отказов
Вероятность безотказной
работы в течение времени t
Средняя наработка на отказ
Среднее время обнаружения
неисправностей
Среднее время (стоимость)
выпо^шения ремонта
Средняя стоимость технического
обслуживания
у-процент сохранения при хранении
у-процент сохранения
при транспортировке
у-проиентный ресурс
у-нроцентный срок
с;|\жоы до списания
Рис. из. //(t.iu'pcno cBoiicra :t.in показите.пя надежности
191
Приложение 4
ЭРГОНОМИЧЕСКИЕ ПОКАЗАТЕЛИ КАЧЕСТВА
Эргономические показатели позволяют учитывать
ческие, физиологические и психологические свойства человека,
шающие эффективность его деятельности. Эргономические показатели
часто трудно отделить от эстетических, поэтому принятое размежевание
этих групп показателей в значительной части условно.
Эргономические показатели подразделяют (тоже весь.ма условно)
на 4 группы: гигиенические, антропометрические, физиологические
(психофизиологические) и психологические.
Гигиенические показатели выделяются наиболее уверенно, они
рактеризуют те воздействия на человека со стороны объекта
ния, которые могут привести к заболеваниям человека. Впрочем, в
дельных отраслях промышленности, там, где воздействие на здоровье со
стороны изделий незначительно, например, часовой промышленности,
имеется своя номенклатура гигиенических и вообще эргономических
показателей , ориентированная на показатели удобства.
Антропо.метрические показатели определяют соответствие
ров изделия размерам тела человека. Наибольшую роль
ческие показатели играют при оценивании качества рабочих мест,
пультов, органов управления и т.д., а также при оценивании качества
электробытовых приборов и других изделий массового потребления.
Физиологические и психофизиологические показатели
зуют соответствие изделия слуховым, зрительным, осязательны.м,
нятельным и вкусовым воз.можностям восприятия, а также силовы.м,
скоростным и энергетическим возможностям. Особо важную роль эти
показатели играют при оценивании устройств, неправильное
ние которыми ведет к авариям или катастрофам (транспортные
ва, тяжелая строительная или добывающая техника и др.).
Психологические показатели характеризуют соответствие изделия
особенностя.м восприятия, памяти, мышления человека, его навыкам.
Используют психологические показатели редко, в основном при
вании специальных устройств для авиадиспетчеров, устройств
дуального изготовления для инвалидов и т.п.
Номенклатура эргономических показателей, используемых для
мышленной продукции общего назначения, приведена на рис, П.4.
192
Освещенность
Эрюномическне
Гигиенические
рические
Вентилируемость
Температура
Влажность
Давление
Напряженность электрического и
магнитного полей
Запыленность
Радиация
Токсичность
Шум
Вибрация
Гравитационная перегрузка
Соответствие изделия
размерам тела че^ювека
Соответствие изделия
форме тела человека
Соответствие изделия
распределению веса человека
Соответствие силовым возможностям
Физиологические
(психофи-
зиологические)
—»» скоростным
—»» энергетическим
—»» зрительным ■
-»» слуховым ■
-»»-
осязательным
-»»-
-»» вкусовым и обонятельным
возможностям
Соответствие навыкам
Психологические
Соотве1ствие возможностям
ятия и переработки
информации
Рис. п. 4. Дерево свойств для эргономических показателей
193
Приложение 5
КВАЛИМЕТРИЧЕСКИЙ АНАЛИЗ ПРИЧИН ОТКАЗОВ
ОБОРУДОВАНИЯ И РАЗРАБОТКА ПУТЕЙ ПОВЫШЕНИЯ
ЕГО НАДЕЖНОСТИ
Одной из важнейших задач инженера-машиностроителя является
выявление причин отказов механизмов и разработка предложений по
повышению их надежности.
Традиционный способ решения этой задачи - сбор статистического
материала о причинах и частоте отказов оборудования. То есть,
ется собрать данные о сроках и причинах отказов исследуемого
дования, эксплуатируемого в определенных условиях в течение ряда лет.
Однако это достаточно трудоемкий способ, т.к. требуемые сведения
фиксируют в различных, иногда несопоставимых формах, найти их
трудно, и не всегда организация-производитель или эксплуатационник,
заинтересованы в разглашении этих сведений.
Для более быстрого приближенного решения указанной задачи
может быть применен квалиметрический анализ. Общий план вьиюлне-
ния работы при этом следующий.
1) Формируют экспертную группу из специалистов, длительное
время работавших в области эксплуатации изучаемого оборудования,
причем именно в тех условиях, в которых это (совершенствуемое)
рудование и предполагается использовать. Проводят обычный трех-
этапный опрос этих специалистов.
2) На первом этапе экспертов просят назвать как можно больше
факторов (причин, обстоятельств), обусловливающих отказы оборудования.
3) Составив обобщенный список этих факторов, на втором этапе
экспертов просят тем или иным способом оценить относительную
ность этих факторов с точки зрения их влияния на частоту отказов.
Оценки могут быть представлены в виде процентов отказов,
ленных данным фактором, или в виде ранжировки факторов по
сти, или в другом, удобном для экспертов, виде.
4) После проверки согласованности экспертных оценок, выявляют
наиболее значимые факторы и на третьем этапе опрашивают экспертов
относительно рекомендуемых мер по снижению их вредного влияния.
Таким образом, удается относительно быстро выйти на группу
новных факторов, обусловливающих отказы и выявить
ные пути их устранения.
Проиллюстрируем применение методики на примере анализа
дежности погружных электроцентробежнь'х насосов (ЭЦП).
194
Надо отметить, что отказы ЭЦП - одна из важнейших проблем
эксплуатации нефтяных скважин. При замене вышедшего из строя
гружного электронасоса производится подземный ремонт скважины с
рядом дорогостоящих операций по глушению и освоению нефтяного
пласта. В целом, стоимость одного подземного ремонта практически
достигает стоимости новой установки. Этим обусловлена актуальность
задачи.
1) В соответствии с указанным общим планом квалиметрического
анализа, вначале была сформирована экспертная группа в количестве 8
человек. Эксперты были отобраны способом «взаимных
ций». (Как известно (см. п. 2.3, ч. III), этот способ позволяет
вать «незри.мый коллектив», способный оперативно решать локальные
[фоизводственные задачи). В данном случае в число экспертов вошли
опытные специалисты 5 организаций, занимающихся вопросами
водства, проектирования и эксплуатации установок ЭЦН.
2) На первом этапе опрос был направлен на выявление факторов
(здесь - узлов, деталей), износ (разрушение) которых может привести к
отказам ЭЦН. Поскольку собрать экспертов для ориентировки было
невозможно, опрос был проведен способом «смешанного
ния» с выдачей экспертам заданий на до.м по заполнению анкет (на всех
этапах).
Экспертами было указано 25 возможных факторов (причин)
вающих отказы ЭЦН. Обработка состояла в построении «дерева»
чин отказов Э1Щ («дерева факторов», влияющих на надежность) (рис. П.5).
3) На втором этапе были найдены оценки относительного вклада
различных причин в отказы элементов и относительного вклада
ментов в отказы узлов. «Дерево факторов» было представлено
там в качестве ориентирующей информации, а оценки вклада оказалось
удобным выражать в процентах от общего числа отказов по данной
группе. nojiy4eHHbie оценки (после проверки их согласованности) были
усреднены и рассчитанные обобщенные оценки приведены на рис. П.5.
Вклад различных элементов в общее число отказов ЭЦН можно
глядно продемонстрировать с помощью диаграммы (рис. П.6).
Оценки, приведенные на рис. П.5 и проиллюстрированные с
щью рис. П.6,1юказывают, что главная часть отказов ЭЦН обусловлена
износом рабочих органов D5,4 %). Подавляющее большинство отказов
этих деталей сконцентрировано вокруг поверхностей трения. Из этого
следует, что для повышения надежности ЭЦН, в первую очередь,
ет повысить износостойкость трибосопряжений.
195
Коррозия наружной паверхносги 46.4
Остальные детали
ЭНН 100
31,4
Рабочие органы
45,4
Подшипниковые
узлы 23,2
Корпус 8,6
Головка (отворот) 9,6
Износ внутренней поверхности при
100%-ом износе обоймы направляюшек^
аппарата 53,6
Основание (отворот) 20,4
Вал 26.4
Шлицевая муфта
(срыв шлицев) 5,7
Слом 23,6
Срыв шлицев 20,4
Износ после 100%-го износа защитной
втулки 56
Шпонка (срез) 8,3
Узел пятьг 21.0
)-!аправляюший аппарат 40,9
Втулка защитная вала 28,7
Рабочее колесо 30,4
Втулка подгиипника (износ) 38
Срез штифтов 55,2
Двусторонний износ пягы 44,8
Износ расточки ступицы 58,4
Износ нижнего подпятника 19,0
Износ верхнего подпятника 6.8
Износ внутренней поверхности чашки 4,3
Ридроабразивный износ лопастей П.5
Износ нижней шайбы 54,2
Износ верхней шайбы 15,5
Износ уплотннтельно10 кольца 19,7
Гидроабразивный износ лопастей 10,6
8
Концевая радиальная опора (износ) 30,2
Промежуточная опора (износ) 31,0
Рис. п.5. «Дерево» причин отказов ЭЦП («дерево факторов», негативно влияющих на
надежность ЭЦН) с обобщенными экспертными оценками их «весомости»
4) Поиску путей решения этой задачи был посвящен третий этап
опроса экспертов.
В качестве ориентирующей информации экспертам был
лен перечень элементов рабочих органов и соответствующих им причин
отказов, по содержанию аналогичный уровню «дерева факторов»
«Рабочие органы» (рис. П.5).
Эксперты должны были по всем или некоторы.м из выявленных
причин отказов для соответствующего элемента предложить те или
иные методы повышения надежности. Полученные результаты
ставлены в нижеследующем списке и в табл. П.1.
196
Рис. п. 6. Вклад леталси ЭЦН в общее чиаю отказов насоса
1. Методы поверхностного упрочнения
1.1. Нанесение диффузионных покрытий, легированных бором
(нитридом бора)
1.2. Нанесение специальных покрытий с использованием
вочных износостойких материалов на основе нитрида бора
1.3. Плазменное напыление металлокерамики
1.4. Напыление износостойких сплавов электрометаллизацией
1.5. Нанесение покрытий на основе порошковых полимерных
териалов
1.6. Микродуговое оксидирование
197
/. 7. Лазерное модифицирование
1.8. Применение промежуточной втулки с упрочнением
1.9. Дифференцирование свойств ма териала по объему детали на
стадии отливки за счет закладывания в литейную форму
состойких контуров
1.10. Эпоксидное покрытие
1.11. Нанесение комплексных композиционных ма териалов на
нове твердосплавных и керамических порошков методом
тролитического осаждения
1.12. Химическое никелирование
1.13. Химико-термическая обработка
2. Изготовление деталей целиком из износостойких материалов
2.1. Использование пар трения «ZrOi - ZrOi», «SiC - ZrOj», «SiC
SiC»
2.2. Изготовление деталей из нирезиста с повышенным
ным содержанием Ni C0 %) и Сг E %)
2.3. Применение порошковой технологии
2.4. Применение хромоникелсвых сталей
2.5. Приме1шие материала тина «Райтон» (полимер на основе по-
л исуль фонов)
3. Конструктивные решения
3.1. Увеличение длины расточки ступицы направляющего ап/гара-
T'd
3.2. Создание гидродинамической пяты
3.3. Исключение всплытия рабочего колеса за счет обеспечения
только положительной осевой силы
3.4. Установка на поверхности чашки направляющего аппарата
негюдвижных радиальных ребер
3.5. Установка щелевого уплотнения между нижней пазухой и
ходом из рабочего колеса
3.6. Уточнение соответствия направления потока входному углу
лопатки
3.7. Увеличение толщины шайбы рабочего колеса для повышения
радиуса
3.8. Утолщение цилиндрической стенки на периферии нижней
зухи направляющего аппарата
3.9. Снижение попадания песка откачиваемой жидкости за счет
тановки нротивопесочиых фильтров под насосом
198
ГаГ/.1111Ш П.I
Рекомендуемая ou.iacrb применения
визмижныч меюдов повышения надежности рабочих органов 3LIH
Деталь, поперхиосгь
1 Напраиляющин аппарат
1.1. 11 iHoc расточки сгуиицы
12. И inoc нижнего подпятника
1 3. И шос верхнего подпятника
1.-) Ичмос виугреиней поверхносги чапдки
1 .^. Гилроабра1ивныГ| ичнос лопастей
2 В гулка !ап1И1ная вала (njnoc поверхности тре1Н1я)
_1. Рабочее колесо
3 1. И .шос нижней 1паЛбы
3 2. И тос верхней шайбы
З.'т. lliHoc уп.тотнптсльпо! 0 кольца
3.4 Гилроабразпиный n.inoc лопастей
Метод (обозначение по сппск\)
1
1
1
1
1
1
1
1
1
1
1
1
10, 1.11, 1.12, 1.13, 1,2.2,2.3,2.4
1, 1.3, 1.4, 1.6, 1.7. 1 8, 1.9. 3.1
2, 1.3, 1.4, 1.7, 1.9,2 3.2
2, 1.3, 1.4, 1.7, 1.9,2 3.2.3.3
1, 1.7, 1.9, 2,3.4, 3.5 3.8, 3.9
5, 2, 3.7, 3.9
1, 1.3, 1.4,2.2.3
10. 1.12, 1.13,2.2.2.2.3,2.4.2.5
1, 1.3, 1.4, 1.7. 1.9,2 3.2.3.7
1. 1.7. 1.9, 3.2, 3.5. 3 7
1, 17. 1.9 2
5, 3.7. 3 9
Руководствуясь результатами квалиметрического анали:(а, принято
решение об экспериментальном исследовании эффективности
ния для повышения надежности погружного оборудования методов
электромсталлизации A.4) и плазменного напыления A.З.). Именно эти
методы были внедрены в производство.
Выводы.
1. Метод квалиметрического анализа для решения вопросов
мизации процедуры выявления деталей, ответственных за отказы
лий машиностроения, и причин этих отказов показал свою
ность и заслуживает дальнейшего изучения его возможностей.
2. Квалиметрическнй анализ позволил опти.мизировать выбор
собов и методов повышения надежности отдельных деталей
центробежного погружного насоса.
3. Реализация квалиметрического анализа заняла один месяц, тогда
как при обычных способах инженерно-технического анализа или сбора
и обработки статистических данных подобная работа могла быть
полнена tie менее, чем за год.
Литература: [17].
199
Приложение б
ПРИБЛИЖЕННЫЙ РАСЧЕТ ЧИСЛА ЭКСПЕРТОВ ИЗ УСЛОВИЯ
ТРЕБУЕМОЙ ПОЛНОТЫ ВЫЯВЛЕНИЯ ПРЕДСТАВЛЯЕМЫХ
ИМИ ДАННЫХ
Расчет числа экспертов на полноту выявления данных, относяпи1хся
к объекту оценивания, выполняют в начале экспертизы, еще в ходе
нерации, или сразу по окончании ее, когда нужно Х01я бы
тельно определить, достаточен ли намеченный объем экспертной
пы для вы5:вления с требуемой полнотой необходимых для оценивания
данньЕх.
Под «данными» (или «предложениями») понимают ту совокупность
однородных сведений, которую должен представить эксперт в
те генерации, согласно цели экспертизы. Это могут быть показатели
свойств объекта оценивания, составляющих его качество; внешние
торы, влияющие на качество; возможные решения в отнои]ении объекта
оценивании и т.п.
При подобных расчетах всегда предполагают, что все экспергы
примерно одинаково продуктивны, обладают некоторым объемом
щей для всех информации, среди них нет «гениев», значительно
ходящих других экспертов по объему знаний или творческим
стям. Предполагают также, что опрос экспертов проведен единообразно
и методически безупречно, так что данные, которыми располагал
перт на момент опроса, выявлены полностью. Именно наличие этих
предпосылок (которые, конечно, всегда выполняются приблизительно)
обусловливает приближенный, ориентировочный характер и результат
расчета.
Изложенный далее способ расчета не является стандартным. Он
лишь иллюстрирует, какими соображениями может руководствоваться
организатор при расчетах, связанных с определением необходимого
числа экспертов в ходе генерации, осуществляемой способом анкетного
опроса. При использовании иных способов опроса экспертов или
гих видов назначаемых ими оценок способы расчета требуемого числа
экспертов также могут бьггь иными.
Общие условия зада чи
Пусть при индивидуальном анкетном опросе группа из Л'экспертов
генерировала ет^ дат1ых, относящихся к объекту экспертизы,
рые из которых по содержанию совпадают друг с друго.м. Из них л?'!,'
200
данных предложены одним экспертом (т.е. не совпадают по содержанию
ни с какими данными, предложенны.ми другими э.кспертами), т'1]
ных - двумя экспертами и т.д. Наконец, /п'^'' - число данных,
женных всеми экспертами, каждое. Понятно, что m"^+m'^+...+m^J^=w^,.
Появляется GV+1)-h эксперт.
Спрашивается: насколько возрастает количество содержательно
рахжчных предложений, учитывая, что большая часть того, что мог бы
предложить (Л'+ 1)-й эксперт, уже предложено?
Пример П. I.
При анкетном опросе пяти инженеров относительно путей
ния надежности изделия было получено 26 предложений, причем
торые выдвинуты несколькими, или даже всеми, инженерами, так что
содержательно различных предложений оказалось 10 (см. рис. П.7)
На рис. П.7 приведена схема выдвижения предложений N=5
пертами. Всего выдвинуто /пл = 26 предложений, хотя различных по
содержанию всего Л/= 10. Числа предложений по количеству
нувших экспертов следующие: /п',"=3; nif^=6; п]'^'=3; л?"'=4; mf'=\0.
При появлении новых экспертов возможны следующие случаи.
1) Вероятность появления содержательно новых данных постоянна:
каждый привлекаемый эксперт вносит одно или несколько
тельно новых предложений.
} очевидные
\ известные
неочевидные
особые
Номера
пред.'1ожений
1
2
3
4
5
6
7
8
9
10
Э| 1 Эз ; Э.1 ; Э4 ; Эз
+ ! + : + ! + ; +
+ : + : + : + ; +
+ : + '■ + : : +
+ • ■ ! + • +
i ■ ! + • +
■ • + : + •
+ : I + ■ :
1 1 + : ;
■ + : : ■
+ • : : :
Pfic. п. 7. Иллюстрация к примеру расчета чиаш экспертов.
«+» - предложения, выдвинутые каждым экспертом
В этом случае количество существенно новых данных
но растет. Экспертизу вести невозможно. Необходимо сузить задачу
20!
квалиметрического анализа или выделить в объекте оценивания
ны, оцениваемые по отдельности.
2) Вероятность появления содержательно нового предложения тем
меньше, чем больше количество уже имеющихся предложений, и
вательно, чем больше число экспертов.
В этом случае возможно условие: число экспертов (Л'+ К)
ся достаточным, если вероятность Р,\+/{ появления содержательно ноьо-
го предложения с привлечением Л'-го эксперта (сверх уже имеющихся Л-'
экспертов) становится меньше заранее принятого значения а.
Итак, расчет возможен только применительно к случаю 2J.
новка задачи при этом следующая: опрошено TV экспертов (результаты
приведены выше); сколько еще экспертов К следует опросить, чтобы
вероятность P^■+к появления содержательно нового предложения стала
меньше а ?
Вариант решения
Предлагаемое решение этой задачи базируется на оценке, по
ным данным, величины л, которая показывает, во сколько раз
шается вероятность появления содержательно новых данных с
чением в группу нового эксперта. Найдем оценку этой величины. Для
простоты понимания будем записи в символьной форме сразу
ждать числами, взятыми из примера П.1.
Решение. По экспериментальным данным видно, что в группе
Л/= 10 содержательно различных предложений имеется Л/',"=2
ложения, выдвинуть!х всеми экспертами. Назовем их «очевидными».
Предложения, выдвинутые большинством экспертов, но не вселт,
Л/^'-н ^/'5''= 1 +1 = 2 назовем «известными». Предложения, выдвинутые
меньшинством, в данном случае, двумя экспертами ,Д^'/'=3, назовем
«неочевидны.ми». И, наконец, предложения, выдвинутые (каждое) лишь
одним экспертом, Л/|,"=3 , назовем «особыми».
Заметим сразу, что очевидные и известные прелложе1шя в
ших расчетах не следует принимать во внимание: эти предложения
текают из тех сведений, которые являются общими для всех
стов, например, почерпнутые из учебно-справочной литературы. Нам
же нужны предложения, базирующиеся на личном опыте работы,
собностях, интуиции.
Среди всех предложений (включая содержательно совпадающие).
вь:двинутых меньшинством экспертов т^^'+ m'f=?,^b = 9, особыми явлл-
202
ются 3 предложения. Таким образом, оценка вероятности появления
особых предложений среди всех предложений, предложенных
ством, в группе N- 5 экспертов, будет:
P^=_Z£^ _1. = о,зз.
т\"+т[" 3 + 6
Образуем теперь из группы в 7V = 5 экспертов всевозможные
группы по Л'^- 1 =4 эксперта (этих подгрупп будет пять) и для каждой
из них подсчитаем число особых mf и неочевидных /и*/' предложений.
Нетрудно убедиться, что эти числа будут 4, 4, 4, 3, 2 и 6, 4, 2, 6, 6.
вательно, оценка вероятности появления особых предложений в группе
из 4-х экспертов будет
Р,- ^-., г = -—^ = 0,41 .
^(/M"+/77f) 17 + 24
OiiiomeKue Ръ к Л и дает оценку величины X - коэффициента
уменьшения вероятности появления особых предложений с переходом
от /V- i экспертов к Л^экспертам в группе:
/'л, Р^ 0,41
Предположим, что значение \ сохраняется с увеличением числа
экспертов (хотя, как правило, оно при этом уменьшается). Тогда оценки
вероятности появления особых предложений с привлечением (iV+l)-ro,
(.л/|-2)-го, ... , (TV+iQ-ro экспертов будут:
Л., - Ял- X л; Л...2 = Л' X >^'; ... ; Ачл- = Pn X ^'^
или для нашего примера:
Рб-0,33x0.81 =0,27; Л = 0,33 х 0,8 Р = 0,22; ... ; Л^/г^ 0,33 х 0,81'^.
Осчается найти такое К- число вновь привлекаемых экспертов, при
котором PsfK становится меньше или равно а (возьмем, а=0,05):
откуда
^,_lna-lnP,_-2,9%-(-l,109)_g^^
In А -0.211
Итак, для достижения поставленного условия следует привлечь к
работе еще 9 специалистов, или всего 14 человек.
203
Заключение
Обратим внимание на то, что все допущения рассмотренного
соба решения ориентированы на расчет «с запасом». То есть, принимая
постоянство >^ или же, предполагая всех экспертов одинаково
тивными, мы заведомо шли на завышение требуемого количества
пертов. В действительности (при правильно проведенном отборе
пертов) вначале в экспертную группу попадают наиболее сведущие
циалисты, которые представляют максимальную информацию.
каемые далее эксперты все менее продуктивны уже потому, что область
их профессиональных интересов удаляется от цели проведения
тизы. Это, в частности, приводит и к уменьшению X.
Таким образом, рассмотренный вариант решения дает завышенный
объем экспертной группы. И не следует стремиться создать огромную
экспертную группу. Главное - подробно опросить каждого эксперта,
выявить наиболее полно его суждения, рационально организовать
мен мнениями, а не привлечь как можно больше экспертов. Поэтому
и превьппать рассчитанное количество экспертов заведомо не
разно.
204
Приложение 7
СТАТИСТИЧЕСКИЕ ТАБЛИЦЫ
Критические значения Х'кр для числа степеней свободы /:
/:
X" •"
у- ;,.
1
3,84
2,71
2
5.49
4,61
3
7,81
6,25
4
9,49
7.78
5
11.1
9.24
6
12.6
10.6
7
I4.I
12.0
8
15.5
13.4
9
16.9
14,6
10
18.3
15.8
2. Значения коэффициента t Стьюдента для вычисления
роннего доверительного интервала для математического ожидания при
числе степеней свободы /:
/ 1 2 3 4 5 6 7 8 9 10 12 14 16 18 20 25 30 100 х
Ьл 12.'71 4.30 3.18 2.78 2.57 2.45 2.36 2.3! 2.26 2.23 2.18 2.15 2.12 2.10 2,09 2.06 2.04 1.98 1.96
\,. 6.31 2.92 2.35 2.13 2.01 1.94 1.89 1.86 1.83 1.81 1.78 1.76 1,75 1.73 1.72 1.7; 1.70 1,66 1,64
205
„In 1 ера 1 ура
1. Алтльдов Г. Г. Теория и практика оценки качества товаров
(основы квалпметрии). М. «Экономика». 19S2
2. Азтльдов Г. Г. Квалимет]эия для менеджеров. Части 1.2
-М.. 19%
3. Андрианов Ю. М.. Субетто Л. И. Квалимегрия в ирнборосгрое-
нии и машиностроении - Л. «Ма1ииностроение», 1990
4. Андрианов Ю. М. Квалимегрия машиностроительной продукции -
Л. «Ма111иносгроение», 1990
5. Всраш В. Г. Интеграция производства и \:1равления качеством
продукции М. Издательство стандартов. 1982
6. Гличсв Л. В. Иаучиос обеспечение pemeiuiH пробле.чп:.! качества:
российска? специфика//Стандарты и качество - 1994, .Чу И)
7. Гличев А. В. Концептуальные подходы к решс}П1ю проб.чем
ства в современных условиях и проблемы .ЛПК // Стандарты и качество
1996. Л'о 12
8. ГО<?Г 22851-77. СУКИ. Biji6op номенк-тагурь! показателей
ства промьицленнон продуктит М, 1978
9. ГО(."Т 23554.2-81. Экспертные .методы оценки качества товаров
М., 1982
10. Исикнви Киору. Японские методы управления качество.м.
.VI. Издательство стандартов, 1988
11. Князев В. Т. Междунаро.тные стандарты по качеству 11С()-900()
(методическое пособие). М. Издательство стандартов, 1993
12. Литвак Б. Г. Экспертные оценки и нр!тятт1е реи:сний.
М. «Патент», 1996
13. Морозов Б. М.. Ликшии И. И. Вопросы теории и практика
KOMiijicKCHbix оценок качества машиностроите,чьной продукции.
М.М.ЛДИ, 1983
14. При.мерные учебные про1раммы по специальности 072000. Ква-
лимстрия и управление качеством // Метрология, стандартизация и
тификация в ВУЗах России - М. Издательство стандартов. 1998
15. Харрингтон Дж. Управление качество.м в американских корпо-
рация.х. -- М. «Экономика», 1990
16. Шишкин И. Ф. Стаиякин В. М. Квалимегрия и управление
ством (учебник для машиностроигельньтх вузов) - М. ВЗПИ, 1992
17. Я1елло О. И. Ква;п1метр1!ческпй анализ и разработка пу теГ)
вышения .тадежностн отдельньтх деталей э.тектроцентробежного
гружного насоса // Методы менеджмента качества - Надежность и ь.о.ч-
троль качества, - 1999,.\'у 10
206
СОДЕРЖАНИЕ
Ввкдкник 3
Часть I. КВЛЛИМЕТРИЯ Ш'ОМЫШЛЕННОЙ ПРОДУКЦИИ 13
в чем специфика и особое значение квалиметрии
промышленной продукции? 13
Основная схема квалиметрии 17
Что собой представляют ■iaдaчи но квалиметрии? 2!
1, Терминология 22
2. Построение дерева свойсгв 27
2.1. Составление описания ситуации оце1н-1Еания 27
2.2. Действия при построении дерева свойств 29
2.2.1. Как составить возможно более полный перечень
показателей 29
2.2.2. Особенности составления перечня показателей
качества для продукщ^и, выпускаемой в ассортименте 31
2.2.3. Правила построения деревьев свойств 33
2.2.4. Способы назначения коэффициентов весомости 40
2.2.5. Определение нормированных коэффициентов весомости 47
2.2.6. Выполнение группировок 49
2.2.7. Ограничения применения дерева свойств 52
Часть II. ШКА.П1Ы ч.лстных пок.азатглей и элементарные
опЕР.чции овр,и;огки опенок 57
1. Построение шкал измерений 57
1.1. Общие сведения о шкалах 57
1.2. Воспроизводимость 58
1.3. Чувствительность (подробность) шкал 60
1.4. Валидность (обоснованность) шкал 61
1.5 Последовательность составления шкалы 61
2. Различные типы шкал 62
2.1. Шкала наименований 62
2.1.1. OcHOBiibie характеристики и основные вопросы 62
2.1.2. Типичные задачи обработки данных, полученных
3 игкале наименований, и фор.мулы для их решения 65
2.1.3. Статистическая связь между показателями,
измеренными по шкалам наименований 70
2.2. Шкала поря.ака 73
2.2.1 Общие свойства шкалы. Различные формы
1гос,^,ставления градаций 73
207
2.2.2. Основные статистические харак1еристики оценок
и типичные задачи обработки данных
2.2.3. Статистические связи показателей,
измеренных по шкалам порядка
2.2.4. Диаграмма сдвига
Часть III. Отбор ЭКСПЕРТОВ
1. Способы отбора специалистов в состав экспертных групп
1.1. Важнейший вопрос организации групповой
квали.метрической экспертизы
1.2. Грулпы способов отбора экспертов
2. Способ),! определения первоначального круга
кандидатс1В в эксперты
2.1. Способы назначения
2.1.1. Непосредственное назначение заказчиком экспертизы .
2.1.2. Назначение по выбору эксперта - руководителя группы
2.1.3. Назначение комиссией, состоящей из руководителей
экспертнь;х групп
2.2. Документальные способы
2.2.1. Отбор по критерию максимальной авторитетности
2.2.2. Отбор по условию полноты охвата проблемы
2.3. Способы взаимных рекомендаций
2.3.1. Способ взаимных рекомендаций («снежного кома»)
2.3.2. Способ взаимных выборов
2.3.3. Способ последовательных
рекомендс1Ций («прогнозного дерева»)
2.4. Способы выдвижения
2.4.1. Выдвижение экспертов коллективами подразделений ...
2.4.2. Выдвижение экспертов заинтересованными
организациями (способ «кота в мешке»)
2.4.3. Способ максимального соответствия
2.4.4. Способ «фокус-групп»
3. Способы отбора экспертов из сформированного банка данных
по кандидатам в эксперты
3.1. Способы, основанные на использовании коэффициентов
компететности
3.1.1. Оценивание со стороны коллег
3.1.2. Коэффициент компетентности как функция
доку.ментальных оценок
3.1.3. Отбор экспертов по результатам тестирования
208
3.1.4. Отбор экспертов по результатам участия в деловых играх ... 112
3.1.5. Использование «рейтинга» эксперта 113
3.2. Отбор экспертов но их самооценке 114
3.2.1. Самооценка по направлениям 114
3.2.2. Самооценка по объекту экспертизы 115
3.3. Способы, основанные на минимизации расхода ресурсов 116
4. Сводная таблица способов отбора экспертов 117
Часть IV. Индивидуальный ОПРОС ЭКСПЕРТОВ 122
1. Организационные задачи индивидуального опроса экспертов 122
2 Способы опроса 123
2.1. Заочное анкетирование 123
2.1.1. Общие рекомендации но применению 123
2.1.2. Структура анкеты 125
2.1.3. Порядок расположения вопросов в анкете 126
2.2. Смешанное анкетирование 128
2.3. Мобильное а]1кстирование 128
2.3.1. Вариант мобильного анкетирования - способ
«круговой лапты» 129
2.4. Ишервью 130
2.5. Косвенный опрос 131
Заключительные замечания 132
Часть V. 0ПКР.\ЦИИ с ЭКСПЕРТНОЙ ГРУППОЙ 134
1. Основные экспертные операции и задачи организатора 134
2. Общий план групповой экспертизы 137
2.1. Типичная последовательность экспертных операций 137
2.2. Пилотажная экспертиза 140
3. Ориентировка 141
3.1. Сущность и роль ориентировки 141
3.2. Задачи организатора при проведении ориентировки 142
3.3. Формы ориентировки 143
3.4. Качество проведенной ориентировки. Ее влияние
на оценки экспертов 146
4. Генерация 146
4.1. Назначение генерации и ее особенности 146
4.1.1. Вопрос о достаточности данных 147
4.1.2. Вопрос о выборе необходимых данных
(«оп,:еделяющих» показателей) 148
4.2. Общая организация генерации 149
209
4.3. Особенности основных способов генерации
4.3.1. Морфологический анализ
4.3.2. Мозговая атака
4.3.3. Мозговой штурм и мозговая осада
4.3.4. Атака разносом
4.3.5. Синектические способы
4.4. Совмещение генерации с другими операциями
4.4.1. Способы генерации, основанные
на участии экспертов в деловых играх
4.4.2. Генерация по способу «нормативного прогноза»
5. Способы организации обмена информацией между
экспертами (способы коммуникации)
5.1. Общие принципы и особенности коммуникации
5.2. Способы открытого обмена информацией
5.2.1. Способ «лицом к лицу»
5.2.2. Способ «комиссий»
5.2.3. Способ обмена мнениями
5.2.4. «Мини-Дельфи»
5.2.5. Попытка согласования
5.3. Способы анонимного обмена информацией
5.3.1. Анонимная аргументация
5.3.2. Способ итерации
5.3.3. «Ватиканский Дельфи»
6. Операции назначения оценок
7. Сводная таблица способов проведения операций
с экспертной группой
Задачи и вопросы
1. Построение поддеревьев свойств
2. Обработка индивидуальных группировок
3. Определение коэффициентов весомости показателей качества
способом парных сравнений
4. Определение коэффициентов весомости показателей качества
стоимостным способом
5. Расчет нормированных коэффициентов весомости по уровням
дерева свойств
6. Изучение свойств шкалы порядка и диаграммы сдвига
Заключение. О содержании дисциплины «Квалиметрия
и управление качеством» в программе технического вуза
210
Приложения 186
Приложение 1. Способ эталонного ряда 186
Приложение 2. Эстетические показатели качества 188
Приложение 3. Определение и использование показателей
надежности 190
Приложение 4. Эргономические показатели качества 192
Приложение 5. Квалиметрический анализ причин отказов
оборудования и разработка путей повышения его надежности 194
Приложение 6. Приближенный расчет числа экспертов из условия
требуемой полноты выявления представляемых ими данных 200
Приложение 7. Статистические таблицы 205
Литература 206
211
Серия
«Упраа.1енне качеством, стандартизация и cepi пфикация»
МЕТОДЫ КВЛЛИМЕТРИИ В МАШИНОСТРОЕНИИ
Учебное пособие
Под редакцией акад. РИА. проф. В. Я. Кершеибаума
акад. АПК, проф. Р. М. Хваслупона
Редактор Л. Л. Суаридзе
Ко.ушьютерная верстка О. И, Ягелло
МФ «Те.чпоиефтегаз»
117917, Москва, Ленинский пр-г., д. 65
Лицензия .Ni? 071625 от 14.04.98
Подп. в печать 09.09.1999 Заказ 219 Формат 60x84/16
Объем 13,5 печ. л. Тираж 500 экз. Уч.-нзд. л. 13
Отпечатано в типографии издательства «Нефть и газ»
Москва. Ленинский пр-т., л. 65, Р1Л' нефти и газа им. И. М. Губкина