Математико-статистические методы экспертных оценок - Бешелев С.Д., Гурвич Ф.Г.

Автор: Бешелев С.Д. Гурвич Ф.Г.
Теги: теория вероятностей математическая статистика комбинаторный анализ теория графов статистика математическая экономика прикладная статистика статистический анализ
Год: 1980
Похожие
Примеры и задачи по технологии переработки эластомеров
Гидродинамика вспомогательных трактов лопастных машин
Справочник металлиста Т.5
Термоэлементы и термоэлектрические устройства: Справочник
Текст
                    PQ
а
о
х
Ж
о
X
о
*
СП
а.
к;
s
О
«
ш
я*
S
£
%
ж
' *
С. Д. Бешелев, Ф. Г. Гурвич
МАТЕМАТИКО-
СТАТИСТИЧЕСКИЕ
МЕТОДЫ
ЭКСПЕРТНЫХ ОЦЕНОК
Издание второе,
переработанное и дополненное
МОСКВА «СТАТИСТИКА» 1980
ББК 22.172
Б57
Редколлегия серии
«Математическая статистика
для экономистов»
А. Я. Боярский, И. Г. Венецкий, Н. К. Дружинин,
А. М. Дубров, Ю. Н. Тюрин.
Б57
Бешелев С. Д., Гурвич Ф. Г.
Математико-статистические методы эксперт-
ных оценок. — 2-е изд., перераб. и доп. — М.:
Статистика, 1980. — 263 с., ил.— (Матем. стати-
стика для экономистов).
1 р. 10 к.
Рассматриваются основные методы и процедуры обработки
суждений экспертов при подготовке технико-экономических реше-
ний. Второе издание дополнено разделами, посвященными оценке
взаимосвязи качественных признаков, проблемам принятия много-
критериальных решений, анализу риска при выборе альтернатив
и др. Для экономистов, статистиков, социологов, инженеров, пре-
подавателей и аспирантов экономических вузов.
10805—063
Б --------------23—80
008(01 )-80
1702060000
ББК 22.172
517.8
© Издательство «Статистика», 1974
©Издательство «Статистика», 1980
Введение
Рост масштабов и темпов развития народного
хозяйства, качественные сдвиги в экономике, необходи-
мость повышения эффективности и качества работы
предъявляют новые, более высокие требования к управ-
лению всеми звеньями народного хозяйства. Вопросы со-
вершенствования методов управления приобретают сей-
час особо важное значение, поскольку именно в этой сфе-
ре имеются еще большие резервы роста эффективности
народного хозяйства.
Существенным фактором повышения научного уровня
управления является применение при подготовке реше-
ний математических методов и моделей. Однако полная
математическая формализация технико-экономических
задач часто неосуществима вследствие их качественной
новизны и сложности. В связи с этим все шире исполь-
зуются экспертные методы, под которыми понимают
комплекс логических и математико-статистических мето-
дов и процедур, направленных на получение от специ-
алистов информации, необходимой для подготовки и вы-
бора рациональных решений. Экспертные методы приме-
няются сейчас в ситуациях, когда выбор, обоснование
и оценка последствий решений не могут быть выполнены
на основе точных расчетов. Такие ситуации нередко воз-
никают при разработке современных проблем управле-
ния общественным производством и особенно при прогно-
зировании и долгосрочном планировании науки, техники
и экономики.
В ходе развития общественного производства возра-
стают не только сложность управления, но и требования
к качеству принимаемых решений. Для того чтобы повы-
сить обоснованность решений и учесть многочисленные
факторы, оказывающие влияние на их результаты, необ-
ходим разносторонний анализ, основанный как на расче-
та*> так и на аргументированных суждениях руководите-
лей и специалистов, знакомых с состоянием дел и пер-
ч
спективами развития в различных областях практической
деятельности. Применение экспертных методов обеспечи-
вает активное и целенаправленное участие специалистов
на всех этапах принятия решений, что позволяет сущест-
венно повысить их качество и эффективность.
В этой книге, посвященной различным аспектам тео-
рии и практики экспертных оценок, основное внимание
уделено математико-статистическим методам, применяе-
мым для обобщения и анализа информации, получаемой
от специалистов. Кроме того, в ней рассматриваются и
слабо освещенные в отечественной литературе предпо-
сылки использования экспертных оценок, основные прин-
ципы подбора экспертов, логические приемы и математи-
ческие методы анализа согласованности оценок, получен-
ных от группы специалистов, а также некоторые совре-
менные методы подготовки рациональных решений с по-
мощью экспертов.
Предполагается, что читатели знакомы с основами
теории вероятностей и математической статистики.
Новое издание книги значительно переработано и до-
полнено: увеличено число примеров; значительно расши-
рена четвертая глава, в которой рассматриваются про-
блемы повышения согласованности и достоверности
экспертных оценок; написана заново глава, посвященная
принципам применения экспертных методов при подго-
товке и выборе решений.
Авторы будут считать свою цель достигнутой, если
книга окажется полезной при решении современных тех-
нико-экономических и хозяйственных задач.
Глава 1
ПРЕДПОСЫЛКИ
И МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ,
ИСПОЛЬЗОВАНИЯ
ЭКСПЕРТНЫХ МЕТОДОВ
1.1. РАЦИОНАЛЬНЫЕ РЕШЕНИЯ
И МАТЕМАТИКО-СТАТИСТИЧЕСКИЕ МЕТОДЫ.
Современное общество развивается под все
усиливающимся воздействием научно-технической рево-
люции, вызывающей коренные преобразования в произ-
водстве средств, предметов и продуктов труда, глубокие
изменения в структуре и экономике народного хозяйства.
Происходящая научно-техническая революция по своему
влиянию далеко выходит за пределы сферы материаль-
ного производства, захватывая все стороны жизнедея-
тельности общества, предопределяя большинство реше-
ний, направленных на его рациональное экономическое и
социальное развитие.
История развития науки, техники и производства по-
казывает, что одновременно с последовательным замеще-
нием функций человека функциями машин увеличивается
его роль в сфере управления, а общественные закономер-
ности осуществляются при все возрастающей активной
интеллектуальной, творческой деятельности человека.
«Развитие производительной сильев конечном счете всегда
сводится к общественному характеру действующего тру-
да, к разделению труда внутри общества, к развитию ин-
теллектуального труда...», — отмечал К. Маркс1.
«Развитие экономической науки в СССР и особенно
ее экономико-математического направления, теории и
практики народнохозяйственного планирования, нако-
нец, накопленный опыт применения математических мо-
делей и ЭВМ — все это позволяет поставить на повестку
‘Маркс К.,’ Энгельс Ф. Соч., т. 25, ч. 1, с. 93.
5
дня задачу создания единой системы оптимального
функционирования экономики, адекватной развитому со-
циализму» [1, с. 271]. Непрерывный рост объема затрат
на развитие науки, на создание новой техники и совер-
шенствование производства существенно повышает зна-
чимость решений, принимаемых на всех уровнях управле-
ния народным хозяйством. Будущее науки, техники и эко-
номики в значительной степени зависит от качества
и своевременности этих решений, а объективные тенден-
ции научно-технического прогресса могут ускоряться или
замедляться под их воздействием.
Известная фраза «управлять — это значит предви-
деть» становится особенно актуальной в эпоху научно-
технической революции, когда прогнозирование и долго-
срочное планирование становятся основой для подготов-
ки и принятия текущих решений, для выбора оптималь-
ных путей развития и способов решений научных, техни-
ческих, экономических и социальных задач.
Особое значение в управлении сейчас приобретают
методы оптимизации, основанные на применении фор-
мальных, чаще всего математических моделей, обеспечи-
вающих экономию времени и средств при решении мно-
гих практических задач. Построение моделей помогает
привести сложные и подчас неопределенные факторы,
связанные с проблемой принятия решения, в логически
стройную схему, определить, какие данные необходимы
для оценки и выбора альтернатив.
В процессе управления возникает естественное стрем-
ление к отысканию решения, которое объективно являет-
ся наилучшим (оптимальным) из всех возможных. В ка-
честве инструмента оптимизации сейчас широко исполь-
зуется математическое программирование. Успехи в при-
менении математического программирования к решению
различного рода хозяйственных, научных, технических
и военных задач породили методологические воззрения,
согласно которым кардинальное решение проблем управ-
ления возможно только тогда, когда все его аспекты ото-
бражаются в системе взаимосвязанных математических
моделей.
Однако формализация технико-экономических и уп-
равленческих решений осложняется рядом особенностей
современного этапа научно-технического прогресса.
Жизнь общества настолько сложна, что трудно рассчи-
тывать на появление моделей, которые полностью отра-
жали бы природу и количественные взаимосвязи соци-
ально-экономических процессов. Реальная действитель-
ность всегда сложнее самых тонких математических мо-
делей, а ее развитие часто опережает формальное позна-
ние. Реальные задачи управления требуют в качестве не-
отъемлемого элемента решения участия людей, т. е. пред-
ставляют собой системы «человек—машина». И нако-
нец, сам процесс управления всегда предполагает ориен-
тацию не только на числовые данные, но и па обычный
здравый смысл.
Ясно, что использование математического программи- ’
рования и вычислительной техники позволяет принимать I
решения, основанные на более полной и надежной инфор-
мации. Однако несомненно и то, что при любых условиях
для выбора рационального решения требуется нечто^
большее, чем хорошая математическая модель.
Характерной особенностью современных экономиче-
ских объектов является их быстрое развитие. Планирова-
ние и управление такими объектами всегда осуществ-
ляются в условиях недостаточности информации о буду-
щем. Помимо предусмотренных планом воздействий, на
экономические объекты оказывают влияние различные
случайные факторы. Вследствие этого экономические за-
кономерности развития таких объектов имеют главным
образом случайный, стохастический характер.
Принимая решения, мы обычно предполагаем, что ин-
формация, используемая для их обоснования, достоверна
и надежна. Однако для многих экономических и научно-
технических задач, являющихся по своему характеру ка-
чественно новыми и неповторяющимися, это предположе-
ние либо заведомо не реализуется, либо в момент приня-
тия решения его не удается доказать.
Оценка будущего на основе статистических данных
о прошлом всегда требует неформальных предположений
о дальнейшем ходе процесса или повторении того или
иного события. Принятие решений в этих условиях выхо-
дит за пределы обобщения и распространения опыта
прошлого на будущее и требует использования инфор-
мации, основанной на суждениях или гипотезах о буду-
щем.
Особенно сложными являются сейчас задачи, связан-
ные с развитием пауки, техники и экономики. При их ре-
шении необходимо учитывать как существующее состоя-
ние, так и долгосрочные перспективы и долговременные
последствия принимаемых решений. Создание крупных
промышленных комплексов, решение комплексных топ-
7
ливно-энергетических и транспортных проблем, внедрение
перспективных научных идей и нововведений требуют
ориентации не столько на современный уровень техники
и экономики, сколько на его предвидимое состояние. При
анализе путей и возможностей реализации долгосрочных
программ нужно учитывать закономерности развития
рассматриваемых объектов, в том числе присущие им
длительные циклы воспроизводства. Так, научно-техниче-
ский цикл, включающий разработку и практическое ис-
пользование нововведений, достигает 20—25 лет; демо-
графический цикл, охватывающий период воспроизводст-
ва населения в пределах одного поколения, также равен
20—25 годам; цикл вовлечения разведанных естествен-
ных ресурсов в производство составляет 15—20 лет и т. д.
Наличие информации и правильность ее использова-
ния в значительной степени предопределяют рациональ-
ность (оптимальность) выбранного решения. Существует
довольно распространенное представление о том, что
многочисленные данные, содержащиеся в текущей стати-
стической отчетности, а также. в различных плановых
и технических документах, и являются информацией.
В действительности это не так. Кроме данных, состоящих
из собранных (числовых) статистических величин, ин-
формация включает в себя другие, не поддающиеся не-
посредственному измерению величины, например предпо-
ложения о возможных решениях и их результатах. Та-
ким образом, данные — это нечто более широкое и менее
сгруппированное и целенаправленное, чем информация,
которая служит основой для принятия решения. Обычно
такая информация складывается из совершенно различ-
ных по своему качеству частей. В зависимости от приро-
ды решаемой проблемы и конкретных обстоятельств эти
части имеют неодинаковую полноту. Практика показы-
вает, что основные трудности, возникающие при поиске
и выборе деловых решений, обусловлены прежде всего
недостаточно высоким качеством и неполнотой имеющей-
ся информации.
Основные «информационные» трудности, возникаю-
щие при выработке сложных решений, можно подразде-
лить на следующие группы.
Во-первых, исходная статистическая информация за-
частую бывает недостаточно достоверной. Однако даже
при наличии достоверных данных о прошлом они не всег-
да могут служить надежной базой для принятия реше-
ний, направленных в будущее, поскольку существующие
8
условия и обстоятельства могут в дальнейшем изме-(
литься.	1
Во-вторых, некоторая часть информации имеет каче-
ственный характер и не поддается количественной оцен-J
ке. Так, нельзя точно рассчитать степень влияния соци-i
альных'и политических факторов на реализацию планов,1,
оценить экономический эффект будущих изобретений/
разработать формулы для оценки поведения людей
в производственных коллективах. Но, поскольку все эти.
факторы и явления оказывают существенное влияние на
результаты решений, их нельзя не учитывать.
В-третьих, в практике подготовки решений часто воз-
никают ситуации, когда в принципе необходимую инфор-
мацию получить можно, однако в момент принятия реше-
ния она отсутствует, поскольку это связано с большими
затратами времени или средств.
В-четвертых, существует большая группа факторов,
которые могут повлиять на реализацию решения в буду-
ще.м, но их нельзя точно предсказать.
В-пятых, одна из наиболее существенных трудностей
при выборе решений состоит в том, что любая научная
или техническая идея содержит в себе потенциальную
возможность различных схем ее реализации, а любое
экономическое действие может приводить к многочислен-
ным исходам. Проблема выбора паилучшего варианта
решения может возникать и потому, что обычно сущест-
вуют ограничения в ресурсах, а следовательно, принятие
одного варианта всегда связано с отказом от других (не-
редко достаточно эффективных) решений.
И наконец, при выборе наилучшего решения мы не- •
редко сталкиваемся с многозначностью обобщенного кри- I
терия, на основе которого можно произвести сравнение 1
возможных исходов. Многозначность, многомерность I
и качественное различие показателей являются серьез-;
ным препятствием для получения обобщенной оценки от- \
носительной эффективности, важности, ценности или по- /
лезности каждого из возможных решений.
В связи с этим одна из главных особенностей решения
сложных научно-технических и хозяйственных проблем
состоит в том, что применение расчетов здесь всегда пе-
реплетается с использованием суждений руководителей,
ученых, специалистов. Эти суждения позволяют хотя бы
частично компенсировать недостаток информации, полнее
использовать индивидуальный и коллективный опыт,
учесть предположения специалистов о будущих состояни-
9
ях объектов. Закономерность развития науки и техники со-
стоит в том, что новые знания, научно-техническая ин-
формация накапливаются в течение длительного периода
времени. Нередко это накопление идет в скрытой форме,
«подспудно», в сознании ученых и разработчиков. Они,
как никто другой, способны оценить перспективы той об-
ласти, в которой работают, и предвидеть характеристики
тех систем, в создании которых непосредственно участ-
вуют.
Ясно, что чем более упорядочена, формализована
процедура использования суждений экспертов, тем более
достоверна полученная информация.
Таким образом, подход к выработке решений зависит
как от объема имеющейся информации, так и от того, на-
сколько вся доступная информация формализована.
Невозможность полной формализации не исключает,
однако, возможности и необходимости применения мате-
матико-статистического аппарата и логического анализа
процессов принятия рациональных решений.
При решении многих проблем управления простота
математического аппарата часто оказывается более важ-
ным обстоятельством, чем предполагаемая точность ре-
зультатов. Поскольку структуру и процесс решения та-
ких проблем во многих случаях нельзя определить до-
стоверно, точность результатов решения не может быть
больше той, которая заключена в самой проблеме, а сле-
довательно, применение более сложного математического
аппарата отнюдь не гарантирует получения более точного
результата.
Тенденция к использованию упрощенных математиче-
ских методов в сочетании с априорной информацией, вы-
даваемой специалистами и учеными, для анализа слож-
ных явлений получает в последние годы все более широ-
кое признание среди математиков и экономистов. Мно-
гие ученые приходят к выводу, что «подлинная математи-
ка заключается не в нагромождении искусственных вы-
числительных приемов, а в умении получать нетривиаль-
ные результаты путем размышлений при минимуме при-
меняемого аппарата» [2, с. 47].
Особое значение при решении современных проблем
приобретают методы теории вероятностей и математиче-
ской статистики, поскольку они оказываются тесно свя-
занными с познанием внутренней сущности экономиче-
ских'явлений и процессов управления.
Использование математической статистики и теории
ш
вероятностей для изучения перспектив социально-эконо-
мических явлений и процессов явилось важным шагом в
повышении рациональности экономических решений. Ве-
роятностные подходы к оценке экономических явлений,
к прогнозированию и планированию народного хозяйства
находят сейчас все более широкое применение. Вместе
с тем «нередко от методов теории массового обслужива-
ния, математической статистики и теории вероятностей
отказываются по своеобразным соображениям: советское
хозяйство является плановым, поэтому к задачам эконо-
мики, планирования, производства и транспорта аппарат
теории массового обслуживания и других наук о случай-
ных явлениях принципиально неприменим. Такое при-
митивное понимание плановости наносит тяжелый ущерб
народному хозяйству» [3, с. 105].
Осознание необходимости новых подходов к исполь-
зованию математических методов в сочетании с логиче-
скими методами и приемами, обеспечивающими количе-
ственный анализ и формализацию процессов подготовки
рациональных решений современных задач экономики
и управления, позволило плодотворно использовать ма-
тематику в областях, ранее весьма далеких от какого-
либо влияния математических методов. Теория вероятно-
стей и математическая статистика все шире используются
в управлении, в том числе в новых областях этой науки:
в теории статистических решений, исследовании опера-
ций, анализе систем и теории игр.
Важная роль в этих дисциплинах придается суждени-
ям и предположениям, полученным от ученых и специа-
листов. Математический аппарат «гарантирует, если от-
влечься от ошибок при расчете, только то, — пишет один
из крупных французских специалистов по экономико-ма-
тематическим методам Пьер Массе, — что полученные
выводы являются прямым следствием принятых предпо-
ложений. Однако математический аппарат ни на йоту не
добавляет истинности самим предположениям. И так как
эти предположения являются упрощенной схематизаци-
ей реальной действительности, всегда необходимой для
экономических расчетов, то именно они требуют от нас
самых значительных и самых плодотворных умственных
усилий» [4, с. 25].
Если еще в недалеком прошлом основная роль стати-
стики в экономике заключалась в сборе, систематизации
и обобщении массовых эмпирических данных с целью
объяснения взаимосвязей тех или иных экономических
11
процессов, то в настоящее время ее задачи все более со-
средоточиваются на формулировании положений отно-
сительно характера и структуры экономических явлений,
на оценке их будущих свойств или возможности возник-
новения новых явлений.
Поскольку решение таких задач всегда осуществляет-
ся в условиях неполноты необходимой информации и не-
возможности точного предсказания будущих результа-
тов, математическую статистику иногда рассматривают
как науку, изучающую правила принятия решений в ус-
ловиях неопределенности [5].
1.2. НЕОПРЕДЕЛЕННОСТЬ И ВЕРОЯТНОСТЬ.
Основой любого процесса управления являет-
ся информация, которая имеется у принимающего реше-
ние. Располагая информацией о состоянии исследуемого
(или аналогичных) явления в прошлом и обосновывая
свои предположения о возможных состояниях его в бу-
дущем, принимающий решение выбирает наилучший спо-
соб достижения поставленной цели. Так возникает про-
блема выбора одного из нескольких исходов при недоста-
точности информации или, как принято характеризовать
подобную ситуацию, в условиях неопределен-
ности. Эта неопределенность чаще всего является
следствием вероятностного характера исследуемых явле-
ний, невозможности точного предсказания окончательных
результатов многих процессов и т. д.
Снизить уровень неопределенности и повысить досто-
верность решений можно с помощью подходов, позволяю-
щих учитывать неопределенность. Практика показывает,
что существующее подчас стремление «отбросить» слу-
чайные факторы и принимать решения на основе «точ-
ных» расчетов будущего ведет к значительному сниже-
нию эффективности управления.
Влияние неопределенности может быть весьма значи-
тельным в одних ситуациях и совершенно несуществен-
ным — в других. Так, если имеется множество возмож-
ных действий (решений) и если относительно каждого из
них известно, что оно приводит к некоторому конкретно-
му исходу, то принято говорить, что выбор осуществляет-
ся в условиях" определенности. В таких «де-
терминированных» ситуациях предполагается, что все
элементы, влияющие на будущие результаты, имеют
вполне определенное значение (которое известно или мо-
жет быть установлено), и задача заключается в перечис-
12
^ении возможных решений и выборе одного (или не-
скольких) из тех, которые дают максимум или минимум
некоторого показателя.
Трудности рационального выбора в условиях опреде-
ленности могут заключаться в невозможности перечисле-
ния всех решений или подбора надлежащего показателя
эффективности. Могут также иметь место случаи, когда
отсутствует возможность получения всей необходимой
информации об элементах. Несмотря на то что сущест-
вуют вполне определенные характеристики этих элемен-
тов, однако в момент принятия решения они по тем или
иным причинам остаются неизвестными. В этих случаях
приходится прибегать к вероятностным оценкам, которые
хотя и не связаны с природой исследуемого явления, но
вытекают из возможностей сбора и особенностей имею-
щейся информации.
В отличие от этого в ситуации неопределенности всег-
да имеются факторы или явления, вероятностные по своей
природе или не контролируемые со стороны принимающе-
го решение. В современной теории статистических реше-
ний принято различать ситуации риска и неопределенно-
сти. Ситуация риска имеет место, когда каждое действие
приводит к одному из множества возможных частных ис-
ходов, вероятности которых известны или по крайней
мере могут быть определены. Ситуация, неопределенности
имеет место, когда каждое действие влечет за собой мно-
жество частных исходов, но вероятности этих исходов не-
известны или даже не имеют смысла.
С учетом этого выбор решений классифицируется по
признаку «определенность — риск — неопределенность»
следующим образом [6]:
выбор решения при определенности, если от-
носительно каждого действия известно, что оно неизмен-
но приводит к некоторому конкретному исходу;
выбор решения при риске, если каждое действие
приводит к одному из множества возможных частных
исходов, причем каждый’исход имеет известную вероят-
ность появления. Предполагается, что принимающему ре-
шение эти вероятности известны;
выбор решения при неопределенности, когда
то или иное действие (или все действия) имеет следстви-
ем множество возможных исходов, но вероятности этих
исходов принимающему решение неизвестны.
Общее для выбора при риске и неопределенности со-
стоит в наличии неконтролируемых со стороны прини-
13
мающего решение факторов и событий. Однако в ситуа-
ции риска предполагается, что вероятности возможных
исходов известны или могут быть рассчитаны на основа-
нии статистических данных, тогда как в ситуации неопре-
деленности эти вероятности нам неизвестны или мы не
можем их рассчитать. Понятие «вероятность» обычно
связывается с классическим или же с так называемым
частотным подходами.
Представим, что нам необходимо принять решение,
которое может дать ряд взаимоисключающих результа-
тов ai, az,..., ап при п возможных последствиях (исхо-
дах) этого решения. Тогда, предполагая, что все резуль-
таты одинаково возможны, можно рассчитать вероят-
ность каждого из них.
Если нет какого-либо основания предполагать, что
одни исход (или несколько) осуществится преимущест-
венно перед другими, то такой расчет может быть осно-
ван на известном «классическом» определении вероятно-
сти. Существо этого определения заключается в том, что
если некоторое событие может приводить к N равновоз-
можным исходам и если в п случаях проявляется при-
знак А, то вероятность А, обозначаемая через Р(А), рас-
считывается как nJN. Строго говоря, общее число таких
случаев (наблюдений) должно быть достаточно большим.
Поскольку о равновероятности исходов можно судить
лишь на основе детального качественного анализа, под-
тверждающего независимость, однородность и равноправ-
ность (симметрию) возможных состояний, использование
классического подхода к расчету вероятностей .в практи-
ческих ситуациях, возникающих при решении задач, свя-
занных с будущим, весьма ограничено.
В большинстве таких задач наступление различных
исходов имеет разную вероятность. В этих случаях ис-
пользуется другая интерпретация вероятности, связанная
с понятием относительной частоты. Как известно, частот-
ное (эмпирическое) определение вероятности состоит в
том, что если некоторый эксперимент проводится N раз и п
раз появляется особое свойство А, то предел отношения
n/N при увеличении N определяется как вероятность А,
обозначаемая через Р(А).
Исчисление вероятностей при таком подходе основа-
но на законе больших чисел, впервые.сформулированном
в начале XVIII в. Яковом Бернулли. Этот закон состоит
в утверждении, что когда число экспериментов п неогра-
ниченно возрастает, наблюдаемая относительная частота
14
стремится к пределу, который равен вероятности Р(А).
Закон больших чисел обеспечивает «объективную»
обоснованность приписывания возможным исходам опре-
деленных численных значений вероятности при условии
массового характера исследуемых явлений и наличии до-
статочно большого числа подтверждений в прошлом. По-
скольку эти подтверждения придают объективный харак-
тер расчету, то полученные таким образом численные
значения вероятностей исходов принято называть объек-
тивными.
Однако при решении многих научных, технических
и экономических задач мы не располагаем достаточным
рядом наблюдений за аналогичными явлениями в прош-
лом, существует неопределенность в отношении однород-
ности и независимости возможных исходов и отсутствует
обоснованная преемственность между прошлым и буду-
щим. Использовать классический и частотный подходы
к оценке вероятности исходов решений или к выбору
наиболее предпочтительного курса действий в этих ситу-
ациях бывает трудно, а иногда и просто невозможно.
Вероятностные явления здесь не имеют массового харак-
тера (в том смысле, что они случались в прошлом уже
много раз), а следовательно, условия закона больших чи-
сел не выполняются.
Вместе с тем очевидно, что проблема принятия ра-
циональных решений в таких случаях не только не сни-
мается, но, наоборот, становится более острой и серьез-
ной. Ясно также и то, что решения, принимаемые при
неполной информации, являются по своему существу ве-
роятностными.
Для повышения обоснованности подобных решений?
нужно использовать не только имеющиеся статистические |
данные, но и коллективный и индивидуальный опыт. у
Использование субъективных оценок вызвано необ-
ходимостью решения задач в ситуациях, когда отсутст-
вует ряд наблюдений за проявлением аналогичных со-
бытий в прошлом или другая объективная информация.
Оценки вероятности свершения неповторяющихся со-
бытий субъективны в том смысле, что два человека могут
приписать различные числа одному и тому же возможно-
му исходу. Но поскольку эти оценки базируются на ин-
формации, опыте и анализе объективной действительно-
сти, то предполагается, что при прочих равных условиях
различие между ними не столь существенно, что нельзя
их использовать для подготовки решений.
1К
Существует подтверждаемое практикой предположе-
ние, сближающее субъективные оценки с объективными,
в частности с частотными. Предположение состоит в том,
что принимающий решение будет корректировать перво-
начальные оценки, приближая их к частотным, при получе-
нии дополнительной информации об исследуемой пробле-
ме. Это логично, поскольку при увеличении количества
объективной информации в процессе познания нового
всегда повышается правдоподобие вероятностных пред-
положений и гипотез, происходит их трансформация в на-
учное знание. Исследованием этой проблемы впервые за-
нялся Даниил Бернулли, который изложил свои идеи
в работе, представленной в 1730 г. в Петербургскую ака-
демию наук. Идеи Бернулли были развиты П. Лапласом,
Э. Борелем, Б. де Финнети, Л. Сэвиджем, Дж. Нейма-
ном, О. Моргенштерном, Р. Шлайфером и др.
Один из распространенных подходов к оценке веро-
ятности состоит в истолковании этой вероятности как
справедливого коэффициента пари [7].
Для того чтобы выяснить, какое из двух событий
(4 или В) индивидуум считает более вероятным, ему
предлагают выбор между двумя пари: 1) выиграть сум-
му v, если свершится А, или выиграть сумму v'<v, если
А не свершится; 2) выиграть сумму V, если свершится В,
или выиграть сумму v'<v, если оно не свершится.
Поскольку оба пари могут дать одинаковый выигрыш,
то индивидуум выберет первое пари, если он считает,
что А более вероятно, и второе пари, если он считает,
что более вероятно В. Принципы выбора не изменятся,
если выигрыши v и v' заменить другими выигрышами w
и w', удовлетворяющими тому же неравенству
Таким образом, события, рассматриваемые как более или
менее вероятные, можно упорядочить.
Предположим, что решение имеет N возможных исхо-
дов, пронумерованных числами 1,..., i,	N
и характеризующихся тем, что если принимающему реше-
ние предлагается выбор между двумя альтернативами:
<21 — значительный выигрыш при исходе i и отсутствие
выигрыша в остальных случаях; а2 — тот же выигрыш
при исходе j и отсутствие выигрыша в остальных слу-
чаях, то принимающему решение безразлично, какую из
альтернатив выбрать, независимо от того, какой из исхо-
дов I или j наступит.
Безразличие означает [8], что если выбор будет про-
изведен кем-нибудь другим и будет выбрана альтернати-
16
ва aj, то принимающий решение не будет склонен прила-
гать усилия, чтобы выбор изменился в пользу альтерна-
тивы О|2-
Теперь представим, что два человека заключили пари,
которое можно рассматривать как договор между двумя
партнерами Л и /2. Согласно этому договору /1 обещает
вознаградить /2 суммой при условии выполнения пред-
сказания (гипотезы) Н и, наоборот, /2 обещает вознагра-
дить суммой денег v2 в случае, если это предсказание
не сбудется. Величина Vi + v2 всегда положительна, а со-
отношение — является соотношением ставок пари. Тог-
«2
да, если задан коэффициент пари <?= ——— , то очевид-
ец + ^2
но, что соотношение ставок равно —— =——. Предста-
г2 1 — д
вим далее, что /] и J2, прежде чем заключить пари, об-
мениваются информацией. Пусть общее количество ин-
формации о возможности выполнения предсказания бу-
дет равно е. Тогда вероятность выполнения предсказа-
ния Н, рассматриваемая как некоторое отношение между
предположениями и имеющейся информацией е, будет
равна q, поскольку пари относительно Н с коэффициен-
том q является справедливым, т. е. не дает преимуществ
ни одному из партнеров.
Естественно, что с увеличением количества информа- •
ции относительно Н увеличивается и значение q.
В данном случае вероятность рассматривается не как
оценка относительной частоты, а как степень подтверж-
дения какой-либо гипотезы. Она устанавливает логиче-
ское отношение между предсказанием и фактическими
результатами, которые будут получены в будущем.
Однако -метод пари можно распространить и на те
случаи, когда необходимо дать вероятностную оценку ка-
кого-либо свойства М одного предмета b класса К. Пред-
полагается, что имеющаяся информация не дает основа-
ния решить, обладает ли каждый предмет класса К дан-
ным свойством. Можно показать, что если относительная
частота свойства М в классе, к которому принадлежит Ь,
равна г, то по принципу справедливого коэффициента
пари для гипотезы «Ь имеет свойство М» вероятность со-
ставляет г.
Даже в тех случаях, когда относительная частота
свойства М в классе К неизвестна, можно попытаться
Дать оценку этой величины на основ|м»*>йен*®йея^инфор-
; А 17
мации е и рассматривать эту'Оценку как справедливый
коэффициент пари. Тогда выражение «вероятность р
предположения, что b обладает свойством М в отноше-
нии к е, есть <?» будет эквивалентно выражению «оценка
относительной частоты в классе К относительно е есть
<7». Процесс подобных умозаключений основан на индук-
ции и неизбежно сопряжен с субъективными предположе-
ниями, однако во многих случаях это единственный путь
увеличения знаний.
В дальнейшем будет показано, что устанавливаемые
с помощью метода пари (и других методов) оценки веро-
ятностей отнюдь не являются произвольными. Здесь же
лишь отметим один важный для дальнейшего вывод. При
всех обоснованиях возможности использования таких ве-
роятностных оценок предполагается, что можно найти
мысленный (или реальный) эксперимент, позволяющий
моделировать ситуацию со случайными исходами, по от-
ношению к которой лицо, принимающее решение, обна-
ружит определенное поведение и сумеет дать оценку ве-
роятности возможных исходов; при этом если оно дейст-
вует рационально, то при получении дополнительной ин-
формации его оценки будут приближаться к относитель-
ным частотам.
Вопрос о возможности использования таких оценок
вероятности вызвал в свое время острую дискуссию, про-
должающуюся до сих пор [7].
Психологи-экспериментаторы показали, что вероятно-
стные оценки имеют определенный физический смысл.
Во всяком случае ясно, что человек как в научной, так
и в повседневной деятельности, принимая решение при
неполной информации, постоянно дает оценку вероятно-
сти различных событий. И хотя механизм этого явления
еще не понят, устанавливая вероятностную оценку вполне
объективных явлений, разумно поступать с ней как и с
вероятностью, найденной с помощью классического и ча-
стотного подходов, полагая, что опа обладает теми же
свойствами и подчиняется тем же аксиомам.
Наше незнание истинных исходов событий, которые
произойдут в будущем, и даже незнание объективных ве-
роятностей их осуществления не имеет в этом случае осо-
бого значения, поскольку основной целью здесь является
не оценка субъективных мнений отдельных людей, а ра-
циональные правила, позволяющие использовать эти мне-
ния для выбора наиболее предпочтительного решения.
18
1.3. ЭКСПЕРТЫ
И УРОВЕНЬ НЕОПРЕДЕЛЕННОСТИ.
Выше было показано, что одна из основных
трудностей управления состоит в необходимости прини-
мать решения в условиях неопределенности. И действи-
тельно на любом уровне управления имеются задачи, ре-
шение которых не может быть получено на базе точных
расчетов ввиду многообразия факторов или вследствие
того, что некоторые из этих факторов не поддаются из-;
мерению. Существует в то же время все возрастающая;
потребность в принятии решений, направленных в более;
отдаленное будущее, и необходимость предвидения noc-i
ледствий этих решений.
Необходимость разрешения этих противоречий при-\
вела к переоценке значения формального опыта и к по- \
ниманию того, что даже при отсутствии строгих теорети- I
ческих обоснований уровень неопределенности можно j
снизить за счет умелого использования суждений специ-
алистов и способности человека принимать рациональные /
решения в условиях невозможности их полной формали-7
зации.	'
Опыт, понимание существа проблемы, чувство пер-\
спективы и интуиция помогают специалисту в ситуации-
неопределенности оценить значимость альтернативных-
исходов, выбрать наиболее предпочтительную цель
и лучший критерий, а следовательно, и наиболее рацио-
нальное решение.
Применение математико-статистических методов зна-
чительно расширяет возможности использования инфор-
мации, полученной от специалистов. Практика последних
лет показала, что даже простые статистические методы
в сочетании с этой информацией при выборе перспектив-
ных решений часто приводят к более успешным резуль-
татам,- чем «точные» расчеты с ориентацией на средние
показатели и экстраполяцию существующих, тенденций.
Использование информации, полученной от специа-'
листов, особенно плодотворно, если для ее сбора, обобще-
ния и анализа применяются специальные процедуры, ло-
гические приемы и математические методы, получившие-
название методов экспертных оценок. i
Экспертные оценки не являются открытием нашего
времени. Практика использования специалистов в каче-
стве экспертов восходит своими истоками к глубокой
древности. Слово «эксперт» латинского происхождения
19
и означает «опытный», «сведущий». Однако, несмотря на
древность профессии эксперта, научные методы анализа
суждений специалистов получили свое развитие лишь во
второй половине XX в.
Факторы, на которых основана способность индивиду-
альной личности давать полезную информацию в услови-
ях неопределенности, можно разделить на внутренние
(индивидуальные) и внешние (социальные).
Индивидуальные качества эксперта зависят от его
^знаний, опыта, интеллекта, способности предвидеть буду-
'щее и ряда других факторов, измерение которых сложно
^или вообще невозможно.
( Внутренние факторы могут привести к смеще-
ниям информации как к ненамеренным, т. е. связанным
с излишне оптимистическим или пессимистическим отно-.
доением к проблеме, так и к намеренным, обусловленным
индивидуальной установкой специалиста.
В свою очередь внешние факторы включают те
влияния на информацию, полученную от эксперта, кото-
рые в определенной степени зависят не от личности спе-
циалиста, а прежде всего от ее взаимодействия с окру-
; жающей средой, т. е. с коллективом, обществом.
। Эти влияния могут быть вызваны, например, целями
I организации, в которой работает специалист, его поло-
| жением в структуре этой организации, степенью ответст-
 ценности за результаты экспертизы и т. п.
Далее мы остановимся на различных категориях сме-
щений, возникающих при использовании экспертов, более
/подробно. Пока же отметим, что, несмотря на наличие
внутренних и внешних факторов, влияющих на точность
и надежность информации, получаемой от экспертов, при-
менение формализованных процедур сбора информации,
методов теории вероятностей и математической статисти-
ки для ее обработки позволяет в определенной степени
компенсировать смещение индивидуальных оценок, уточ-
нить структуру решаемой проблемы и снизить уровень не-
определенности, существовавшей до начала экспертизы.
Таким образом, предполагается, что между информа-
цией, получаемой от экспертов, и уровнем неопределен-
ности существует взаимосвязь.
Прежде чем показать это, необходимо рассмотреть не-
которые положения теории вероятностей в свете совре-
менной теории множеств; от правильного уяснения этих
положений зависит понимание всего последующего мате-
риала, изложенного в данном разделе.
20
Множеством является конечная или бесконечная сово-
купность отдельных объектов или элементов с некоторой
отличительной характеристикой (характеристиками).
Примерами множества могут быть совокупность работаю-
щих на предприятии, множество действительных чисел
между нулем и единицей и т. д. Таким образом, понятия
«множество» и «совокупность» означают одно и то же.
С понятием множества связано понятие подмножест-
ва. Подмножество — это результат разбиения множества
по некоторым дополнительным признакам, отличающим
элементы подмножества от остальной части множества.
Если А и В — два множества и если каждый элемент
множества А является элементом множества В, тогда
можно сказать, что А есть подмножество множества В.
Например, множество работающих на предприятии мож-
но разбить на подмножества рабочих, служащих, инже-
нерно-технических работников и т. д.
Элементы множества могут рассматриваться с точки
зрения теории вероятностей как исходы эксперимента.
Множество, содержащее все возможные исходы, назы-
вается пространством выборок. Наиболее простой вид это
понятие имеет в том случае, когда множество возможных
исходов конечно или счетно, т. е. когда каждому элементу
множества можно поставить во взаимно-однозначное со-
ответствие натуральное число. Например, при бросании
игральной кости пространство выборок состоит из шести
элементов, обозначаемых числами 1, 2, 3, 4, 5 и 6.
Часто нас интересует комбинация возможных исходов,
т. е. какое-либо подмножество пространства выборок. Та-
кое подмножество называется событием. Отдельные исхо-
ды также могут рассматриваться как события.
Определение случайного события предполагает, что
оно всегда входит в некоторое множество событий, кото-
рое может быть разделено на подмножества, позволяю-
щие различать события. События, определенные на про-
странстве выборок, называются взаимоисключающими,
если нет элемента пространства выборок, содержащего
более чем одно событие. Примером взаимоисключающих
событий могут служить выпадение при бросании играль-
ной кости четного числа очков, т. е. элементов, обозна-
чаемых числами 2, 4 и 6, или нечетного числа очков, т. е.
элементов, обозначаемых числами 1, 3, 5. Эти два собы-
тия называются исчерпывающими, поскольку они яв-
ляются подмножествами, образующими множество про-
странств выборок.
21
Будущие события могут иметь одно или несколько со-
стояний и поэтому нас интересует вероятность, которая
может быть приписана одному или нескольким из этих
состояний. Более абстрактно можно сказать, что каждо-
му подмножеству А множества В всех возможных исхо-
дов мы хотидо приписать число Р(А), которое можно бы-
ло бы считать мерой правдоподобности того, что исход
(событие) принадлежит подмножеству А. Это число
и является вероятностью данного события. Эту меру
можно соотнести с весами (т. е. поставить в соответствие
каждому подмножеству некоторое положительное число),
которые при сложении (объединении) непересекающихся
подмножеств складываются.
Для того чтобы выделить общие черты распределения
вероятностей, введем понятие ожидаемых величин. Эти
величины представляют собой взвешенные средние,
исчисленные на основе значений, которые может принять
случайная переменная (или какая-либо функция случай-
ной переменной). При расчете этих показателей значе-
ния случайных величин умножаются на весовые коэффи-
циенты, равные вероятностям соответствующих значений;
эти коэффициенты определяются законом распределения
вероятностей. Тогда нормирование означает, что пред-
ставляющее число для всего множества в целом прини-
мается равным единице.
Рассмотрение сложных ситуаций требует использова-
ния понятия случайной переменной X, т. е. функции, при-
нимающей действительные значения и определяемой на
пространстве выборок. Случайная переменная есть функ-
ция, интервал которой есть пространство выборок, яв-
ляющееся подмножеством действительных чисел. Таким
образом, диапазон изменений случайной переменной есть
также пространство выборок; определяя случайную пере-
менную через пространство выборок, мы тем самым со-
здаем новое пространство выборок, элементы которого —
случайные числа. Следовательно, используя понятие слу-
чайной переменной, мы ставим в однозначное соответст-
вие каждому элементу множества исходов — каждому
простому событию — некоторое число а, т. е. некоторую
единственную точку на действительной оси. При этом
значения, принимаемые случайной переменной, обычно не
совпадают с самими исходами.
Элементы этого нового пространства выборок могут
быть описаны различными путями. Например, при броса-
нии монеты это может быть частота выпадения «орла»
22
или же число бросаний до первого выпадения «орла»
и т. д. Обозначая «решку» цифрой 0, а «орла»— 1, полу-
чим случайную переменную X, которая будет принимать/
одно из значений (0 или 1) в соответствии с вероятностью
появления «решек» или «орлов».
Пусть, например, мы бросаем две игральные кости.
В этом случае пространство выборок состоит из 36 воз-
можных пар исходов: (1,1), (1,2),..., (6,6). Цифры здесь
показывают число очков, выпадающих при бросании пер-
вой и второй игральных1 костей соответственно. Сумма
очков, выпадающая при каждом бросании двух играль-
ных костей, — случайная переменная, поскольку она яв-
ляется функцией, определенной для каждого элемента
пространства выборок. Однако нашей задачей может
быть не только определение суммы числа очков, а, на-
пример, определение среднего числа очков при бросании
двух игральных костей, квадрата суммы числа очков
И т. д.
Таким образом, любое пространство выборок может
быть трансформировано в другое пространство выборок,
чьи элементы есть действительные числа, определенные
по функции исходного пространства выборок. Принято
различать случайные переменные дискретного типа и не-
прерывного типа. Возможные значения дискретной слу-
чайной переменной могут быть перечислены, в отличие от
непрерывной случайной переменной, которая принимает
любые значения в данном интервале (интервалах).
В практических приложениях теории вероятностей
часто имеют дело не с самими случайными переменными,
а с их распределениями. Условимся в последующем обо-
значать случайные переменные прописными буквами,
а их возможные значения — строчными. С вероятност-
ной точки зрения дискретная случайная переменная пол-
ностью охарактеризована, если можно каждому из ее
значений поставить в соответствие определенные вероят-
ности.
Распределение задает «вес» каждого значения слу-
чайной переменной на основании вероятностного содер-
жания подмножества пространства выборок, связанного
с этим значением. Так, в примере с бросанием двух иг-
ральных костей вероятность каждого значения случайной
переменной X находится путем сложения вероятностей
соответствующих элементов пространства выборок. По-
скольку каждый из 36 элементов одинаково возможен
и их общая вероятность согласно аксиоме теории веро-
23
ятностей должна быть равна единице, каждому элементу
здесь ставится в соответствие вероятность, равная 1/36.
Вообще, тот факт, что сумма вероятностей всех возмож-
ных значений случайной переменной равна единице, озна-
чает, что данная сумма должна быть каким-либо спосо-
бом распределена между этими значениями.
Распределение вероятностей можно представить как
некоторое систематическое расположение исходов. Соот-
ношение между возможными значениями случайной пере-
менной и вероятностями называется законом распределе-
ния.
Во многих практических задачах нас может интере-
совать не вероятность того, что случайная переменная
примет некоторое определенное значение, а вероятность
того, что она не превысит некоторое наперед заданное
значение. Так, непрерывная случайная переменная,
имеющая бесконечное множество значений, как таковая
представляет собою ряд распределения, в котором невоз-
можно выделить каждое отдельное событие с соответст-
вующей вероятностью. Поэтому для количественной ха-
рактеристики этого распределения вероятностей поль-
зуются не вероятностью события Х=х, а вероятностью
события Х<х, где х — некоторая непрерывная перемен-
ная.
Эта вероятность может быть задана с помощью ин-
тегральной (кумулятивной), функции распределения
F(x), которую можно получить, суммируя значения веро-
ятностей по тем элементам выборок, для которых случай-
ная переменная принимает значение, не превышающее
наперед заданное.
Не останавливаясь более на описании свойств распре-
делений, отметим, что в практике проведения экспертиз
чаще всего приходится иметь дело именно со случайны-
ми переменными, позволяющими отражать не только ко-
личественные, но и качественные результаты на количест-
венной шкале. Покажем, как используются понятия про-
странства выборок и случайной переменной для оценки
взаимосвязи между информацией, получаемой от экспер-
тов, и неопределенностью.
Предположим, что мы последовательно подбрасыва-
ем три монеты и что нас интересует частота выпадения
«орлов» при длительном повторении эксперимента. Собы-
тие в данном случае состоит в подбрасывании трех монет
и определяется восемью исходами: PPP, РРО, POP,
POO, OPP, ОРО, OOP, ООО (здесь О — выпадение «ор-
24
ла», а Р — «решки»). Это множество является также об-
ластью исходов данного случайного события.
Случайной переменной (Yo) здесь может быть частота
выпадения «орлов», и тогда каждому из исходов мы мо-
жем приписать определенное число, указывающее на ча-
стоту выпадения «орлов» (табл. 1).
Таблица 1
Исходы и случайная переменная
Исход	ррр	РРО	POP	РОО	ОРР	ОРО	OOP	ООО
Уо	О	1	1	2	1		2_	2	1
		3	3	3	3	3	3	
Пространство выборок здесь простирается от 0 до 1
и может быть описано дискретным вероятностным рас-
пределением
Р{Го = О} = 4-;	=	= Р{уо = -|) = А;
О	о о	о о
Р(У0==1}=-1..
о
Рассмотрим другой пример, когда случайной перемен-
ной будет число проб до первого успеха. Предположим,
что мы бросаем монеты и что нас интересует число бро-
саний до первого выпадения «орла». В данном случае со-
бытие определяется множеством исходов: О, РО, РРО,
РРР ... О. Это множество является также пространством
выборок. Случайная переменная здесь «число бросаний
до первого выпадения орла», а каждому исходу может
быть приписано определенное число (см., например,
табл. 2).
Таблица 2
Исходы и случайная переменная
Исход	О	РО	РРО		РРР ... О
Уо	1	2	3	•..	ОО
Таким образом, в данном случае пространство выбо-
рок простирается от 1 до оо .и может быть описано дис-
кретным вероятностным распределением
25
‘Р(У<> = 1) = -Ь Р{У0 = 2) =А;
2	4
Р\Уо = 3} = -L; ... ; Р{УО=П)==^П.
Во всех приведенных выше примерах пространство
выборок находится и описывается просто. Следует отме-
тить, что в практических задачах, связанных с решением
научных, технических и экономических проблем и особен-
но с прогнозированием и долгосрочным планированием,
определение пространства выборок является само по себе
сложной проблемой.
Нахождение пространства выборок и случайной пере-
менной является одной из главных задач экспертизы.
Обычно предполагается, что результатом определения
с помощью экспертов значений этих величин может
явиться более точное представление о состоянии или
уровне неопределенности событий, имеющих отношение
к исследуемой проблеме.
Будем понимать под уровнем неопределенности пока-
затель, характеризующий оставшуюся (остаточную) не-
определенность, после того, как вся существующая ин-
формация принята во внимание [9].
Таким образом, уровень неопределенности отражается
вероятностью, приписываемой исходам события.
Формально уровень неопределенности события с п
дискретными исходами, каждый с вероятностью Pi, оп-
ределяется как
п
^=-S^log2^,	(1)
где i= 1, 2,..., п.
Неопределенность имеет место тогда, когда нужно
произвести выбор элемента из совокупности, и сущест-
вует несколько исходов такого выбора. Но поскольку ве-
роятность характеризует отношение выбираемого элемен-
та (элементов) ко всей совокупности, а неопределен-
ность — обратное отношение, т. е. отношение всей сово-
купности к выбираемым элементам, то это позволяет
установить взаимосвязь между информацией и неопреде-
ленностью.
Будем считать, что единицей измерения- уровня неоп-
ределенности является бит. Следует заметить, что новая
информация о событии может привести не только к сни-
26
жению уровня неопределенности, но и его повышению.
Таким образом, мера (в битах) новой информации — это
абсолютный результат изменения уровня неопределенно-
сти.
Предположим, что есть простое событие с вероятно-
стями двух исходов р и q=\—р.
Можно построить график, характеризующий уровень
неопределенности Us, исходя из того, что, когда два исхо-
да одинаково вероятны, т. е. p=q=~±-, величина Us бу-
дет иметь максимум. Тогда по формуле (1)
- у 1о?2 (4~)_ ~гlog2 (т) 1 бит-
Состояние, когда Us = 1 бит, является состоянием мак-
симального незнания (безразличия к исходам). Для лю-
Рис. 1. Изменение уровня неопре-
деленности события с двумя исхо-
дами
бых других комбинаций Us будет меньше, так как в этих
случаях можно более точно предсказать любой возмож-
ный исход. Когда исход определен, Us — Q.
На рис. 1 дан график изменения уровня неопределен-
ности для события с двумя исходами.
Для общего случая, т. е. для события с п дискретными
исходами, величина Us является максимальной, когда
Рг= — И L/S = log2 п.
п
Таким образом, уровень неопределенности можно свя-
зать с информацией о событии, которая вообще где-либо
имеется. Однако нас обычно интересует более ограничен-
ная мера, позволяющая оценить информацию, имеющую-
ся в нашем распоряжении или полученную от экспертов.
Уровень неопределенности с учетом такой информа-
ции Ux может быть рассчитан по той же формуле, что
27
и Us. Но поскольку этот объем доступной информации
всегда меньше (или по крайней мере равен) всей имею-
щейся информации, то US^UX.
Если обозначить U х. —первоначальную неопределен-
ность об исходах события, a UX2 — конечную неопреде-
ленность, полученную после опроса экспертов, то
U х.—Us характеризует максимальный объем информа-
ции, которая может быть получена, UXl —UX1 — объем
новых знаний или информации о событии, a Ux.2 —Us —
объем недостающих знаний, т. е. недостаточность полу-
ченной информации.
Предположим, что перед группой экспертов поставлен
вопрос о дате какого-либо события, имевшего место
в прошлом. Представим, что экспертов спрашивают: когда
был осуществлен запуск первого в мире искусственного
спутника Земли — до 1960 г. или после? Поскольку со-
бытие это вполне определенное и доступная информация
о нем является полной (событие произошло в 1957 г.),
то £Д=0.
Это означает, что все информированные эксперты от-
ветят, что событие произошло до 1960 г., и из этих отве-
тов будет получено максимально возможное количество
информации.
Если представить это формально, то согласно форму-
ле (1)
Us = — 1 • log-2( 1) — 0 • log2(0) = 0 бит;
t/x==_J_10g2^_-l-10g2^ = 1 бит.
Следовательно, в данном случае максимальная ин-
формация, которая может быть получена от экспертов,
равна:
U х, — Us = 1 — 0=1 бит,
новая информация о событии
Ux, — U х2 =1—0=1 бит,
а недостающая информация
Ux2 — Us = 0 — 0 = 0 бит.
Однако это не всегда верно. Даже в приведенном при-
мере с событием, имевшим место в прошлом, при опросе
экспертов могут возникнуть определенные ограничения,
которые приведут к погрешностям в оценке событий.
В общем случае эти ограничения можно свести в следую-
28
щие пять групп: уровень доступной информации, несовер-
шенство информации, двусмысленность вопросов, несо-
вершенство модели и прочие погрешности. Рассмотрим
каждую из этих групп подробнее.
1.	Уровень доступной информации. За исключением
детерминированных (совершенно определенных) собы-
тий уровень неопределенности всегда будет больше нуля.
Когда вся доступная информация о вероятностном
событии использована и нет других ограничений в ее по-
лучении, остающаяся неопределенность может быть опи-
сана с помощью распределения вероятностей возможных
исходов. Никакие дальнейшие опросы специалистов или
другой анализ имеющейся информации не снизят неопре-
деленность ниже этого уровня. Снижение уровня неопре-
деленности может произойти лишь при получении новой
информации.
2.	Несовершенство информации. Несовершенство ин-
формации возникает вследствие того, что разные экспер-
ты всегда будут иметь различные знания о событии
и уровне его неопределенности.
3.	Двусмысленность. Некоторые вопросы могут быть
поняты экспертом неправильно из-за их двусмысленно-
сти, и тогда он будет отвечать на другой вопрос, а не на
тот, который был ему задан.
4.	Погрешности модели. Эти погрешности могут воз-
никать из-за недостаточной компетентности приглашен-
ных в эксперты людей либо из-за того, что ответы, полу-
ченные от компетентных экспертов, используются непра-
вильно.
5.	Прочие погрешности. Мы отмечали, что на ответы
экспертов могут оказывать влияние как внутренние, так
и внешние факторы, вызывающие умышленные или не-
сознательные отклонения или ошибки. Хотя эти погреш-
ности обычно невелики, возможность их возникновения
необходимо учитывать.
Рассмотрим, например, влияние второй группы по-
грешностей на уровень неопределенности в приведенном
нами примере. Может случиться, что не все эксперты
помнят точно год, когда был запущен первый искусст-
венный спутник Земли. Большинство экспертов выберут
правильный ответ, однако не исключено, что некоторые
из них ответят неточно.
Если предположить, что распределение ответов по ис-
ходам одинаково, то снижение неопределенности после
получения ответов экспертов будет относительно меньше,
2»
чем в случае, когда все эксперты дадут правильный ответ.
Если, например, из десяти экспертов один выберет
неправильный ответ, то неопределенность после сбора
информации будет
=
Ь=1
= —0,1 • log2(0,l) - 0,9 . loga(0,9) = 0,45 бита,
где Pi — вероятность исхода «событие свершилось после
1960 г.», равная 0,1; Р2 — вероятность исхода «событие
свершилось до 1960 г.», равная 0,9.
Поскольку Us = 0, a UXl =1, имеем
UXi —> Us = 1—0 = 1 бит, Ux, — UX1= 1—0,45=0,55 бита
Ux2 — Us — 0,45 — 0 = 0,45 бита.
В итоге влияние погрешностей на уровень неопреде-
ленности и информацию можно представить в виде схе-
мы, показанной на рис. 2.
Максимум_________1 бит
незнания
Л/
^2
Неполнота
информа-
ции
Дбусмыс-\
ленность
Ошибки
модели
Другие
ошибки
Неопределенность
снимаемая
Неопределенность
остающаяся
Ux,
*2
О бит
Определенность
Рис. 2. Схема уровней информации при использовании
экспертов
Рассмотрим другой пример, в котором событием яв-
ляется исход бросаний «правильной» (сцентрированной)
монеты. Каждый эксперт должен предсказать исход сле-
дующего бросания («орел» или «решка»). Предположим
при этом, что опрашивающий экспертов не знает, что мо-
нета правильная, но самим экспертам это известно.
Поскольку данное событие является вероятностным
и нет никаких дополнительных данных о предпочтитель-
ности того или иного исхода, то лучшее, что могут сде-
лать эксперты, это выбрать с одинаковым предпочтением
либо «орла», либо «решку».
Тогда уровень неопределенности будет
30
us=-----lOg2 (y)-----log2 (-y) = 1 бит.
Поскольку = 1 бит, то это означает, что макси-
мальное количество информации, которое может быть по-
лучено в данном случае, равно нулю. Однако это не зна-
чит, что эксперты здесь совершенно бесполезны. Исполь-
зование экспертов позволяет в таких случаях уточнить
фактический уровень неопределенности и сконцентриро-
вать внимание на способах ее уменьшения.
Вместе с тем здесь не исключается возможность на-
личия несовершенства информации или других ее иска-
жений. Так, например, некоторые эксперты могут не по-
верить в правильность монеты или по какой-либо другой
причине предпочесть один исход другому. Все эти по-
грешности в данном случае приводят к уменьшению до-
ступной информации.
И наконец, рассмотрим третий, наиболее характер-
ный для использования экспертов пример. Представим,
что производится бросание «неправильной» монеты. Каж-
дый эксперт должен предсказать исход следующего бро1
сания. При этом опрашивающий не знает, что монета не-
правильная, н, следовательно, будет предполагать одина-
ковую вероятность для каждого исхода. Предположим,
что каждый эксперт знает свойства монеты.
Рассчитаем возможные погрешности в информации
и оценке неопределенности.
Уровень неопределенности будет
Us = —— log2(—-------— log2(— = 0,82 бита
4	\ 4 )	4	\ 4 /
Таким же образом
= - уIog2 Ш —Гlog2 Ш= 1 бит-
Если предполагается, что ответы распределяются по
области исходов, то U^ =US, и, следовательно, макси-
мальное количество информации, которое может быть по-
лучено, равно 1—0,82 = 0,18 бита. Кроме того, здесь могут
присутствовать погрешности всех пяти групп.
Представленные в последнем примере рассуждения
основаны на предположении, что исход выпадения «орла»
в «неправильной» монете Л, = 3/4, а исход выпадения
«решки» Рр= 1/4. Теоретически здесь возможны две аль-
тернативы: 1) ответы экспертов будут распределены в со-
ответствии с областью исходов; 2) эксперты выберут «ор-
31
ла». Вторая альтернатива более реалистична, однако от-
сюда нельзя делать вывод о том, что эксперты должны
приписать вероятности выпадения «орла» значение, рав-
ное 1.
Этого не произойдет, если эксперты будут давать от-
веты, принимая во внимание не возможный исход следую-
щего бросания, а предполагаемое распределение возмож-
ных исходов. В этом случае (при отсутствии других по-
грешностей) эксперты должны приписать вероятность
3/4 выпадению «орла» и 1/4 — выпадению «решки».
В общем случае, если мы имеем п иеравновероятных
событий, можно рассчитать среднюю или ожидаемую ин-
формацию, которая содержится в сообщении о результате
опыта с «неправильной» монетой. При этом чем менее
вероятно событие, тем больше содержится информации
в сообщении, что оно произошло.
Так, если Р — вероятность того, что событие Е совер-
шится (получена на основе информации экспертов), то
информационное содержание сообщения (достоверного)
о том, что событие Е состоялось, определяется в соответ-
ствии с теорией информации как log2—. Эта функция не-
ограниченно растет, когда Р стремится к нулю; она моно-
тонно убывает по мере роста вероятности и достигает ну-
ля при Р= I.
Для взаимоисключающих исходов Е1г..., Eiy..., Еп,
вероятности которых в сумме составляют единицу, ожи-
даемая информация сообщения о том, что событие Et
имело место, будет равна:
Так, если у нас имеется «неправильная» монета с ве-
роятностью 0,9 для «орла» и 0,1 для «решки», то инфор-
мация в случае выпадения «орла» будет log2
= 0,15 бита, а информация при выпадении «решки» —
log2~ =3,32 бита. Средняя, или ожидаемая, информация,
содержащаяся в сообщении о результатах опыта, будет
0,9-0,15+0,1 -3,32 = 0,47 бита.
Эта величина может быть использована для оценки
неопределенности, остающейся после получения инфор-
мации от экспертов.
32
Глава 2
МЕТОДЫ ОБРАБОТКИ ИНФОРМАЦИИ,
ПОЛУЧАЕМОЙ ОТ ЭКСПЕРТОВ
2.1.	ФОРМАЛИЗАЦИЯ ИНФОРМАЦИИ И ШКАЛЫ.
Рациональное использование информации, по-
лучаемой от экспертов, возможно при условии преобра-
зования ее в форму, удобную для дальнейшего анализа,
направленного на подготовку и принятие решений. В свя-
зи с этим, прежде чем перейти к описанию математико-
статистических методов, используемых для обработки
этой информации, необходимо рассмотреть основные воз-
можности и ограничения ее формализации.
Возможности формализации информации зависят от
специфических особенностей исследуемого объекта, на-
дежности и полноты имеющихся данных, уровня приня-
тия решения. Форма представления экспертных данных
зависит и от принятого критерия, на выбор которого
в свою очередь существенное влияние оказывает специ-
фика исследуемой проблемы.
Формализация информации, полученной от экспертов,
должна быть направлена на подготовку решения таких
технико-экономических и хозяйственных задач, которые
не могут быть в полной мере описаны математически, по-
скольку являются «слабоструктуризованными», т. е. со-
держат неопределенности, связанные не только с измере-
нием, но и самим характером исследуемых целей, средств
их достижения и внешних условий. Необходимость изу-
чения составных элементов и процессов формализации
таких задач не вызывает сомнения.
Эта сторона дела особенно важна. При анализе пер-
спектив необходимо не только представить в виде косвен-
ных оценок часть информации, не поддающуюся количе-
ственному измерению, и не только выразить с помощью
таких оценок количественно измеримую информацию,
о которой в момент подготовки решения нет достаточно
2-78	33
надежных данных. Самое важное — формализовать эту
информацию так, чтобы помочь принимающему решение
выбрать из множества действий одно (или несколько),
наиболее предпочтительное в отношении некоторого кри-
терия.
Если эксперт в состоянии сравнить и оценить возмож-
ные варианты действий, приписав каждому из них опре-
деленное число, будем считать, что он обладает опреде-
ленной системой предпочтений.
В зависимости от того, псгжакой шкале могут быть
заданы эти предпочтения, экспертные оценки содержат
больший или меньший объем информации и обладают
различной способностью к математической формали-
зации.
Исследуемые объекты или явления можно опознавать
или различать на основе признаков, или факторов. Не
претендуя на строгость, определим фактор как множест-
во, состоящее по крайней мере из двух элементов, отра-
жающих различные уровни некоторых подлежащих рас-
смотрению величии. Другие термины, которые далее
используются для обозначения факторов, — признаки,
переменные, характеристики, параметры, цели и кри-
терии.
I Уровень одних факторов может быть выражен количе-
ственно (в рублях, процентах, тоннах и т. д.) и такие
(факторы называются количественными; уровень же дру-
гих нельзя точно выразить с помощью числа и их обычно
, называют качественными.
Факторы можно условно подразделить на дискретные
и непрерывные. Под дискретными будем понимать фак-
торы с определенным (чаще всего небольшим) числом
уровней. Факторы, уровни которых рассматриваются как
(образующие непрерывное множество, будем называть не-
. прерывными. В зависимости от целей и возможностей
(анализа одни и те же факторы могут трактоваться или
как дискретные, или как непрерывные.
Рассмотрим основные логические аксиомы, используе-
мые в экспертных методах при формализации информа-
ции с помощью различных шкал.
При использовании номинальных шкал иссле-
дуемые объекты можно опознавать и различать на основе
трех аксиом идентификации:
1)	i либо есть /, либо есть не /;
2)	если i есть /, то / есть i\
3)	если i есть j и j есть k, то i есть k.
34
Факторы в данном случае выступают как ассоциатив-
ные показатели, обладающие информацией, которая мо-
жет быть формализована в виде бинарных оценок двух
уровней: 1 (идентичен) или 0 (различен).
В случаях когда исследуемые объекты можно в ре-
зультате сравнения расположить в определенной после-
довательности с учетом какого-либо существенного фак-
тора (факторов), используются порядковые шка-
л ы, позволяющие устанавливать равноценность или до-
минирование.
Предположим, что нам необходимо расположить в оп-
ределенной последовательности п объектов по какому-
либо фактору (критерию). Представим это упорядочение
в виде матрицы A где /, /=1, 2,... ,п.
Величины ац устанавливают соотношения между объ-
ектами и могут быть определены, например, следующим
образом:
’ф- 1, если i предпочтительнее /;
— 1, если j предпочтительнее г,
О, если i и / равноценны.
Установим основные аксиомы, необходимые для соблю-
дения условий упорядочения. Соотношение ац= +1,
означающее, что i предпочтительнее /, должно быть асим-
метричным, т. е. если ац= + \, то ац = — 1, и транзитив-
ным, т. е. если afj-= + l и адг= + 1, то а,/г= + 1.
Соотношение ац=0, означающее, что i и / равноцен-
ны, называется соотношением эквивалентности. Такое со-
отношение должно быть
рефлексивным, т. е. аг; = 0;
симметричным, т. е. если аг-,-=0, то ац = 0;
транзитивным, т. е. если a,j = 0 и a,k = G, то «1/г = 0.
Кроме того, эти два соотношения должны быть совме-
стимы, т. е. если ац— + 1 и «^==0, то a,ik= + 1, а также
если aij = O и a}k= + 1, то +1.
И наконец, наше упорядочение должно быть связным,
т. е. для любых i и / или ац=А-1, или ац= — 1, или
«15 = 0.
Использование порядковых шкал позволяет различать
объекты и в тех случаях, когда фактор (критерий) не за-
дан в явном виде, т. е. когда мы не знаем признака сравне-
ния, по можем частично или полностью упорядочить объ-
екты на основе системы предпочтений, которой обладает
эксперт (эксперты).
2*
35
Любое множество А будем называть упорядоченным,
если для любых двух его элементов X и Y установлено,
что либо X предшествует. У, либо У предшествует X.
Иногда не удается установить строгое предшествование
для всех элементов множества, но можно произвести
«групповое» упорядочение, когда упорядочиваются под-
множества равноценных элементов. Далее можно поста-
вить задачу сравнения и упорядочения этих подмножеств.
Использование порядковых шкал позволяет произво-
дить преобразования полученных от экспертов оценок,
соответствующих всем монотонно возрастающим функци-
ям. Так, например, положительные оценки могут быть за-
менены их квадратами, или логарифмами, или любой
другой монотонно возрастающей функцией.
Для формализации оценок, полученных от экспертов,
часто используют интервальные шкалы. При ис-
пользовании таких шкал для этих целей можно брать
почти все обычные статистические меры. Исключением
являются те меры, которые предполагают знание «истин-
но» нулевой точки шкалы, которая вводится здесь ус-
ловно.
Интервальные шкалы предполагают возможность
трансформации оценок, полученных на одной шкале,
в оценки на другой шкале при помощи уравнения
х'=ах + Ь.
Разности между значениями на шкале интервалов
становятся мерами на шкале отношений (т. е. на обыч-
ной числовой шкале) по той простой причине, что в ре-
зультате вычитания можно избавиться от постоянного
слагаемого Ь.
В ряде случаев при формализации экспертных оценок
используется свойство аддитивности (присущее, строго
говоря, только шкале отношений). Наличие аддитивности
выражается следующими аксиомами:
1)	если j = а и i >> 0, то t + j > а;
2)	/ + j = j /;
3)	если i = а и j = b, то i + j = a + b;
4)	(i + j) + k = i + (j + k).
Обычная ситуация, когда необходимо принять реше-
ние с учетом аддитивности, заключается в том, что
имеется несколько (по крайней мере два) качественных
факторов. При наличии нескольких факторов (призна-
36
ков), характеризующих конкретные объекты, существует
множество реальных свойств и типов связей объектов.
Так, например, факторы (показатели), характеризую-
щие эффективность создания и внедрения новой техники,
по их объективному содержанию можно подразделить на
технические, экономические и социальные. С другой сто-
роны, эти факторы можно сгруппировать в соответствии
с их ролью в процессе создания и внедрения новой техни-
ки, выделив, например, показатели, характеризующие за-
траты, технический уровень, качество, экономическую эф-
фективность и т. д.
Таким образом, характер и количество факторов
в значительной степени зависят от цели принимаемого ре-
шения, причем один и тот же объект или явление может
быть охарактеризован различными факторами, а одина-
ковые факторы могут иметь в различных ситуациях раз-
личную значимость.
В зависимости от характера и цели исследуемой про-
блемы факторы, по. которым различаются объекты, могут
быть количественно сравнимы или несравнимы между
собой, частично сравнимы (т. е. не любой с любым дру-
гим, а лишь некоторые из них), упорядочены по степени
их важности и т. д. Следует отметить, что несоизмери-
мость различных факторов обусловлена не только необ-
ходимостью применения разных единиц измерения, но
и тем, что каждый фактор, выражая определенное свой-
ство, одновременно является оценкой отношения к дан-
ному свойству со стороны принимающего решение.
В практике управления во всех его уровнях часто воз-
никают ситуации, когда необходимо принять решение
с учетом многих факторов. Разумеется, вопрос о том, ка-
кие именно факторы (признаки, критерии) следует счи-
тать наиболее важными, зависит от качественных особен-
ностей объекта решения и целей, которым должно отве-
чать это решение.
Например, при рассмотрении нескольких вариантов
плана или вариантов организационно-технических меро-
приятий следует принимать во внимание факторы време-
ни, затрат, технических и социальных результатов, эко-
номической эффективности и т. д. Обычно все разнооб-
разие факторов пытаются привести к однозйачной ком-
плексной оценке, причем наиболее удобной и распрост-
раненной такой оценкой является денежная.
Однако поскольку последствия любого решения,
особенно решений, связанных с научно-техническим про-
37
грессом, выходят за рамки стоимостных показателей, не-
обходимы измерители, характеризующие значимость, по-
лезность того или -иного фактора (или их комплекса).
Такие комплексные измерители все шире" применяются
при оценке качества продукции, технико-экономического
уровня производства, при оценке результатов деятельно-
сти научных организаций и в ряде других задач. Хотя во-
прос о создании достаточно обоснованной формализо-
ванной системы таких измерителей еще далек от оконча-
тельного решения, можно указать некоторые общие чер-
ты, обеспечивающие подход к формализации этого про-
цесса и к использованию того или иного логико-матема-
тического аппарата [10].
В случае когда все факторы задаются по номинальной
шкале, т. е. задаются по этой шкале некоторый признак
а и исходное множество элементов Л4, цель состоит в вы-
боре подмножества элементов Л4(а), обладающих этим
признаком. В таких случаях производится сравнение эле-
ментов, точнее их свойств, с признаком — эталоном, а ре-
зультат— разбиение множества — можно рассматривать
как упорядочение по двухэлементной шкале, по которой
каждому из элементов присваивается балл, равный ли-
бо нулю, либо единице.
В случае когда факторы заданы по порядковой шкале
или по нескольким порядковым шкалам, цель состоит в
упорядочении элементов исходного множества, точнее,
в выявлении с помощью экспертов скрытой упорядочен-
ности, которая, по предположению, присуща этому мно-
жеству. Необходимым условием решения этой задачи яв-
ляется допущение о транзитивности. Чем полнее упо-
рядочены элементы, тем легче применить логико-мате-
матические и комбинаторные методы к решению таких
задач.
В зависимости от существа или важности того или
иного фактора на этапе подготовки и принятия решений
могут быть использованы различные шкалы. Такие фак-
торы, как затраты, прибыль, время, могут быть оценены
по порядковой или интервальной шкале (в рублях, днях
или условных единицах). Для .оценки же таких факто-
ров, как срок окупаемости или сравнительная эффектив-
ность вариантов, может быть использована интерваль-
ная шкала; качественные или социальные факторы могут
оцениваться по порядковым или номинальным шкалам.
В табл. 3 приведены типы шкал и их основные характе-
ристики.
38
Таблица 3
Типы шкал и их Характеристики
Тип шкалы	Определение шкалы	Отношения, задаваемые на шкале
1(оминальная	Простейший тип из- мерения, в котором чис- ла или символы исполь- зуются только для клас- сификации объектов	Эквивалентность ( = )
Порядковая	Объекты одного клас- са находятся в некото- ром отношении с объек- тами другого класса (больше, чем; более предпочтителен; сильнее и т. д.). Если [Д]>[В] для неко- торых (но не всех) объ- ектов классов А и В, то имеет частично упорядо- ченную шкалу	Эквивалентность ( = ). Больше, чем (>) *
Интервальная	Порядковая плюс из- вестные расстояния меж- ду двумя ^любыми числа- ми па шкале (пулевая точка шкалы и единица измерения выбираются произвольно)	Эквивалентность ( = ). Больше, чем (>). Известно отношение лю- бых двух интервалов
Шкала отноше-	Интервальная	плюс	Эквивалеитиость (“].
иия	истинная нулевая точка (отношение любых двух точек шкалы не зависит от единицы измерения)	Больше, чем (>). Определено отношение любых двух интервалов. Определено отношение между любыми двумя точками
2.2. РАНЖИРОВАНИЕ И ОЦЕНКА.
При решении многих практических задач ча-
сто оказывается, что факторы, определяющие конечные
результаты, не поддаются непосредственному измерению.
Расположение этих факторов в порядке возрастания (или
убывания) какого-либо присущего им свойства назы-
вается ранжированием. Ранжирование позволяет
выбрать из исследуе.мой совокупности факторов наиболее
существенный.
Бывает, что явления имеют различную природу
и вследствие этого несоизмеримы, т. е. у них нет общего
эталона сравнения. И в этих случаях установление отно-
39
сительной значимости с помощью экспертов облегчает
выбор наиболее предпочтительного.
Ранжирование может применяться в следующих ситу-
ациях:
1.	Когда необходимо упорядочить какие-либо явления
(объекты) во времени или пространстве. Это ситуация,
когда интересуются не сравнением степени выраженно-
сти какого-либо их качества, а лишь взаимным прост-
ранственным или временным расположением этих явле-
ний (объектов).
2.	Когда нужно упорядочить объекты в соответствии
с каким-либо качеством, но при этом не требуется про-
изводить его точное измерение.
3.	Когда какое-либо качество в принципе измеримо,
однако в настоящий момент не может быть измерено по
причинам практического или теоретического характера.
Рассмотрим существо процедуры ранжирования под-
робнее. При ранжировании эксперт должен расположить
объекты (альтернативы) в порядке, который представ-
ляется ему наиболее рациональным, и приписать каждо-
му из них числа натурального ряда — ранги. При этом
ранг 1 получает наиболее предпочтительная альтернати-
ва, а ранг N — наименее предпочтительная.
Следовательно, порядковая шкала, получаемая в ре-
зультате ранжирования, должна удовлетворять условию
равенства числа рангов N числу ранжируемых объек-
тов п.
Бывает так, что эксперт не в состоянии указать поря-
док следования для двух или нескольких объектов либо
он присваивает разным объектам один и тот же ранг, и в
результате число рангов N оказывается не равным числу
ранжируемых объектов п. В таких случаях объектам
приписывают так называемые стандартизированные ран-
ги. С этой целью общее число стандартизированных ран-
гов полагают равным п, а объектам, имеющим одинако-
вые ранги, присваивают стандартизированный ранг, зна-
чение которого представляет среднее суммы мест, поде-
ленных между собой объектами с одинаковыми ран-
гами.
Пусть, например, шести объектам (альтернативам,
факторам) присвоены следующие ранги:
40
Тогда объектам 2 и 5, поделившим между собой второе
и третье места, приписывается стандартизированный
2-4-3
ранг5= —=2,5, а объектам 3, 4 и 6, поделившим
4, 5, 6-е места, приписывается стандартизированный
с 4+54-6 с п
ранг 5 = ---— =5. В итоге получаем следующую ран-
3
жировку:
1	1	2	3	4	5	6
Xi	1	2,5	5	5	2,5	5
Таким образом, сумма рангов S.v, полученная в ре-
зультате ранжирования п объектов, будет равна сумме
чисел натурального ряда, т. е.
3„ = £х,= 5<г±+	(2)
Когда ранжирование производится несколькими (т)
экспертами, обычно сначала для каждого объекта подсчи-
п т
тывают сумму рангов = 22 полученную от всех
экспертов, а затем исходя из этой величины устанавли-
вают результирующий ранг для каждого объекта. Наи-
высший (первый) ранг присваивают объекту, получив-
шему наименьшую сумму рангов, и, наоборот, объекту,
получившему наибольшую сумму рангов, присваивают
самый низкий ранг N. Остальные объекты упорядочива-
ют в соответствии со значением суммы рангов относи-
тельно объекта, которому присваивается первый ранг.
Точность и надежность процедуры ранжирования
в значительной степени зависят от количества объектов.
В принципе чем таких объектов меньше, тем выше их
«различимость» с точки зрения эксперта, а следователь-
но, тем более надежно можно установить ранг объекта.
Во всяком случае количество ранжируемых объектов п
не должно быть больше 20, а наиболее надежна эта про-
цедура, когда п<10.
Метод ранжирования редко используется «в чистом
виде». Чаще всего он сочетается с другими методами,
обеспечивающими более четкое различие между факто-
рами. Одним из них является метод непосредственной
оценки и некоторые его модификации.
41
Метод непосредственной оценки состоит
в том, что диапазон изменения какой-либо качественной
переменной разбивается на несколько интервалов, каж-
дому из которых присваивается определенная оценка
(балл), например от 0 до 10. Шкала оценок может быть
не только положительной, а, например, включать в себя
диапазон с интервалом оценок от —3 до +3. Задача
эксперта заключается в помещении каждого из рассмат-
риваемых объектов (факторов) в определенный оценоч-
ный интервал, либо в соответствии со степенью облада-
ния тем или иным свойством, либо в соответствии с пред-
положениями эксперта об их значимости. Заметим, что
число интервалов, на которые разбивается весь диапазон
изменения качества, не обязательно должно быть одина-
ково для каждого эксперта. Кроме того, каждому эк-
сперту разрешается давать одну и ту же оценку двум
(или нескольким) качественно различным факторам.
В некоторых случаях оказывается удобнее для выбо-
ра наиболее предпочтительного фактора сначала произ-
вести оценку, а затем — ранжирование. Пусть, напри-
мер, т экспертов оценили (по шкале от 0 до 100) k на-
правлений исследований с точки зрения важности их для
достижения определенной цели.
Для того чтобы проранжировать эти оценки, припи-
сываем каждому из направлений число натурального ря-
да таким образом, чтобы ранг 1 был приписан макси-
мальной оценке, а ранг k — минимальной (табл. 4).
Таблица 4
Перевод оценок в ранги
Направления исследований	а	ь	С	d	е	f	Q	h	k
Оценка	40	30	80	90	20	100	60	70	50
Ранг	7	8	3	2	9	1	5	4	6
В ряде случаев суммарные оценки рангов нормируют-
ся. Нормирование любой меры означает, что представ-
ляющее ее число для всего множества в целом прини-
мается равным единице. Нормирование позволяет устано-
вить более тесную связь между оценками, приписанными
экспертами отдельным объектам. С этой целью оценки по
всем объектам суммируются, а затем каждая из них де-
лится на полученную сумму. Рассчитанные таким обра-
42
зом нормированные оценки могут быть вновь проранжи-
рованы.
Когда в экспертизе участвует несколько экспертов,
обычно стремятся получить усредненную оценку (вес)
для каждого объекта. Для этого нормированные оценки
каждого объекта суммируются, а затем полученная сум-
ма делится па число экспертов.
При наличии нескольких факторов, по которым сле-
дует оценить каждый из объектов, средняя оценка (вес)
каждого объекта может быть рассчитана по формуле
т
да,. = —------,	(3)
п п
; = 1 /=1
где w,j — вес i-ro объекта, подсчитанный по оценкам
всех экспертов.
i=l
где xtj — оценка фактора i, данная экспертом у; п — чис-
ло факторов; т — число экспертов.
Другой способ установления зависимости между
оценками факторов (объектов, характеристик) состоит
в том, что важнейшему (с точки зрения экспертов) фак-
тору назначается оценка (вес), равная наперед заданно-
му числу (обычно 1 или 10), а оценка следующих друг
за другом по важности факторов определяется последо-
вательно как доля более важного. Полученные таким об-
разом значения нормируются. Основное достоинство та-
кого способа заключается в том, что он облегчает про-
цесс выбора оценок, поскольку эксперту не нужно каж-
дый раз сопоставлять весь их ряд, а лишь учитывать зна-
чение первой и предыдущей по важности оценок. Оценки,
полученные от группы экспертов, могут быть усреднены
для каждого фактора путем расчета средней арифмети-
ческой.
В случаях когда группа, состоящая из нескольких
экспертов, оценивает ряд факторов, причем у каждого, из
экспертов имеется своя шкала предпочтений, для нахож-
дения усредненной оценки каждого фактора может быть
рекомендована следующая методика [11].
43
1.	Составляется матрица «эксперты — факторы», в ко-
торой проставляются полученные от каждого эксперта
оценки факторов по шкале от 0 до 10 (представим, что
два эксперта оценили шесть факторов так, как показано
в табл. 5).
Таблица 5
Оценка факторов
Эксперт	Фактор	*					
	ii	*2 '	h	Л	is	z'g
1	10	7	9	3	4	5
2	8	6	10	4	2	7
2.	Рассчитывается относительная значимость
всех факторов в отдельности для каждого эксперта.
С этой целью оценки, полученные от каждого эксперта,
суммируются (по горизонтали), а затем нормируются:
№и = 10/38;
1Р21 = 7,38;
№31= 9/38;
Г41= <3,38;
1Р51= 4/38;
№61 = 5/38;
Г12 = 8/37;
Й?22 = 6/37;
Г32 = 10 37;
U/42 = 4/37;
1Р52 = 2/37;
Гв2= 7.37.
3.	Вычисляется усредненная оценка, данная всеми
экспертами каждому фактору. Для этого нормированные
оценки, полученные в предыдущем шаге, суммируются
(по вертикали), а затем рассчитывается средняя ариф-
метическая для каждого фактора:
	10/38 -H8/37__ 2	“	0,240;	r4 =	3/38 + 4/37 2	= 0,093;
	7/38 6/37 _ 2	—	0,173;	r5=	4/38+2/37 2	= 0,080;
	9/38 -r 10/37 2	~	0,254;	U7e=	5/38 + 7/37 2	= 0,16.
Рассмотрим конкретный пример «взвешивания» аль-
тернатив по нескольким факторам [12].
При проектировании одной из сложных систем авто-
матического управления (САУ) было выделено шесть
44
основных проблем: 1) устойчивость; 2) управляемость;
3) предотвращение критических ситуаций; 4) помехоза-
щищенность; 5) согласование управляемой части систе-
мы с приводом; 6) сложность реализации. Каждая из
проблем решается паилучшим образом при использова-
нии определенного принципа построения САУ, однако
для различных проблем эти принципы могут не совпа-
дать. Было установлено, что для построения САУ можно
было использовать одиннадцать различных принципов
(альтернативных решений).
Задача заключалась в том, чтобы выбрать такой прин-
цип, при использовании которого вся совокупность про-
блем решается наилучшим, в каком-либо определенном
смысле, образом. При этом предполагалось, что явно до-
минирующего в этом смысле принципа нет. Чтобы решить
этот вопрос, группа экспертов проранжировала извест-
ные принципы построения САУ при решении каждой про-
блемы, а также сами проблемы по их важности. В резуль-
тате каждой проблеме был приписан вес и вычислен сум-
марный ранг каждого принципа построения САУ.
Для получения независимых экспертных заключений
были опрошены 13 специалистов, работающих в трех раз-
личных организациях и представляющих различные науч-
ные направления. Опрос экспертов осуществлялся с по-
мощью анкет, в которых были перечислены проблемы
и принципы построения САУ.
Вес каждой проблемы q рассчитывался по формуле
= ио + (vs — «о).	(5)
4 У$ Уо
где По — вес наименее важной проблемы; Vs— вес наибо-
лее важной проблемы; yq — суммарный ранг q-й про-
блемы; у0 •—суммарный ранг наименее важной пробле-
мы; ys — суммарный ранг наиболее важной проблемы.
Результирующая взвешенная оценка каждого из аль-
тернативных решений (принципов построения САУ) оп-
ределялась ио формуле
xi = 2 2	(6)
9=1 ;=!
где т — число экспертов; k — число проблем; x\i — ранг
ьго принципа по q-й проблеме, приписанный /-м экспер-
том.
Поскольку наиболее предпочтительному ио каждой
45
проблеме решению приписывается наименьший ранг, это
решение можно найти, определив min (хь Хг,..., хп).
В табл. 6 приведены значения рангов, приписанных
Таблица 6
Ранжирование проблем
рангов проблем и ранжировка,.полученная на основании
суммарных рангов.
- Значения результирующих взвешенных оценок каж-
дого принципа и соответствующая их ранжировка приве-
дены в табл. 7 и 8.
Рассмотрим еще один пример ранжирования. Цель
его заключалась в формировании набора факторов, обус-
ловливающих различие себестоимости выплавки стали на
разных предприятиях, и в определении степени важности
отдельных факторов. Эти данные предназначались для
экономико-статистического моделирования себестоимости
мартеновского производства. Опрос экспертов проводил-
ся совместно ЦНИИЧерметом и Институтом экономики
и организации промышленного производства СО АН
СССР с использованием анкетного метода [13].
Составление анкеты для опроса экспертов предпола-
46
Таблица 7
Ранжирование принципов САУ с учетом веса проблем
Пробле- ма	Принцип											Коэффициент согласия* W (Р>0,99)
	1	2	3	4	5	6	7	8	9	10	11	
1	141 11	105 9	112 10	66,5 4	72,5 6	77,5 7	48,5 3	70 5	42 2	85 8	38 1	0,544
2	140 11	108,5 10	93 9	83,5 7	59,5 4	73 5	47 2	53 3	79 6	84 8	37,5 1	0,480
3	124,5 11	103,5 10	98,5 9	78,5 7,5	74 5	75 6	65 4	62,5 2	78,5 7,5	63 3	32 1	0,370
4	78,5 7	70,5 8	60,5 3	50 2	46,5 1	119,5 И	75 6	72,5 5	102,5 10	99,5 9	85 8	0,286
5	120,5 11	106 10	99 9	82 8	75 6	80 7	54 2	64 3	65 4	65,5 5	47 1	0,291
6	15 . 1	39 2	50 4	86,5 6	96,5 7	139 11	109,5 9	120,5 10	101,5 8	53 5	47,5 3	0,837
* О существе коэффициентов согласия см. в гл. 4.
Таблица 8
Окончательная ранжировка принципов построения САУ
Принцип	1	2	3	4	5	6	7	8	9	10	11
Суммарные взвешен- ные ранги	108,6	94,8	90,4	79,2	74,5	78,6	63,1	71,4	73,6	79,3	45,9
Ранжиров- ка принци- пов	11	10	9	7	5	6	2	3	4	8	1
гает выдвижение предварительной гипотезы о наборе
факторов мартеновского производства. Так как предвари-
тельный набор включал значительное количество факто-
ров (37), непосредственное ранжирование их представля-
ло бы для эксперта серьезные трудности. Поэтому было
признано целесообразным использовать двухэтапный ме-
тод ранжирования.
На первом этапе осуществлялось ранжирование девя-
ти предварительно сформированных групп факторов. Ан-
кетируемым предоставлялась возможность дополнить ан-
кету не учтенными, по их мнению, группами и поставить
каждую группу па одно из двенадцати отведенных мест.
На втором этапе факторы ранжировались внутри от-
дельных групп. Здесь эксперту также предоставлялась
возможность дополнить не учтенные в группе факторы и
ранжировать каждый фактор.
В группе экспертов были работники, занимающиеся
анализом и планированием издержек производства, пред-
ставители экономических служб предприятий, руководя-
щий персонал мартеновских цехов, главные специалисты
по сталеплавильному производству на предприятиях и в
главках министерства, работники научно-исследователь-
ских лабораторий и институтов.
Первичная статистическая обработка анкет состояла
в подсчете числа различных мнений о важности групп
факторов и отдельных факторов внутри групп. Ответы
были представлены в матричном виде. Каждое место
условились называть вариантом, а абсолютное число,
показывающее, сколько раз встречается тот или иной
вариант ответа, •— частотой. В данном примере частотой
служило число ответов об t-м месте по /-й группе факто-
48
ров и А-му фактору внутри группы. Таким образом, если
расположить отдельные варианты в возрастающем или
убывающем порядке и указать относительно каждого ва-
рианта, как часто он встречается в данной выборке, то
получают вариационный ряд — распределение мнений о
месте фактора и группы факторов. На основании вариа-
ционных рядов уже можно сделать некоторые выводы
о значимости факторов, но для компактности и удобства
сравнения необходимо получить обобщенное описание
этих рядов.
Для описания рядов распределения ответов использо-
вались две группы характеристик: характеристики поло-
жения рядов распределения (средняя арифметическая х,
Мода Мо, медиана Me) и разброса ответов о месте фак-
тора. В качестве последней бралось отношение суммы
двух ближайших соседних вариантов, включающих меди-
ану, к общем числу ответов. Считалось, что мнения хоро-
шо совпадают, если мера рассеяния (указанное отноше-
ние) составляет более 70%, удовлетворительно — при
70—40% и имеет место значительный разброс мнений
при мере рассеяния менее 40%.
Результаты расчетов по группам факторов приведены
в табл. 9. При определении ранга группы использовались
все виды средних, но предпочтение отдавалось медиане
и средней арифметической. Анализ средневзвешенного,
медианного и модального места (графы 5, 6, 7) показы-
вает довольно хорошее совпадение ранжировки по всем
видам средних. На этом основании проведено окончатель-
ное ранжирование групп факторов (графа 8). При этом
две пары групп поделили соответствующие места поровну
(графы 3 и 4, 5 и 6).
Следовательно, наиболее важными характеристиками
по степени влияния на себестоимость продукции были
признаны структура производственных фондов, уровень
концентрации производства и номенклатура выпускае-
мой продукции.
Была замечена закономерная связь между местом
группы и уровнем совпадения мнений: наибольшее едино-
образие в ответах наблюдалось по группам факторов, за-
нимающим крайние места — первое и девятое. По мере
приближения к средним местам различия в мнениях рос-
ли (мера рассеяния с 70% для первого и девятого мест
снижалась до 34% для пятого и шестого мест).
Внутригрупповое ранжирование проводилось анало-
49
Таблица 9
Ранжирование групп факторов
Группа факторов	Средние			Место			При- своен- ное место	Мера рассея- ния, %	Вывод о характере рассеяния ответов
	Me	X	Мо	по Me	ПО X	по Мо			
1	2	3	4	5	G	7	8	9	10
1. Техническая характеристика	0,86	2,01	1,00	1	1	1	1	74,70	Хорошее совпадение
цехов и печей									
2. Объем производства и сор-	2,00	2,74	3,00	2	2	2	2-	62,78	Удовлетворительное
тамент выплавляемой стали									
3. Технология плавки и раз- ливки	3,13	3,76	4,00	3	4	3—41	3-4	59,71	Удовлетворительное
4. Характеристика сырьевых	3,25	3,74	4,00	4	3	3—4)		52,94	Удовлетворительное
материалов									
5. Технико-экономические по-	4,31	4,76	5,00	5	6	5	5—6	34,88	Значительный разброс
казатели									
6. Теплотехнические параметры	4,43	4,71	6,00	6	5	6—7.	5—6	51,15	Удовлетворительное совпадение
7. Степень освоенности и воз- растной состав основных	6,04 \	6,38	6,00	7	7	6-7	7	56,32	Удовлетворительное
фондов									
8. Трудовые показатели	6,28	6,62	7,00	8	8	8	8	56,47	Удовлетворительное
9. Географическое положение	8,28	8,26	9,00	9	9	9	9	70,12	Хорошее
гичпо ранжированию групп факторов и также основыва-
лось на учете значений трех средних (х, Мо и Me).
Случалось, что ранги фактора по различным средним
противоречили друг другу. Тогда факторам присваива-
лись два или более места поровну. Например, в группе
факторов «Техническая характеристика цехов и печей»
наименьшее значение всех трех средних соответствовало
фактору «Тоннаж печи», который в этой группе факторов
поставлен на первое место по важности влияния на себе-
стоимость стали. На второе место в этой группе факторов
вышла по средневзвешенной «Площадь пода», по моде
и медиане — «Материал свода». Но поскольку различие
в средних для этих двух факторов невелико, то они де-
лят поровну второе и третье места.
Итак, первичный статистический анализ анкетных
данных позволил установить степень важности по влия-
нию на себестоимость стали отдельных групп производ-
ственных факторов и факторов внутри групп. Задачей
следующего этапа исследования являлось получение на
основе синтеза группового и внутригруппового ранжиро-
вания единой системы расположения всех факторов. Для
решения этой задачи были опробованы следующие спо-
собы:
1.	Простое ранжирование. Оно заключалось в том,
что все факторы располагались в последовательности,
соответствующей значимости отдельных групп и значи-
мости факторов внутри групп. Иными словами, сначала
идут факторы первой группы «Техническая характери-
стика цехов и печей», затем — факторы группы «Объем
производства и сортамент выплавляемой стали» и т. д.
Каждому фактору в этой последовательности присваива-
лось одно место. В итоге получилась ранжировка всех
перечисленных в анкете факторов с 1-го по 37-е место
(табл. 10, графа 6), в соответствии с которой им при-
сваиваются значения х, (i=l, 2, .. ., 37).
Преимуществом этого способа является простота и
легкость получения единой классификации факторов. Но
установленная подобным способом общая ранжировка,
конечно, очень огрубленная, поскольку уже при частной
ранжировке выяснилось наличие расхождений в оценках
значимости как отдельных групп, так и факторов внутри
групп. При таком ранжировании совершенно игнорирует-
ся, кроме того, возможность ситуации, когда факторы,
стоящие на первых местах в следующей по значению
группе, могут быть более важны, нежели стоящие на пос-
51
Таблица 10
Сводная таблица ранжирования факторов (87 анкет)
Наименование фактора	Шифр факто- ра	Оценка по способу *			Место при ранжи- ровании по способу			
		2	3	4	1	2	3	4
1	2	3	4	5	6	7	8	9
				йх-.; j				
Тоннаж печи (факти-	Xl	3,11	0,23	2,24	1	1	1	1
ческий) Площадь пода	Х2	4,64	0,55	2,56	2	4	7	2
Материал свода	Хз	4,79	0,58	2,59	3	5	8	3
Глубина ванны	Д' 4	5,01	0,63	2,64	4	7	11.	4
Объем производства	Хз	4,05	0,62	3,36	5	2	10	5
в цехе								
Сложность и сорта-	Хв	4,60	0,89	3,63	6	3	19	6
мент выплавляемой								
стали				4,03		13		
Доля сравнимой про-	Х1	5,22	1,29		7		26	7
дукции Соотношение чугуна	Хв	4,91	0,45	4,19	8	6	3-4	8
и лома Качество лома	Х9	5,85	0,81	4,55	9	11	15-16	9
(удельный вес стружки, вес муль-								
ды и т. д.) Химический состав	Х10	6,51	1,06	4,80	10	12	23	11
чугуна Количество и качест-	Хи	7,44	1,41	5,15	11	20	27	14
во окислителей				4,63				
Тип процесса (скрап-	Х12	5,20	0,87		12	8	18	10
процесс, скрап-руд- ный, дуплскс-про-								
лесе) Применение кислоро-	Х13	5,59	1,10	4,86	13	10	24	12
да в ванну Способ разливки (си-	х14	6,79	1,79	5,55	14	16	31	23
фоном, сверху ч т. д.) Род топлива	5	6,63	0,42	5,13	15	14	2	13
Удельная тепловая	х16	6,73	0,45	5,16	16	15	3—4	15
нагрузка Применение кислоро-	Х17	7,13	0,53	5,24	17	17	6	16
да в факел Качество топлива	*18	7,47	0,61	5,32	18	21	9	18
Уровень автоматнза-	Хю	8,39	0,81	5,52	19	25	15—16	21
ции теплового режи- ма								
Применение сжатого	•Х‘20	8,56	0,85	5,56	20	28	17	24
воздуха в факел								
52
Продолжение табл. 10
Наименование фактора	Шифр факто- ра	Оценка по способу *			Место при ранжи- ровании по способу			
		2	3	4	1	2	3	4
1	2	3	4	5	6	7	8	9
Применение пара в факел	%21	9,11	0,97	5,68	21	32	20—21	25
Удельные расходы сырья и топлива	%22	6,55	0,50	5,26	22	13	5	17
Длительные плавки	%23	7,30	0,71	5,47	23	18	12	19
Цены на сырье, топ- ливо и вспомога- тельные материалы	Л'24	7,38	0.73	5,49	24	19	13	20
Вес плавки	%25	7,52	0,77	5,53	25	22	14	22
Количество и дли- тельность простоев	-<26	9,24	0,97	5,73	26	33	20—21	26
Стоимость ремонтов	%27	8,39	1,02	5,78	27	26	22	27
Количество и качест- во ремонтов	Х28	8,12	1,16	7,54	28	23	25	28
Степень модерниза- ции печи	Л'29	8,54	1,45	7,83	29	27	28	29
Степень освоения проектной мощности печи	Хзо	8,77	1,60	7,98	30	30	29	30
Срок действия печи с момента ввода	*31	9,55	2,12	8,50	31	34	33	32
Уровень организации	%32	8,18	1,61	8,23	32	24	30	31
труда Численность персо- нала	Хзз	8,60	2,18	8,80	33	29	34	34
Квалификация рабо- тающих	Х'з'.	9,10	2,73	9,35	34	31	35	34
Близость сырьевых и топливных баз	Хзз	9,65	1,86	10,12	35	35	32	35
Работа	внешнего транспорта	Хзв	10,56	3,07	11,33	36	36	36	36
Значение климатиче- ских условий	Х&1	10,75	3,33	11,59	37	37	37	37
* По способу I осуществляется лишь ранжирование (графа 6).
ледпих местах в предыдущей группе. Поиски более совер-
шенной процедуры ранжирования привели к двум дру-
гим способам, устраняющим в некоторой мере указанные
недостатки простого ранжирования.
2.	Ранжирование по сумме оценок. В основе ранжи-
рования по этому способу лежит величина, получаемая
53
при сложении оценок места группы и места фактора
внутри группы. В качестве оценки в обоих случаях ис-
пользовалось значение средневзвешенного места. Вели-
чина полученного критерия ранжирования и номера мест
приведены соответственно в графах 3 и 7 табл. 10.
Сравнение полученной при этом ранжировки с простой
показывает, что произошло перераспределение мест
у большинства факторов, хотя смещения и не очень ве-
лики. По-видимому, ранжирование по сумме оценок бо-
лее объективно, поскольку учитывает степень различия
в оценках мест групп и факторов внутри групп. Однако
при этом способе возможно и механическое суммирова-
ние в связи с тем, что оценки мест групп даны в 9-балль-
ной системе измерения (из-за наличия 9 групп), а оценки
'факторов внутри групп — в 4—7-балльных. Получается,
что каждый раз с величиной, измеренной в одном мас-
штабе, складываются величины, выраженные в других
масштабах. Этот дефект, по мнению авторов метода,
можно устранить, если проводить ранжирование по треть-
ему способу.
3.	Ранжирование по сравнимой шкале. Чтобы выра-
зить ценность места внутри группы в той же 9-балльной
системе измерения, которая принята для групп, исполь-
зовался следующий прием. Оценки факторов внутри каж-
дой группы суммировались, и на эту сумму делилась
оценка группы. Полученная при этом величина представ-
ляет вес единицы внутригрупповой шкалы, выраженный
в единицах 9-балльной шкалы. Умножая на этот коэф-
фициент место каждого фактора, получаем скорректиро-
ванные средневзвешенные значения, по которым произ-
водится ранжирование. Например, группа «Техническая
характеристика цехов и печей» имеет межгрупповой
балл 2,01. Баллы факторов в пей равны соответственно:
. тоннаж печи	— 1,10
площадь пода	— 2,63
материал свода	—2,78
глубина ванны	— 3,00
Итого	9,51	Q]
Вес внутригрупповой единицы составляет 0,21
Теперь можно определить средние оценки по сравнимой
шкале:
тоннаж печи
площадь пода
материал свода
глубина ванны
— 0,21-1,10 = 0,23
-0,21-2,63=0,55
— 0,21-2,78=0,58
— 0,21-3,00=0,63
54
Значения скорректированных средних для всех фак-
торов, полученные подобным образом, приводятся
в табл. 10 (графа 4). Недостатком третьего способа яв-
ляется то, что величина корректировочного коэффициента
в сильной мере зависит от числа факторов, вошедших
в группу. Для его устранения было предложено комбини-
рование второго и третьего способов (способ 4).
4.	Ранжирование комбинированным способом. За
оценку места фактора принималась сумма: оценка груп-
пы плюс скорректированная оценка фактора в группе.
Полученные таким образом оценки факторов приведены
в графе 5 табл. 10.
Дальнейшее ранжирование состояло в упорядочении
пх расположения по величине полученной оценки. Ран-
жирование факторов, включенных в расчеты по всем спо-
собам, приведено в табл. 10 (графы 6—9). Сравнение
граф 6—9 выявляет различия в ранжировании по рас-
смотренным способам.
Метод непосредственной оценки может быть исполь-
зован в самых различных ситуациях, характеризующихся
отсутствием полной информации, например для оценки
трудоемкости научно-исследовательских работ, когда нет
исходных отчетно-статистических данных. В таких слу-
чаях оценка трудоемкости может производиться специа-
листами лишь примерно, на основе имеющейся у них ин-
формации. Эта информация имеет некоторую долю неоп-
ределенности, величина которой зависит от опыта и зна-
ний специалистов-экспертов.
Известно, что трудоемкость научно-исследовательских
работ (НИР), а в отдельных случаях и опытно-конструк-
торских работ (ОКР) носит вероятностный характер, так
как зависит от множества трудно учитываемых факторов.'
В связи с этим можно предположить, что распределение,
случайных значений трудоемкости описывается 0-рас- )
пределением по аналогии с методами сетевого планиро- z
вания и управления (СПУ). Применение 0-раснределе- .
ния позволяет использовать экспертные оценки для
основных параметров распределения •— среднего значе-
ния (математического ожидания) и среднеквадратиче-
ского отклонения [14].
В этом случае применяются экспертные оценки мини-
мально возможной трудоемкости работы Ттш, макси-
мально возможной Ттах и наиболее вероятной Тп.ъ. По
этим величинам при помощи формул, принятых в системе
СПУ, оценивается ожидаемое значение трудоемкости
55
Т’ож (математическое ожидание распределения) и дис-
персия о2:
у __ Tallin Н~ 4ТИ.В 4- Tjnax .
°Ж-	6
^2 _ /^tnax T'mtrA2
\	6	J ’
Следует, однако, отметить, что оценки по методу СПУ
часто дают заниженные величины среднеквадратического
отклонения. В связи с этим обработку исходных.данных,
получаемых от экспертов, целесообразно вести по форму-
лам
у ____ T'min + ^Т'н.в "I" Т'тах .
4
02 __ / Тщах Тmln\2
к 4 Г
Чтобы накопить исходные данные, необходимые для
определения трудоемкости НИР и ОКР, используются
специальные формы, в которые вносятся индивидуальные
оценки экспертов.
Этап НИР (ОКР)	Оценка			Расчетные величины	
	т . 'пип	Т 4 н.в	Т 1 шах	Т о ж	ст2
1 2 И т. д.					
Обработка результатов экспертного опроса произво-
дится в следующей последовательности:
1. Расчет величин Т^ож, ац (i— номер этапа, i=l,
2,..., I, где I — количество этапов; j — условный номер
эксперта, /=1, 2....т, где т — количество экспертов).
2. Составление и заполнение данными сводной формы
ожидаемой трудоемкости выполнения работы:
56
3. Составление сводной матрицы дисперсий отклоне-
ний оценок:
4. Определение усредненного мнения экспертов для
установления среднего значения трудоемкости каждого
этапа работы. Оценка усредненного ожидаемого значе-
ния трудоемкости каждого этапа осуществляется путем
нахождения средневзвешенного значения по наблюдени-
ям всех экспертов по формуле
Т‘ = У КИТЧ ,
ож	ож’
;=i
где Т’ож — усредненное значение трудоемкости i-ro эта-
па работы;
Кц— -г-1 — весовой коэффициент /-го эксперта при
°ij		а
оценке трудоемкости г-го этапа работы;
сг2ог — постоянная, выбирается из условия
2/<У = 1’ т. е. о2. =
;=i
Дисперсия усредненного значения трудоемкости опре-
деляется по формуле
Иногда целесообразно различать экспертов по степе-
ни компетентности и значимости их мнений, т. е. мнениям
одних экспертов придается больший вес, чем мнениям
других. Ранжирование экспертов, при котором каждому
из них присваивается ранг значимости от 1 (наиболее
влиятельный эксперт) до пг (наименее влиятельный
57
эксперт), осуществляется в соответствии с показанной
ранее методикой обработки ранжированных данных.
Мнение каждого эксперта принимается при расчетах
с коэффициентом, пропорциональным — , где г,- — ранг
Г]
/-го эксперта. В этом случае усредненное значение тру-
доемкости устанавливается по формуле
__	П1
^К'ЧТ^,
Л=1
где
Оценка дисперсий принимается равной:
Полученные значения и Т'0№к используются как
предварительные, характеризующие трудоемкость эта-
пов НИР. Значения о/2, сто/2 позволяют дать опенку не-
определенности (отклонений) при планировании трудо-
емкости соответствующих этапов НИР.
2.3.	МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ СРАВНЕНИЙ. .
Суммирование рангов и оценок (баллов) раз-
личных объектов и факторов представляется нам естест-
венным, поскольку этот принцип часто используется при
решении практических задач и значительно упрощает
выбор наиболее предпочтительного решения. В последнее
время эти методы широко применяются при измерении
уровня качества продукции, оценке деятельности науч-
ных подразделений и организаций и т. п. Они имеют ряд
преимуществ, основное из которых заключается в воз-
можности сопоставления и «соизмерения» качественно
различных факторов. Но предположения о такой возмож-
ности часто оказываются не подкрепленными содержа-
тельным анализом, существо которого здесь выходит за
пределы математики.
Общим дефектом показателей, получаемых па основе
суммирования оценок, является то, что недостаток каче-
58
ства по одному из факторов можно компенсировать за
счет другого, получая один и тот же результат при раз-
личной значимости факторов. Поэтому для повышения
надежности подобных оценок весьма важное значение
имеет выявление связей и установление зависимостей
(по возможности количественных) между всеми значи-
мыми факторами.
Как было показано ранее, аддитивность оценок прису-
ща шкале отношений и при некоторых условиях — шка-
ле интервалов. Поэтому суммирование баллов, расчет ре-
зультирующих рангов и оценок должны быть основаны не
только на их упорядочении, по и еще на некоторых логи-
ческих допущениях о зависимостях, используя которые
можно обоснованно приписывать качественно различным
факторам веса в одинаковых единицах по общей шкале
измерения.
Основные из этих допущений заключаются в следую-
щем [15]:
каждому результату (событию, фактору) соответст-
вует действительное неотрицательное число vj, рассмат-
риваемое как оценка истинной значимости (ценности) Oj;
если результат Oj более важен, чем Ok, то Vj>vk,
и если О, равноценен Ok, то v3 = Vk',
если оценки Vj и vh соответствуют результатам О3-
и О),, то оценка v3 + vh соответствует общему результату
О; И Ok.
Последнее допущение и является допущением об ад-
дитивности оценок. Это допущение выполняется, когда
результаты дискретны, непротиворечивы и взаимно не-
зависимы.
Следствиями допущения об аддитивности являются:
а)	если результат О; предпочтительнее Ok, a Ok пред-
почтительнее О/, то совместный результат Oj и Oh пред-
почтительнее Ог,
б)	значимость общего результата Oj и Ok эквива-
лентна значимости общего результата Oh и Oj. Это озна-
чает, что порядок представления результатов или их груп-
пировка не влияет па предпочтения;
в)	если общий результат Oj и Oft эквивалентен О*,
то vj = 0. Отсюда, если существует результат Oj, удовлет-
воряющий данному условию, то существует и пулевая
точка определенной шкалы, инвариантная к любым пре-
образованиям шкалы оценок v.
Как отмечалось ранее, обоснованная процедура при-
писания экспертных оценок требует, чтобы существовала
59
какая-либо мера, позволяющая хотя бы субъективно
сравнивать эти оценки.
Метод последовательных сравнений, разработанный,
У. Черчменом и Р. Акофом, обеспечивает проведение та-
кого сравнения с учетом сделанных выше допущений.
Процедура последовательных сравнений состоит в сле-
дующем. Эксперту предоставляется перечень факторов,
которые необходимо оцепить по их относительной важно-
сти и ранжировать. Наиболее важному фактору при-
дается оценка ot = l, а остальным факторам — оценки vi
между 0 и 1 в порядке их относительной важности.
Затем эксперт устанавливает, является ли фактор
с оценкой 1 более важным, чем комбинация остальных
факторов. Если это так, то он увеличивает оценку uh
чтобы она была больше, чем сумма всех остальных, т. е.
> 2 vi-
1=2
Если нет, то он корректирует оценку (если необхо-
димо) так, чтобы она была меньше суммы всех осталь-
ных, т. е.
Vi < 2 v(.
i=2
Далее определяется, является ли второй наиболее
важный фактор с оценкой v2 более важным, чем все
остальные факторы, получившие более низкие оценки;
повторяется та же процедура, что и для vt, Процедура
последовательных сравнений продолжается вплоть до
(п — 1)-го фактора. •
Таким образом, используемая здесь процедура состо-
ит в систематической проверке оценок на базе их после-
довательного сравнения.
Рассмотрим условный пример. Представим, что воз-
можны четыре результата, которые необходимо «взве-
сить» по их значимости. Процедура взвешивания будет
состоять в следующем.
Упорядочим четыре результата по их значимости.
Пусть О, — наиболее важный результат, О2 — следую-
щий по важности, далее идут О3 и О4.
Присвоим вес 1,00 наиболее важному результату и не-
которые другие веса — остальным результатам. Так, на-
пример, эксперт может приписать результатам Оь О2, О3
и О4 веса 1,00; 0,80; 0,50 и 0,30 соответственно.
60
Обозначим эти величины символами vlt v2, v3 и v4;
их следует рассматривать как первые оценки «истинных»
значений Оь О2, О3 и О4.
Проведем сравнение Oi с О2, О3 и О4, т. е. выясним,
что выберет эксперт, если ему предоставить возможность
«получить» результат Oi или сумму результатов О2, О3
и О4.
Предположим, он утверждает, что О[ предпочтитель-
нее этой суммы. Тогда значение оценки V] следует изме-
нить так, чтобы выполнялось неравенство Oi>o2 + o3 + o4-
Например, можно принять, что £>i = 2,00; £>2=0,80;
£>3 = 0,50 и £>4 = 0,30. Отметим, что первоначальные значе-
ния оценок для О2, О3 и О4 остались без изменений.
Сравним далее О2 с О3 и О4. Предположим, что суммар-
ный результат О3 и О4 более предпочтителен. Тогда тре-
буется дальнейшее изменение первоначальных оценок.
Например, можно принять £>i = 2,00; £>2 = 0,70; £>3 = 0,50
и £>4 = 0,30. Если эти оценки не противоречат мнениям
экспертов, можно их нормировать, разделив каждую из
них на сумму всех оценок, которая в данном случае рав-
на 3,50.
Обозначив нормированные оценки символами v'j,
имеем:
,	2,00	„ „
Vi — — = 0,57;
3,50
— =0,20;
3,50
, = МО = 0 09
3’50
Итого 1,00
Используя предыдущий пример, сформулируем об-
щую процедуру метода оценки весов на основе последо-
вательных сравнений так:
1.	Упорядочить результаты в соответствии с их важ-
ностью с точки зрения эксперта.
Пусть О! представляет наиболее важный результат,
О2 — следующий по степени важности и т. д., а От —
наименее важный.
2.	Приписать вес 1,00 результату О] (т. е. £>i = 1,00)
и другие веса — всем остальным результатам.
3.	Сравнить Oi с О2-|-О3-|-.... -ЬОт:
61
а)	если О! предпочтительнее О2 + О3+ ... 4-От, изме-
нить (в случае необходимости) значение th так, чтобы
выполнялось неравенство Vi>v2 + v3+ ... + vm. При этой
корректировке, так же как и при всех остальных, следует
стремиться к тому, чтобы веса набора (у2, v3 и т. д.) оста-
лись без изменений. Далее следует перейти к шагу 4;
б)	если О! и O2 + O3+ ... +От равноценны, то изме-
нить (в случае необходимости) значение v} так, чтобы
выполнялось равенство t»i = V2 + w3 + •.. + vm, и затем пе-
рейти к шагу 4;
в)	если результат О[ менее предпочтителен, чем
О2 + О3 + . . . +0 т, то изменить (в случае необходимости)
значение vt так, чтобы выполнялось неравенство t»i<z72 +
-г^з+ ... +ит. Далее сравнить (Д с О2 + О3+ ... +
+Om-i и повторить описанную процедуру до тех пор, по-
ка О] будет или предпочтительнее, или равноценен всем
остальным результатам.
4.	Сравнить 02 с О3 + О4+ ... +От и выполнить весь
шаг 3.
5.	Продолжить шаг 4 до тех пор, пока не будет выпол-
нено сравнение Om_2 с Om-i + Om.
6.	Преобразовать каждое полученное значение Vj
в нормированное v'j, разделив соответствующие веса на
2 Vj. В итоге сумма 2 v'j должна быть равна 1,00.
r. „ '=1
Описанный метод становится громоздким, когда чис-
ло результатов равно или более семи. В этом случае мо-
жет быть использована следующая процедура:
1.	Упорядочить все множество, учитывая предпочте-
ния эксперта (экспертов) и не ставя им в соответствие
числовых значений.
2.	Выбрать случайным образом любой результат из
множества, допустим Од.
3.	Разбить случайным образом оставшиеся результа-
ты на подмножества так, чтобы каждое из них содержало
не более 6 результатов.
4.	Включить в каждое из подмножеств результат, вы-
бранный в шаге 1.
5.	Применить процедуру, описанную выше, к каждому
подмножеству результатов в отдельности, приписав пред-
варительно некоторое число vs результату Од (например,
1, 10 или 100). При этом, корректируя значения оценок
остальных результатов Vj, значение vs оставляем без из-
менений.
62
6.	Сравнить оценки Vj с предпочтениями, полученны-
ми в шаге 1. Если в итоге получены непротиворечивые
результаты, следует пронормировать оценки. Об обнару-
женных противоречиях надо сообщить эксперту, который
(в случае необходимости) меняет значения оценок. •
Основой описанного подхода является введение ЕЬкаж-
дое подмножество результатов некоторой стандартной
меры или базиса сравнения. Надежность полученных
оценок можно проверить, образуя новые подмножества
и используя другие базисные оценки.
Таким образом, применение метода последовательных
сравнений основано на предположении о том, что если
задан некоторый интервал действительного переменного,
скажем от 0 до 1, то эксперт, основываясь на имеющейся
у него информации, может установить предварительные
оценки для каждого события, а затем уточнить их на
основе сравнения с помощью определенной логической
процедуры.
Поскольку множества, содержащие 7 и более элемен-
тов (результатов), трудно упорядочить с помощью метода
последовательных сравнений (процедура становится гро-
моздкой), целесообразно разбивать такие множества на
несколько подмножеств, каждое из которых включает
в себя не более 6 результатов.
Например, если имеется 17 результатов, их можно
разбить на три подмножества примерно одинаковой вели-
чины, а затем производить сравнение [16].
Случайным образом выбирают один результат, на-
пример О4. Затем разбивают опять-таки случайным обра-
зом оставшиеся 16 результатов на три подмножества, из
которых два содержат 5 результатов и одно — 6. Обра-
зуют три подмножества, каждое из которых должно со-
держать выбранный результат. Например, это можно вы-
полнить так:
О4	О4	О4
О[	Оз	Од
Од	Оз	О?
Ою	Оз	Оц
О]5	О8	012
017	•	014	013
01в
Далее применяют описанную выше процедуру после-
довательных сравнений к каждому подмножеству резуль-
татов в отдельности.
Наконец, сравнивают полученные ненормированные
оценки с оценками, полученными при первоначальном
63
упорядочении, и выясняют, какое из предпочтений яв-
ляется более обоснованным. В случае необходимости
вносят коррективы в первоначальные оценки.
Надежность полученных таким образом оценок можно
проверить, образуя новые подмножества и используя
другую базисную оценку.
Квантификация (сведение качественных характери-
стик к количественным) предпочтений в сложных и ком-
плексных проблемах с помощью метода последователь-
ных сравнений при наличии большого числа факторов
становится затруднительной. В таких случаях следует
попытаться разделить проблему па ряд более простых
«подпроблем» и задач, для которых сравнительно про-
сто выявить предпочтения [17], либо, если это оказы-
вается невозможным, использовать метод парных сравне-
ний.
2.4. МЕТОД ПАРНЫХ СРАВНЕНИЙ.
Трудности использования ранжирования, не-
посредственной оценки и метода последовательных
сравнений при выявлении предпочтений для большого
числа факторов можно в определенной степени умень-
шить, если предложить экспертам произвести сравне-
ние этих факторов попарно, с тем чтобы
установить в каждой паре наиболее важ-
ный.
В методе парных сравнений объекты сопоставляются
попарно экспертом (экспертами), а затем выбирается
один из них. Будем говорить, что в этом случае эксперт
предпочитает данный объект, хотя выбор не обязательно
будет выражать его предпочтение. В общем случае
эксперт может установить равенство объектов или за-
фиксировать свои предпочтения на некоторой шкале.
Основной элементарный акт — сравнение двух объек-
тов А и В одним экспертом — можно распространить на
случай, когда несколько экспертов рассматривают более
чем два объекта. Производить парное сравнение удобно
не только тогда, когда число объектов велико, но и в тех
случаях, когда различия между объектами настолько ма-
лы, что непосредственное ранжирование или оценка не
обеспечивают их разумного упорядочения. Таким обра-
зом, метод парных сравнений имеет некоторое преимуще-
ство перед другими методами упорядочения в случаях,
когда объектов много и (или) они трудно различимы.
64
Чаще всего при парном сравнении двух объектов ог-
раничиваются простой констатацией того, что один из
них предпочтительнее другого. В отдельных случаях,
когда степень предпочтения можно выявить, используют-
ся специальные шкалы, где каждой степени предпочте-
ния присваивается определенная оценка. Однако про-
стейшая форма парных сравнений, когда устанавливает-
ся, что объект А «лучше» в некотором отношении объек-
та В, наиболее удобна, поскольку она уменьшает об-
ласть возможной несогласованности между экспертами
до минимума. Практика показывает, что даже допущение
о возможности равенства объектов создает трудности
при сборе и обработке информации, полученной от
экспертов. Установлено, например, что одни эксперты
объявляют объекты равными более охотно, чем другие.
Рассмотрим случай, когда сравниваются попарно три
объекта А, В и С. Пусть суждение каждого эксперта со-
стоит из простого предпочтения того или иного объекта,
причем «ничьи» не допускаются. Тогда для каждого из
трех сравнений (А с В), (Л с С), (Вс С) возможны
два исхода. Общее число исходов — 8, причем 6 из них
типа: Л->В, А-^С, В-+С (стрелка означает «предпочти-
тельнее, чем»). Результаты сравнения в таком случае
удобно представить в виде тройки чисел [2, 1, 0], которые
указывают, что один объект (не обязательно А) «выигры-
вает» два раза, другой — один раз, а третий — ни разу.
Два оставшихся результата
А -> В, В-+С, С-+А,
А+-В, В +-С, С «- А
могут быть представлены как [1, 1, 1] или же как [I3]
и названы циклическими триадами. Ясно, что цикличе-
ская триада означает непоследовательность в суждениях
части экспертов, причем вероятность возникновения цик-
лической триады равна 'А, когда объекты идентичны.
Причины возникновения циклических триад могут со-
стоять в недостаточной компетентности эксперта или же
в том, что объекты нельзя сравнивать по одной линей-
ной шкале, поскольку имеется несколько признаков, по
которым они различаются.
Важным свойством парных сравнений является воз-
можность выявления таких противоречий, а следователь-
но, установления некоторых критериев предпочтения.
3-78
65
Предположим, что п объектов Ah А2,..., Ап сравни-
ваются попарно каждым из т экспертов, и эксперт с но-
мером j делает г, повторных сравнений для каждой из
(Jp возможностей. Пусть Хц (/,/=1,..,, n,i^=j) — типич-
ная величина, принимающая значение 1 или 0 в зависи-
мости от того, предпочитает ли эксперт /, где / = 1,..., т,
в б-м сравнении (б= 1, 2,..., г,) двух объектов А{ или Aj.
Пусть также вероятность события А Р(хц=1) =лц, при-
чем 0^лг,-^ 1 и Лц= 1—Лг;.
Предположим, что объект At при оценке его по неко-
торому признаку обладает «истинной» ценностью Vi. Мож-
но представить п ценностей V2,..., Vn точками на оп-
ределенной шкале. Эмпирическая ценность объекта Аг
будет меняться от наблюдения к наблюдению и может
быть представлена на некоторой шкале как непрерывная
случайная величина t/i(—оо^уг^оо).
В парном сравнении Ai с Aj первый из объектов бу-
дет предпочитаться второму, если yi>yj, второй — перво-
му, если yi<yj. Если можно построить шкалу ценностей
так, чтобы вероятность предпочтения
Р(Уi~
выражалась для всех i, j как Я(Ег-—Vj), где Н(х) воз-
растает монотонно от Н(—оо) =0 до Н(<х>) = 1
и Н(—х) = 1—Н(х), то можно говорить, что вероятно-
сти предпочтений удовлетворяют условиям модели. Оче-
видно, что Н (х) — функция распределения случайной ве-
личины, симметричной относительно нуля.
Поскольку функция Н(х) делает л^ зависящими от
разностей Vi—Vj, все Лц могут быть выражены как
функция (п—1) независимых разностей Vi с лц Jg , со-
ответствующими Vi > Vj. В силу этого ценности (шкаль-
ные оценки) удобно представлять п точками на линейной
шкале. В этом случае предполагается, что yi — нормаль-
но распределенные случайные величины.
Предположим, что эксперт выполнил все ( % ) пар-
ных сравнений, результаты которых представлены в виде
матрицы предпочтений с двумя входами, составленной из
нулей и единиц и известной как турнирная таблица. Для
* п==5 обычный исход эксперимента может соответство-
вать, например, представленному в табл. 11.
66
Обозначим общее число предпочтений, отданных объ-
екту Аг, через а,-. Тогда
2^==4'П(П“1)
Z=1
и возможно всего 2	различных матриц предпоч-
тений.
Наглядное представление о ситуации, рассмотренной
в приведенном примере, который иллюстрирует и общий
случай, дает граф в виде правильного пятиугольника, со
всеми его at связями (рис. 3).
Рис. 3. Многоугольник пред-
почтений
Направление стрелок на рис. 3 указывает 10 пред-
почтений, которым соответствует число стрелок, выходя-
щих из вершины Аг-. Использование таких матриц и гра-
фов предпочтений позволяет дать ответы на вопросы:
1) последователен ли эксперт в своих суждениях? и
2) имеются ли значимые различия между объектами?
3
67
Очевидно, что множество суждений можно считать тем
более последовательными, чем меньше циклических три-
ад оно содержит. Ясно, что из 10 триад предыдущего при-
мера А], А4, Л2 и А], Д5, А2— циклические триады.
При использовании комбинаторных методов опериру-
ют с различными комбинациями оценок (очков, баллов),
характеризующих предпочтения эксперта (экспертов),
выявленные при парном сравнении объектов.
Чаще всего обращаются к нулевой гипотезе, согласно
которой суждения выносятся случайно (лц= -у для всех
at).
Результаты парных сравнений можно суммировать
в виде вектора оценок (ait а2...ап), где Sa, = y«X
X (л— 1). Для многих целей последовательность, в которой
расположены объекты, неважна, и (а,, а2, . . ., ап) можно
заменить размещением х'1, хф ,. .., х'т, где , х>» —
просто величины ai,...,an, переставленные в убываю-
щем порядке, /"1 — число случаев, когда at имеет наиболь-
шее значение xIt и т. д. Отсюда следует
т	т	1
=^n(n - 1).
Распределение вероятностей допустимых размещений
служит основой для получения распределения различных
статистических критериев, которые являются функциями
оценок, полученных при парном сравнении. Когда гипоте-
за случайности верна, частоты различных размещений
дают ту же информацию, что и распределение, так как
их можно превратить в вероятности делением на число
возможных предпочтений.
Не останавливаясь на анализе возможных подходов
к задаче перечисления, подробно рассмотренных в [18], от-
метим лишь, что теория распределения может быть при-
менена к анализу результатов парных сравнений и при
невозможности использования предположения о нулевой
гипотезе.
Например, ранжирование возможно, если для каждой
тройки разных объектов Aif А ,, А/, выполняются следую-
щие условия стохастической транзитивности:
луА>у влечет л7/г>у.
68
Эти условия ведут к вполне определенному упорядо-
чению каждой тройки и, следовательно, всех п объектов.
Более строгой, чем предыдущая, является модель уси-
ленной стохастической транзитивности:
У влечет aik max (л;у, луД
Теперь добавим: л,-у = -^-, что соответствует А;~А;, тогда
= при A{~Aj и = если A/t~Aj. В этом слу-
чае объекты А/, A;, Ah можно представить точками на
прямой, на которой вероятность предпочтения, соответст-
вующая интервалу (А*, А,), будет больше, чем вероятно-
сти, соответствующие подынтервалам (Ай, А;), (А,-, А,).
Это представление легко распространить па все п объек-
тов па одной прямой. Равные расстояния не обязательно
соотносятся с равными вероятностями, но их можно сде-
лать равными подходящим растяжением прямой, что ве-
дет к линейной модели.
Так как начало координат на линейной шкале выби-
рается произвольно, удобно ввести ограничение
п	Г
/^1
которое допускает единственную оценку V, (другая воз-
можность состоит в том, чтобы положить Vi — наимень-
шую оценку — равной нулю, но предыдущая модель
имеет преимущества благодаря симметрии). Пусть
'JU vt~ Vj(i = i, • ••,«; 1 7-i),
так что вероятность предпочтения
а Н— функция распределения, соответствующая выбран-
ной линейной модели. Суммируя по всем /, отличным от
j=i, мы имеем
Е'3/у = (д(Л
или
« j
Это приводит к следующему методу нахождения оценок
Vi для Vi в сбалансированном эксперименте парных
сравнений с т повторами. Пусть Рц =	—доля пред-
т
69
почтении объекта А{ объекту Aj. Подобно тому, как оп-
ределяется б/д определим д,ц-.
= Р;у:
тогда
= dy.
Трудности возникают, если Рц = 0 или Pi,= l и если
Н—функция распределения неограниченной случайной
величины; при получении конечной величины для d^
имеется возможность заменить наблюдаемые значения
Рц (0 или 1) па —или 1 — — соответственно.
2т	2т
Вообще говоря, невозможно удовлетворить соотноше-
ниям Vi—Vj = dij, так как уравнений больше, чем неизве-
стных. Однако эти соотношения могут выполняться
«в среднем» в предположении
п J
Понятно, что возможны другие оценки Vi, но.простые
оценки имеют те преимущества, что Метод вычисления
один и тот же при любой функции распределения Н. Это
свойство, вообще говоря, не сохраняется для оценок,
основанных на методах максимального правдоподобия,
минимума хи-квадрат и т. д.
Иногда какой-то объект, скажем Ль априори особенно
интересен в эксперименте парных сравнений. В таком
случае у экспериментатора может возникнуть желание
проверить частную нуль-гипотезу:
Но': лх — —,
2
что — в точности средний объект, против альтерна-
тивы
/7а: лх>—,
а	2
что он лучше, чем средний. Когда верна гипотеза Но
о случайности сравнений
//0: aij ~ Р j — К • • • > п’ i ~i~ h
очки «1 объекта А[ имеют биномиальное распределение
т(п—1)), и к проверке Но против На можно
при-
70
менить обычный биномиальный критерий. Заметим, что
для выполнения гипотезы Но' не требуется равенства
всех между собой. В этом случае а.\ имеет обобщен-
ное биномиальное распределение с т.ем же математиче-
ским ожиданием, что и при Но, но с дисперсией, меньшей,
чем при На, и равной:
'v/	1 \2
1=2 4
Уменьшение дисперсии предполагает, и это можно
строго доказать, что биномиальный критерий для Но' про-
тив На будет консервативным критерием. Это означает,
что если уровень значимости биномиального критерия ра-
вен а при выполнении Но, то при Но' он во всяком слу-
чае не превышает а. В этом смысле биномиальный кри-
терий, пригодный в первом приближении для проверки
Но против На, является безопасным критерием для про-
верки Но' против На. Есть указания на то, что их анало-
гичные свойства присущи и другим критериям.
Имеется еще ряд критериев проверки значимости ре-
зультатов парного сравнения. Некоторые из них аналогич-
ны широко известным статистическим критериям, исполь-
зуемым при обработке результатов эксперимента и в дис-
персионном анализе. Многие из этих критериев подробно
рассмотрены в работе Г. Дэвида [18], послужившей основ-
ным источником предшествующих рассуждений об осо-
бенностях метода парных сравнений.
Рассмотрим процедуру парных сравнений и покажем
па числовом примере один из возможных вариантов ее
применения.
Если сравнение объектов A; h'Aj производят пг
экспертов, результаты этой процедуры можно представить
в виде матрицы А предпочтений с элементами хц, равны-
ми числу случаев, когда А,- предпочтительнее, чем А;.
Для облегчения этой процедуры составляют матрицы
парных сравнений, в которых все объекты (1,2,.,., п)
записываются в одном и том же порядке дважды: в верх-
ней строке и в крайнем левом столбце.
Форма первой матрицы А парных сравнений показа-
на в табл. 12.
Каждый эксперт, заполняющий такую матрицу, дол-
жен проставить на пересечении строки и столбца для
двух сравниваемых факторов оценку хц. В зависимости
от того, является ли фактор i более предпочтительным,
71
Таблица 12
Матрица А: парных сравнений
	1	2				п
1	—	Х12		Хи		X1 п
2	*21	—		X2i		
						
Z		X12		Хц		X г п
•						
п	X п 1	Хп2 		X п j		—
чем фактор /, эта оценка равна 1 или 0 соответственно.
В главной диагонали такой матрицы проставляются про-
черки или нули. Каждая пара факторов может сравни-
ваться единожды или дважды (например, сначала х12,
а затем x2i в матрице табл. 12). В случае когда факторы
сравниваются попарно дважды (полное парное сравне-
ние), общее число сравнений 1 — п(п—1); при однократ-
ном попарном сравнении
/==п(п-1)	(7)
2	v
где п — общее число факторов.
Существуют различные варианты частичного парного
сравнения. Так, например, эксперту могут предложить
сравнить заранее сгруппированные пары факторов, где
он должен лишь указать наиболее предпочтительный;
в этом случае каждый фактор сопоставляется только
с каким-либо другим.
Может быть заранее подготовлена матрица частич-
ного парного сравнения, в которой одна группа факторов
сопоставляется со всеми другими, тогда как остальные
факторы сопоставляются лишь с некоторыми другими.
Метод парных сравнений может быть использован
и для установления суммарных рангов факторов. С этой
целью факторы, которые должны быть проранжированы,
записываются в обычном порядке в левом столбце и в
верхней строке матрицы) а затем производится их парное
72
сравнение. Матрица просматривается слева направо.
Когда обнаруживается, что фактор, находящийся в левом-
столбце матрицы, предпочтительнее, чем фактор, поме-
щенный в верхней строке, то в верхнюю часть клетки, об-
разованной пересечением строки и столбца, ставится 1,
а в нижнюю — 0. Если фактор, находящийся в верхней
строке матрицы, предпочтительнее, чем фактор в левом
столбце, то 0 ставится в верхнюю половину клетки,
al — в нижнюю. Затем, в зависимости от числа пред-
почтений, каждому фактору присваивается определен-
ный ранг. Так, в приведенной в качестве примера матри-
це (табл. 13) фактор С получает наивысший ранг — 3,
фактор D — ранг 2, фактор А — 1 и фактор В — 0.
Таблица 13
Матрица предпочтений для ранжирования
с помощью парного сравнения
Фактор	Л	в	с	D	Ранг
А	—	1 0	0 1	0 1	1
В	0 1	—	0 1	0 1	0
С	1 0	1 0	—	1 0	3
D	1 0	1 0	0 1	—	2
В некоторых случаях сначала производится предвари-
тельное ранжирование факторов, а затем с помощью ме-
тода парных сравнений — уточнение их предпочтитель-
ности. В конце этого параграфа дан числовой пример та-
кой процедуры. Поскольку обычно в процедуре парного
сравнения участвуют несколько экспертов, то сначала
каждый из них заполняет матрицу А, а затем полученные
индивидуальные предпочтения усредняются с учетом
мнений всех экспертов.
На основе этого строится вторая матрица (Р), пока-
зывающая процентное отношение случаев, когда фак-
тор i оказывался более значимым, нежели фактор /, в
общем числе полученных оценок (табл. 14).
Элементы матрицы Р обладают тем свойством, что
Хц
Ра= где т — число экспертов; кроме того, рц+
+Ра = 1.
73
Таблица 14
Матрица Р: доля случаев,
когда фактор i предпочтительнее фактора /
	Фактор /						
Фактор i	1	2		j		п	Сумма ряда
1			Р12		Рч		Pin	Pi
2	р21	—		P2i		Pin	Р2
							
i	рц	Р12		Ра		Pin	Pi
							
п	pni	Рп2		Pnj		—	Рп
После получения обобщенной матрицы предпочте-
ний Р, элементы которой представляют относительное
число предпочтений, полученных от всех экспертов, по
каждому фактору перед каждым другим фактором, про-
изводится их шкалирование. Шкалирование может быть
основано па законе сравнительных суждений, впервые
сформулированном Л. Терстоупом. Суть этого подхода
состоит в следующем. .
Если парное сравнение факторов выполняется отно-
сительно большим числом экспертов (т^25), то полу-
ченные разности между их оценками обладают нормаль-
ным распределением.
Пусть т экспертов приписывают п признакам
ii,..., z’n) числа Sj(/i, /2,в соответствии со
степенью обладания ими каким-то качеством X. Тогда
числа Sj представляют собой шкальные оценки Ri, а раз-
ность между такими оценками двух объектов Ri и Rj
(если оценки не коррелируют между собой) можно выра-
зить с помощью модели шкалы
Si^Sj = Zij.lJ,	(8)
где Si, Sj — шкальные оценки факторов;
cT/j — среднее квадратическое (стандартное) от-
клонение предполагаемого распределения
различий между 5г- и Sj;
74
Zij — нормированное отклонение, соответствую-
щее рц, представляющему долю случаев
предпочтения фактора I фактору /, т. е.
dt.
J 1^2-
—— оо
Взаимоотношение между Z,j и pi, иллюстрирует
рис. 4, где заштрихованная площадь под кривой показы-
Рис. 4. Соотношение между рц и Zij
вает относительное число предпочтений фактора i факто-
ру /, когда Zij измеряется в единицах стандартного откло-
нения.
Для упрощения можно принять, что ац в формуле (8)
равно единице, тогда
Sl-SJ=ZlJ.	(10)
При этом допускается, что площадь под кривой нормиро-
ванного нормального распределения от —Зег до + Зег рав-
на единице.
В действительности реальные оценки отличаются от
ожидаемого ряда Z^. Поэтому задача заключается в на-
хождении множества оценок, для которых это расхожде-
ние будет минимальным.
Таким образом, процедура построения шкальных оце-
нок состоит в том, чтобы обратить наблюдаемые отноше-
ния pt, (матрица Р) в ожидаемые Ztj по уравнению (9),
используя таблицу нормированного нормального распре-
- деления. Эти Z,-,- составляют матрицу с двумя входами
или матрицу основного преобразования Z с рядами цифр
для каждого фактора i и столбцами цифр для каждого
фактора /, как это показано в табл. 15.
В матрице Z каждая оценка Zij — это различие между
параметром i и параметром / в стандартных отклонени-
75
Таблица 15
Матрица Z: основного преобразования (различий)
Фак- тор i	Фактор /							Всего	Среднее значе- ние
	1	2	3		/		n		
1	—	z12	213		21 i		Zl„	zt	z.
2	Z21	—	Z23		Z2j		z2n	z2	z2
3	^3!	^32	—		23 j		23 n	z3	Z3
									
t	2,4	Z/2	Zi3		Zij		Zin	Zi	Zi
•									
п	Z„l	Zn2	z,l3		?nj		—	Zn	Zn
ях, причем сумма этих оценок Zi — Zzi, а среднее значе-
п
2 2;
ние 2 —-----, где т — число экспертов.
т
 При этом pij рассматривается как площадь нормиро-
ванного нормального распределения от —оо до Z. Значе-
ния функции такого распределения приведены во многих
книгах по статистике.
Заметим, что ztj логически равно пулю и что Zij —
— —г,,. Если любое z^ оказывается большим, чем + 2,0,
или же меньшим, чем —2,0, оно отвергается как нестабиль-
ное. Если ни одна из оценок Zij не будет отвергнута на
основании этого правила, то шкальная оценка фактора i
будет равна средней величине всех оценок в i-м столбце
данной матрицы. Когда некоторое отвергается, то
в таблице ставится прочерк. Для каждой пары последо-
вательных столбцов данных необходимо рассчитать раз-
ность оценок и поместить ее в отдельную матрицу раз-
личий. При этом разница между двумя прочерками или
между значением и прочерком считается несущественной,
и в матрице различий ставится прочерк. Таким образом,
произвольно установив S^O, можно определить осталь-
ные шкальные оценки.
76
Очевидно, что показанный метод парных сравнений
является интервальным, поскольку не только шкальный
фактор, но и нулевая точка шкалы устанавливаются
здесь произвольно.
При большом числе факторов может быть использо-
ван другой интервальный метод, называемый методом
последовательных интервалов. Здесь принимается, что
границы интервалов могут быть установлены так, чтобы
все распределения суждений о факторе были нормальны-
ми [19].
Представим, что интервалы проранжированы в поряд-
ке от наименее до наиболее предпочтительного. Пусть
piS — относительное число экспертов, которые поместили
фактор j в интервале g или в любом другом интервале
меньшего рангового порядка. Пусть Zjg будет нормиро-
ванным нормальным отклонением, соответствующим pjg.
Тогда
ig- Sj . (11)
°j ’
где fg — граница между интервалами g и g+1; Sj —
шкальная оценка фактора /; щ — стандартное отклоне-
ние фактора /.
Принимая (jj= 1, получим
(12)
На рис. 5 показано распределение двух признаков
с различным стандартным отклонением.

Рис. 5. Соотношение распределений
. .	двух признаков
Для получения шкальных оценок S; и границ интер-
валов tg можно предложить экспертам расположить т
факторов в М интервалах (М<т).
Тогда относительное число экспертов, которые поме-
стили фактор / в интервале g или в любом другом интер-
вале меньшего ранга, pjg—
77
Затем по таблице нормированного нормального рас-
пределения в соответствии с формулой (11) для каждого
pig определяется Zjg.
Для получения шкальных оценок и границ интервалов
можно использовать и метод обращения полученных из
наблюдений величин pjg в Zjg, применяемый при парном
сравнении.
Приняв 6 = 0, вычисляют с помощью подобных таблиц
границы интервалов, а з'атем конструируется четвертая
матрица, значения оценок которой находятся путем вычи-
тания каждой записи g-ro ряда матрицы Zig из получен-
ной оценки tg. Средняя величина ряда в этой матрице —
это шкальная оценка соответствующего признака [19].
В заключение рассмотрим пример использования ме-
тода парных сравнений для оценки относительной важ-
ности параметров нового самолета [20].
В качестве экспертов были приглашены десять опыт-
ных специалистов. Рассматривались следующие пара-
метры: Sj — скорость полета; /?п — радиус действия;
Сш — боевой потолок; Giv— полезная нагрузка.
Экспертам было предложено ранжировать эти четыре
параметра в порядке их важности. Результаты показаны
в табл. 16, где единице соответствует высший ранг. Мат-
Таблица 15
Ранги, предложенные экспертами
Эксперт	Параметр			
	St	«IT	с т и	Giv
1	3	2	1	4
2	1	2	3	4
3	3	1	2	4
4	• 1	2	3	4
5	3	1	2	4
6	3	1	2	4
7	3	2	4	1
8	3	4	1	2
9	2	4	1	3
10	2	1	3	4
Сумма рангов	24	20	22	34
Средний ранг	2,4	2,0	' 2,2	3,4
рица А процедуры расчета для этого случая показана
в табл. 17.
78
Таблица 17
Матрица А: число случаев, когда параметр i
определяется как более важный, чем параметр ;
Параметр i	Параметр /			
	•*!	Ru	Ст	Gr V
Si		4	4	8
Ru	6	—	7	7
Спг	6	3	- л	9
Giv	2	3	1	—
Например, эксперт 7 расположил параметры по степе-
ни важности в следующем порядке: Giv, Ru, Si, Сш.
Матрица P и матрица Z для данного примера приве-
дены в табл. 18 и 19.
Таблица 18
Матрица Р: доля случаев, когда параметр i
определяется как более важный, чем параметр /
Параметр /	Параметр j				Сумма
	sl	Rn	CIIT	Gjv	
St		0,400	0,400	0,800	1,600
Rn	0,600	—»	0,700	0,700	2,000
Cui	0,600	0,300	—	0,900	1,800
Gi v	0,200	0,300	0,100	—	0,600
Таблица 19
Матрица Z: основного преобразования
Параметр I	Параметр /				Всего	Средняя z"
	Si	Ru	cm	GIV		
Si	0	—0,25334	—0,25334	0,84161	0,33493	0,08373
Ru	0,25334	0	0,52441	0,52441	1,30216	0,32554
Cm	0,25334	—0,52441	0	1,28155	1,01048	0,25262
Gtv	—0,84161	—0,52441	— 1,28155	0	—2,64757	-0,66189
Величины, необходимые для расчета относительной
важности параметров, приведены в табл. 20.
79
Таблица 20
Расчет показателей относительной важности
Параметр i	Z	GZZ)	Нормированная от- носительная важность
s,	0,08373	0,53336	0,2647
Rn	0,32554	0,62761	0,3115
С ш	0,25262	0,59972	0,2977
Gi v	—0,66189	0,25403	0,1261
Можно проверить полученные результаты па непроти-
воречивость: процедуру проверки необходимо начинать
с итоговой ценностной шкалы и проводить расчеты в об-
ратном порядке. С этой целью разности, _выраженные
в форме (Д-—Z,), преобразовываются в G(Z) с помощью
показателей таблиц нормального распределения, т. е
в процентное соотношение числа случаев, в которых пара-
метр i теоретически был определен как более важный,
нежели параметр j (табл. 2t).
Таблица 21
Проверка на непротиворечивость
	Z; - Zj	p
2i—Zu = 0,08373—0,32554 =	—0,24181	0,40447
Zr—Zi п = 0,08373—0,25262=	—0,16889	0,43295
Zi—Zi v =0,08373— (-0,66189) =	0,74562	0,77205
Zu—Zin=0,32554—0,25262=	0,07292	0,52906
Z,!—Zj v = 0,32554— (—0,66189) =	0,98743	0,83828
Zin—Zi v =0,25262—(—0,66189) =	0,91451	0,81977
Различие между расчетным процентным соотношени-
ем числа случаев, в которых параметр i определялся как
более важный, нежели параметр /, и фактическим чис-
лом случаев, когда параметр i превосходил по значению
параметр /, обозначалось через Az/. Каждое А(/ сравни-
валось со средним значением абсолютных величин всех
этих разностей. Эта величина затем рассматривалась как
отклонение от ожидаемого Pij.
Расчет отклонений Az’/:
80
Д1 — II = 0,40447 — 0,400 = 0,00447;
Д! - III = 0,43295 - 0,400 = 0,03295;
Д1 — IV = 0,77205 — 0,800 = - 0,02795;
ДП - III = 0,52906 — 0,700.-----0,17094;
ДП — IV = 0,83828 - 0,700 = 0,13828;
. ДШ —IV = 0,81977 —0,900 = —0,08023;
Е I Aij | = 0,45482.
Среднее линейное отклонение ' = °’^482- =0,07580.
Наибольшее по абсолютной величине расхождение
между наблюденной и расчетной величинами равнялось
0,17094; оно было меньше, чем три средних отклонения,
что свидетельствует о надежности данных, т. е. о том, что
эксперты были последовательны в своих оценках и на-
значенные оценки непротиворечивы.
Глава 3
принципы
ГРУППОВОЙ ЭКСПЕРТИЗЫ
3.1. НЕКОТОРЫЕ ОСОБЕННОСТИ
ГРУППОВЫХ ОЦЕНОК.
Опыт, интуиция, знания помогают сцециалисту
решать многие проблемы, возникающие в ситуациях
риска и неопределенности, предвидеть возможные на-
правления и последствия развития в будущем, произво-
дить оценку значимости факторов. В то же время ясно,
что при решении сложных проблем развития науки и тех-
ники один специалист не в состоянии учесть все факто-
ры и взаимосвязи между ними или оценить вероятности
большого числа альтернатив.
Выработка сложных решений в ситуации неопределен-
ности или составление полноценного научно-технического
прогноза требует участия группы эрудированных спе-
циалистов, хорошо осведомленных во многих областях
знаний. Основное преимущество групповой оценки как
раз и заключается в возможности разностороннего ана-
лиза количественных и качественных аспектов таких
проблем. Кроме того, существуют проблемы, где без уча-
стия группы специалистов просто невозможно обойтись.
Таковы прогнозы в области политики, науки и техники,
для обоснования которых нет адекватной информации,
а также задачи выбора предпочтительной альтернативы
с учетом комплекса качественно различных факторов.
При использовании мнений группы экспертов предпо-
лагается, что организованное взаимодействие между спе-
циалистами позволит компенсировать смещения оценок
отдельных членов группы и что сумма информации, имею-
щейся в распоряжении группы экспертов, будет больше,
чем информация любого члена группы. Кроме того, оче-
видно, что сумма факторов, которые имейт отношение
к данной проблеме и могут быть рассмотрены группой
82
специалистов, как правило, больше или по крайней мере
так же велика, как сумма факторов, которые может
учесть отдельный эксперт. Анализ прогнозов, выполнен-
ных отдельными специалистами и оказавшихся неверны-
ми, показал, что одна из наиболее распространенных
ошибок таких прогнозов заключалась в том, что прини-
мались во внимание факторы, которые впоследствии ока-
зались малозначащими, и, наоборот, упускались наибо-
лее существенные факторы.
Будем понимать под групповой оценкой результат
объединения индивидуальных мнений экспертов о поряд-
ке предпочтительности рассматриваемых объектов в еди-
ную оценку «коллективного» предпочтения. При этом
предполагается, что применение логических процедур
и математико-статистического аппарата, используемых,
для объединения мнений экспертов, выраженных количе-
ственно, обеспечивает получение согласованного пред-
почтения группы.
В общем случае предполагается, что мнение группы
экспертов надежнее, чем мнение отдельного индивиду-
ума, т. е. что две группы одинаково компетентных экспер-
тов с большей вероятностью дадут аналогичные ответы
на ряд вопросов, чем два индивидуума. Предполагается
также, что коллективная ответственность позволяет спе-
циалистам принимать более рискованные решения и что
интервал оценок, полученных от группы экспертов,,
включает в себя «истинную» оценку.
Однако групповым оценкам присущи известные недо-
статки. Хотя правило «ум хорошо, а два лучше» и служит-
одной из основных предпосылок организации групповых
экспертиз, существует много трудностей, препятствую-
щих получению надежной и согласованной групповой
оценки.
Существенные затруднения связаны с решением про-
блемы соизмерения оценок экспертов, входящих в груп-
пу. Вопрос о возможности соизмерения и объединения
индивидуальных оценок правомерен даже в тех случаях,
когда все признаки, характеризующие рассматриваемые
объекты, измерены с помощью одной и той же шкалы.
Традиционные способы получения групповой оценки
с помощью средних величин оказываются применимы
только тогда, когда коллектив экспертов однороден
в смысле характера ответов. В случае неоднородности
коллектива средние оценки теряют содержательный
смысл и могут оказаться в определенном смысле «хуже»,
83
чем индивидуальные оценки, на основе которых они по-
лучены. Значительные трудности возникают и из-за раз-
личной «чувствительности» экспертов к предпочтениям
[21].
Большинство авторов считает, что вопрос о соизмере-
нии разных признаков или предпочтений нескольких
экспертов решается положительно: достаточно привести
все предпочтения к единым масштабу й началу отсчета.
Может быть использовано, например, линейное преобра-
зование оценок, при котором наименее предпочтительный
объект.получает оценку 0, а наиболее предпочтитель-
ный— оценку 1, так что новые оценки х' выражаются
через старые с помощью формулы х'(а) = (х(а)—
-^mln)/(Ятах—-£min), ГДв Хтах И Xmin— МЭКСИМЭЛЬНОе И
минимальное значения х(а) соответственно. Преобразо-
вание такого типа часто применяют в статистическом ана-
лизе данных. Фиксирование определенной балльной шка-
лы (с заданным числом градаций), по сути, равносильно
такому же преобразованию.
Однако это преобразование пеипвариантно относи-
тельно изменения рассматриваемой совокупности объек-
тов (из-за изменения и Xmin, и Хтах), так что сложение
оценок даже с разными весовыми коэффициентами может
приводить к противоположным результатам. Например,
если для трех объектов a, b, с Xi (а) = х2(а) = 100;
Xi(b) =Xz(b) =90; Xi(с) =х2(с) =0; а оценки третьего
эксперта равны х3(а)=50; х3(&) = 100; хз(с)=0, то оче-
видно, что для преобразованных оценок х'(0; 0,5; 0,9 и 1),
х/(й) + х2/(п)	= 2,5<Xi'(b) -\-х2 (b) + x3z(b) =2,8,
т. е. средняя оценка а меньше средней оценки Ь. Однако
если исключить из рассмотрения наименее предпочти-
тельный для каждого из экспертов объект с, то результат
получится противоположный. В этом случае
х/ (а) = х/ (а) == х3 (b) = 1; х/ (Ь) = х2 (Ь) = х3' (а) = О,
так что
х/ (а) -I- х2' (а) -г х3' (а) = 2 > х/ (b) + х2' (b) + х3' (b) = 1.
Вряд ли можно согласиться со столь сильным измене-
нием в суммарном предпочтении из-за простого исклю-
чения одного объекта. Аналогичные примеры можно
дать и для других способов приведения оценок к единому
масштабу (в том числе с использованием весовых коэф-
фициентов для индивидуальных оценок).
84
Некоторые авторы утверждают, что количественное
измерение предпочтений невозможно и поэтому имеет
смысл говорить только об упорядочении объектов по пред-
почтению, при этом допустимы любые числовые оценки,
соответствующие этому упорядочению. Например, оценки
х (а) = 1010; х(Ь) = 1; х(с)=0 и z/(«)=5; у(Ь)=4;
у (с) =3 одинаково характеризуют упорядочение (а, Ь, с).
Такую точку зрения можно называть «ординалистской»,
в отличие от «кардиналистской», допускающей возмож-
ность выделения масштаба и начала отсчета в числовых
оценках. Необходимость рассмотрения ординалистского
представления предпочтений связана также с наличием
нечисловых, качественных признаков.
Как было показано в гл. 2, обычно оценки приписы-
ваются объектам в соответствии с их местом в упорядоче-
нии. При этом одинаково предпочтительным объектам
соответствуют одинаковые баллы. Такая процедура так-
же связана с некоторыми затруднениями, поскольку она
дает преимущество индивидууму, более тонко различаю-
щему оттенки и предпочтения. Если, например, имеется
сто объектов, один эксперт может их расположить в це-
почку по строгому предпочтению, второй — отобрать не-
сколько наилучших объектов, а остальные — объявить
одинаково плохими. При упорядочении по среднему бал-
лу выбор второго, очевидно, почти не скажется на резуль-
тате, так как ему соответствуют только баллы 1 и 2,
тогда как баллы первого- эксперта достигают значения
100. Вряд ли это можно считать оправданным. В то же
время основное преимущество групповой оценки заклю-
чается в уменьшении различий во мнениях, в возможно-
сти получения в какой-то степени обобщенного и более
представительного мнения. Мыслительная деятельность
человека обладает определенными характеристиками,
к числу которых относится так называемый стиль (напри-
мер, преобладание у индивидуума образных или словес-
но-логических компонентов мышления)/Каждый человек
обладает определенным стилем и поэтому решает задачи
одного типа лучше, а задачи другого — хуже. Поэтому
преимущество групповой работы экспертов проявляется,
в частности, и в том, что сочетание индивидуумов, обла-
дающих разными стилями, позволяет повысить надеж-
ность решения задач.
Очевидно, например, что мнения даже специалистов
в одной узкой области могут расходиться, а следователь-
но, не исключено, что на один и тот же вопрос м,ожно
85
получить от специалистов одного профиля различный от-
вет. Более того, и однозначность ответов не является га-
рантией их обоснованности: во всяком случае пет спосо-
ба проверить это в момент проведения экспертизы.
Представим, что несколько специалистов дали одина-
ковые оценки какому-либо фактору. В таком случае эта
группа «неразличима» с точки зрения данной оценки, по-
скольку нельзя найти какой-либо достаточно объектив-
ный способ для сравнения компетентности экспертов.
Логично предположить, что в этой ситуации взятое на-
удачу мнение любого из экспертов будет так же достовер-
но, как и групповая оценка, поскольку никто не может
сказать заранее, каков «истинный» результат. Следова-
тельно, даже «единодушие» экспертов не является крите-
рием достоверности ответа. Как было отмечено в § 1.3,
оценки, полученные от экспертов, могут «смещаться» как
из-за индивидуальных особенностей и взглядов специ-
алистов, так и вследствие их взаимодействия с другими
экспертами.
И все же практика показывает, что экспертные мето-
ды дают более надежные результаты, чем традиционные
методы групповых решений (метод комиссий) [22].
Общеизвестно, что группа специалистов, работающих
в комиссии, может быть по меньшей мере настолько же
дезинформирована, насколько дезинформирован любой
член этой группы. Группа может оказывать серьезное
давление па своих членов, например, вынуждая одного из
специалистов соглашаться с большинством, даже если
он понимает, что точка зрения большинства ошибочна.
Это особенно касается групповых прогнозов, поскольку
они основаны большей частью не на реальных данных, а
на обобщенном мнении специалистов данной группы.
Возможно, что один из участников группы откажется от
представления собственных суждений, если остальные
члены группы будут придерживаться противоположной
точки зрения.
Эксперименты с небольшими группами показали, что
часто берет верх не обоснованность, а количество замеча-
ний и доводов «за» и «против» выдвинутого предложения.
Следовательно, меньшинство может подавить остальных
участников группы путем решительного нажима, даже
если представленные ими доводы при объективном рас-
смотрении-будут обладать незначительным преимущест-
вом.
яг>
Возможны случаи, когда какой-либо наиболее влия-
тельный специалист будет иметь чрезмерное воздействие
на решение группы; это относится в особенности к таким
группам, в которых он назначен или выбран руководите-
лем. Он может достичь этого путем активного участия в
работе группы, решительно продвигая свои идеи. Он мо-
жет добиваться своей цели, преодолевая сопротивление
с помощью настойчивой и постоянной аргументации. Не-
редко считается, что проблема достижения соглашения
между членами группы имеет более важное значение, чем
разработка тщательно продуманного и полезного реше-
ния.
Иногда члены группы проявляют явную заинтересо-
ванность в отношении определенных точек зрения, осо-
бенно если они решительно продемонстрировали ее с са-
мого начала. Их целью становится склонить остальных
участников группы к своей точке зрения, а не достичь то-
го, что могло бы быть лучшим решением. Они глухи
к фактам, к логике остальных членов группы и концен-
трируют все свои усилия только па стремлении добиться
победы своей точки зрения. Бывает, что группа в целом
разделяет общее предубеждение. Оно обычно происте-
кает из общности, к которой принадлежат члены группы,
особенно в отношении специфических особенностей той
области науки и техники, в которой, как предполагается,
члены группы являются специалистами.
В этой связи интересны сформулированные К. Эрроу
пять основных условий корректного общественного (груп-
пового) выбора.
Условие 1. Универсальность, понимаемая в смысле
наличия достаточного числа возможностей выбора
(^3), экспертов (^2) и возможностей определения для
всех индивидуальных профилей предпочтения.
Условие 2. Наличие положительной связи общест-
венных и индивидуальных предпочтений, при которой от-
брасывание (или добавление) одной из альтернатив в ин-
дивидуальных предпочтениях не должно изменить на-
правленности индивидуального предпочтения по отноше-
нию к групповому.
Условие 3. Независимость несвязанных альтернатив,
при которой если предпочтения каждого эксперта одина-
ковы в нескольких профилях, то и соответствующие по
альтернативам порядки предпочтений группы должны
быть одинаковы для этих профилей.
Условие 4. Наличие суверенности экспертов, пони-
87
маемой как отсутствие «навязанного» сообществом по-
рядка предпочтений.
Условие 5. Отсутствие «диктаторства», понимаемого
в том смысле, что не должно быть одного эксперта, пред-
почтения которого определяют предпочтения сообщества,
а остальные члены влияют па выбор альтернатив только
в том случае, когда эти альтернативы безразличны на-
званному индивидууму.
Теорема Эрроу устанавливает несовместимость усло-
вий 1—5 в рамках одной удовлетворяющей им всем функ-
ции группового выбора предпочтений. Поэтому после-
дующее развитие теории и практики такого рода оценок
идет в направлении обоснования способов корректного
разрешения этих противоречий, что достигается или
ослаблением ограничений, или изменением требований к
окончательному решению.
Несмотря на перечисленные трудности, эксперимен-
тально установлено, что при соблюдении определенных
требований групповая экспертная оценка более надежна,
чем индивидуальные. Наиболее важными из таких требо-
ваний являются:
а)	приемлемое «гладкое» распределение оценок, полу-
ченных от экспертов, указывающее па независимость их
мнений. В случае многомодального распределения долж-
на быть установлена причина, по которой различные
эксперты по-разному интерпретируют одну и ту же про-
блему;
б)	групповая надежность, означающая, что две груп-
повые оценки по определенной проблеме, данные двумя
одинаковыми подгруппами, выбранными случайным об-
разом, будут близкими. Корреляция по ряду таких оце-
нок должна быть высокой.
Подробнее проблемы согласованности и достоверно-
сти экспертных оценок будут рассмотрены в гл. 4. Суще-
ственно важной для повышения достоверности результа-
тов экспертиз является тщательная их подготовка.
3.2. ПОДГОТОВКА ЭКСПЕРТИЗЫ.
Помимо погрешностей,' возникающих вследст-
вие недостатка информации, большое влияние па ре-
зультаты экспертизы оказывают смещения, вносимые са-
мой процедурой сбора и анализа мнений экспертов, т. е.
погрешности модели.
Нужно сразу отметить, что специфика и разнообразие
88
решаемых при участии экспертов проблем существенно
ограничивают возможности создания единых «универ-
сальных» правил и моделей экспертизы. Однако, посколь-
ку в будущем экспертиза будет находить все более широ-
кое применение при подготовке решений, необходимо
стремиться к тому, чтобы сделать эту процедуру более
«формализованной». Не вызывает сомнения также и то,
что в условиях централизованного управления и плани-
рования в масштабе нашего государства нужно идти в
направлении создания типовых правил подготовки и про-
ведения экспертиз, которые путем последовательных
улучшений могут быть в дальнейшем поставлены па до-
статочно строгую научную основу. В настоящей главе
будут рассмотрены лишь некоторые вопросы, связанные
с подготовкой и проведением экспертиз [23].
Можно ориентировочно наметить следующие ,
основные этапы проведения экспертизы,-;
последовательность и содержание которых будут изме-
няться в зависимости от реальных условий и ограпиче- \
ний: '	।
—	формулирование цели экспертизы и разработка ;
процедуры опроса;
:— формирование группы специалистов-аналитиков
(организаторов экспертизы);
—	отбор и формирование группы экспертов;
X — проведение опроса;
—	анализ и обработка информации, полученной от
экспертов;
—	синтез объективной (статистической) информации
и информации, полученной в результате экспертизы, с
целью приведения их в форму, удобную для принятия ре-
шения.
К подготовке экспертизы относятся первые три этапа.
В данном разделе мы рассмотрим два из них, в следую-
щем, ввиду особой важности проблемы отбора экспер-
дов, — третий.
Большое значение имеет четкое определение
цели (целей) экспертизы. Практика показы-
вает, что наличие четко сформулированных целей и ясно
понятых потребностей является обязательным условием
обеспечения надежного результата экспертизы.
Основой для выбора целей экспертизы является опи-
сание предыстории и текущего состояния проблемы. Кро-
ме того, при формулировании целей важно иметь пред-
ставление о специфических особенностях и интересах
89
возможных групп специалистов, которые будут участво-
вать в экспертизе. Выбор целей и характер процедуры
экспертизы в значительной степени определяются суще-
ством проблемы, предполагаемыми конечными резуль-
татами и возможными способами их представления. Уро-
вень принятия решения (общегосударственный, отрасле-
вой, предприятие) определяет широту диапазона, коли-
чество альтернатив и степень формализации процедуры.
Выбор целей и процедуры опроса зависит также от на-
дежности и полноты имеющихся данных и от вида тре-
буемой информации. Поэтому прежде всего необходимо
четко установить признак, по которому надлежит произ-
водить оценку, а также условия использования эксперт-
ных оценок. Если целей несколько, то оценки по различ-
ным шкалам нужно постараться свести к единой шкале,
например за счет установления цели более высокого
уровня.
3атем формируется группа специалис-
тов-аналитиков, важнейшими задачами которой
являются разработка метода и модели опроса, отбор
экспертов, проведение опроса, анализ и обобщение ин-
формации. Группа аналитиков должна обеспечить усло-
вия для наиболее плодотворной деятельности экспертов
как за счет разработки наиболее эффективной системы
контактов с ними (и внутри группы экспертов), так и пу-
тем выбора процедуры опроса наиболее соответствующей
характеру проблем.
Большой объем, сложность и разнообразие задач,
возлагаемых на группу аналитиков, требуют включения
в ее состав высококвалифицированных специалистов
как в области анализируемой проблемы, так и в смеж-
ных областях деятельности, а также специалистов по
экспертным методам — математиков, психологов и со-
циологов.
Группа аналитиков, разрабатывая метод опроса, под-
готавливает перечень (множество) оцениваемых событий
и устанавливает совокупность устойчивых факторов, ха-
рактеризующих эти события.
Задание совокупности факторов зависит от специфики
и целен экспертизы и может быть выполнено на разном
уровне детализации. Так, можно наметить следующие
уровни:
качественное описание всего множества оцениваемых
событий;
перечень событий;
90
описание устойчивых факторов для каждого из собы-
тий;
выделение числа различимых уровней для каждого
события;.
выделение числа различимых уровней для каждого
фактора;
описание набора устойчивых значений факторов для
каждого уровня событий.
От уровня детализации в существенной степени зави-
сит достоверность результатов экспертизы, причем с уве-
личением степени детализации согласованность эксперт-
ных оценок, как правило, увеличивается.
Следует, однако, учитывать, что на уровень детали-
зации существенное влияние оказывают специфика ис-
следуемой проблемы, возможность подбора объективных
и компетентных специалистов необходимого профиля, а
также время и средства, которые можно затратить на ре-
шение этой проблемы. Кроме того, информационные
способности человеческого мозга ограничивают число
рассматриваемых факторов и число осознаваемых свя-
зей, характеризующих проблемную ситуацию, поэтому
излишняя детализация проблемы может привести и к сни-
жению надежности информации, полученной от экспер-
тов.
В случаях когда оценка множества событий произво-
дится впервые, формирование совокупности устойчивых
признаков может быть выполнено не аналитиками, а са-
мими экспертами либо теми и другими совместно. При
этом аналитики должны подготовить вспомогательные
вопросы, позволяющие экспертам определить совокуп-
ность признаков на разных уровнях детализации. Задачи
аналитиков также состоят в обеспечении экспертов всей
доступной объективной информацией, имеющей отноше-
ние к анализируемой проблеме, и в информировании
экспертов об источпиках возникновения проблемы и о пу-
тях решения аналогичных проблем в прошлом.
Важное значение имеет правильная формулировка
вопросников (анкет), которая должна обеспечивать их
единственное толкование и выражение ответа на каждый
вопрос в виде количественной оценки. В случаях когда
отдельным качественным признакам, трудно приписать
количественную оценку, нужно оценивать сравнительную
интенсивность признака с помощью методов упорядоче-
ния.
В зависимости от характера требующейся информа-
91
ции, возможностей ее получения и интерпретации суще-
ствующие методы опроса можно подразделить: на
индивидуальные и групповые, личные (очные) и заочные,
открытые и закрытые и т. д.
На проблеме групповых опросов мы остановимся не-
сколько позднее. Под личным (очным) методом опроса
подразумевается процедура, в процессе которой анали-
тик осуществляет непосредственный (личный) контакт
с экспертом при подготовке ответов на вопросы анкеты.
Заочный опрос обычно осуществляется путем пересылки
анкеты эксперту по почте.
Основные преимущества заочного опроса — его про-
стота и дешевизна. Однако надежность полученных дан-
ных может быть ниже, чем при очном опросе, поскольку
некоторые вопросы эксперт может неправильно истолко-
вать, а на некоторые вообще не дать ответа.
Очный опрос помогает исключить эти недостатки, но
требует относительно больших затрат труда и времени
как со стороны аналитиков, так и экспертов. Необходи-
мость длительного участия в экспертизе обычно вызы-
вает недовольство со стороны экспертов. Кроме того, при
очном опросе могут возникать нежелательные искажения
информации вследствие психологического воздействия
аналитика на эксперта.
Установлено, что члены экспертной группы не любят
начинать работу «с чистого листа» бумаги. Набор кон-
кретных вопросов, а в ряде случаев и вероятных ответов
помогает эксперту лучше понять поставленную задачу.
Поэтому в основе большинства экспертных методов
лежит анкета (опросный лист), с помощью которой
и осуществляется сбор необходимой информации. Анке-
та — это структурно организованный набор вопросов,
каждый из которых логически связан с центральной за-
дачей экспертизы. Обычно вопросы'анкеты принято раз-
личать по содержанию, форме и функциям.
Все вопросы анкеты в зависимости от их содержания
можно разделить па три группы:
1)	объективные анкетные данные о самом эксперте
(его возрасте, образовании, профессии, стаже работы,
научном звании, узкой специализации и т. д.);
2)	характеристики, позволяющие оценить мотивы, ко-
торыми руководствовался эксперт при оценке исследуе-
мой проблемы;
3)	основные вопросы, касающиеся существа исследуе-
мой проблемы.
92
По форме различают следующие типы вопросов:
а) открытые и закрытые; б) прямые и косвенные.
Вопрос называется открытым, или свободным, если
ответ на него может быть дан в любой форме, т. е. ответ
ничем не регламентирован. Вопрос называется закрытым,
если в его формулировке содержатся варианты возмож-
ных ответов (перечень альтернатив) и эксперт должен
остановить свой выбор на одном (или нескольких) из
них. Одной из разновидностей закрытого вопроса являет-
ся дихотомический, в котором перечень возможных во-
просов исчерпывается альтернативой «да — нет».
Конкретный вопрос с определенным набором ответов
на него называется признаком анкеты. Набор ответов
может быть качественного характера, когда задача
эксперта заключается в выборе одного ответа из «веера»
возможных, и количественного характера, когда ответам
па вопросы анкеты присваиваются числовые оценки.
Достоинство открытых вопросов заключается в воз-
можности обнаружения с помощью экспертов новых, по-
рой совершенно неожиданных для аналитиков аспектов
проблемы. Недостатки этого метода заключаются в том,
что, во-первых, повышается вероятность произвольной
интерпретации вопроса со стороны экспертов, что может
привести в конечном счете к несопоставимости данных,
полученных от группы экспертов, и, во-вторых, в том, что
анализ ответов на открытые вопросы — дело чрезвычай-
но трудоемкое. 
В противоположность этому преимущество закрытых
вопросов состоит как раз в том, что они строго и одно-
значно интерпретируются и требуют относительно мень-
ших затрат труда на заполнение - и обработку анкет.
Вместе с тем анкета с закрытыми вопросами таит в себе
опасность навязывания эксперту ответов, особенно в тех
случаях, когда по тому или иному вопросу он вообще не
имеет своего сложившегося мнения или же когда его мне-
ние нс совпадает с ответами анкеты.
Поэтому, если у аналитиков нет твердой уверенности
в том, что все возможные альтернативы исчерпаны, сле-
дует предоставлять возможность эксперту выдвигать
свою альтернативу или уклониться от ответа на некото-
рые из поставленных вопросов.
Цель экспертизы может быть замаскирована, и тогда
признаки анкеты могут быть косвенными. Такие анкеты
применяются чаще всего в случаях, когда нет твердой
93
уверенности, что эксперт по данному вопросу сумеет
(захочет) дать определенную информацию.
Каждый метод опроса экспертов должен быть осно-
ван па учете взаимосвязи явно выраженных признаков
и скрытой (латентной) переменной, связанной с опреде-
ленным отношением эксперта к исследуемой проблеме.
Эта взаимосвязь лучше всего может быть описана в тер-
минах среднего балла признака для данного шкального
балла. Для дихотомических признаков, когда позитивная
реакция эксперта на признак получает балл 1, а нега-
тивная — 0, средний балл признака Хг эквивалентен веро-
ятности реакции р(х,).
Методами, позволяющими оцепить реакцию эксперта
на косвенные признаки, занимаются психологи и соци-
ологи. Практические успехи использования этих методов
в настоящее время ограничены громоздкостью математи-
ческих вычислений, часто не окупающихся точностью по-
лучаемых результатов. Однако дальнейшее развитие этих
методов может служить предпосылкой повышения на-
дежности экспертных оценок.
Серьезного внимания требует подбор признаков (во-
просов), которые желательно включить в анкету.
Различают три вида вопросов, по которым дается
экспертная оценка:
1)	вопросы, ответы на которые содержат количествен-
ную оценку;
2)	вопросы, требующие содержательного ответа в
сжатой форме;
3)	вопросы, требующие содержательного ответа в
развернутой форме.
Пример такой группировки вопросов, используемых
в техническом прогнозировании, приведен в табл. 22.
Чтобы уточнить содержание, формулировки вопросов,
их последовательность, выяснить, по утомляет ли анкета
опрашиваемых, не нужно ли включить дополнительные
и исключить «неработающие» вопросы, заменить вопро-
сы, допускающие двойное толкование, производится ее
проверка. Для этого подбираются «разноплановые» эк-
сперты (по стажу работы, по специализации и т. п.). Про-
верка осуществляется в форме личного интервью.
Полное совпадение мнений экспертов, стереотипность
их ответов являются, как правило, результатом привыч-
ной, стандартной постановки вопроса. Многочисленность
ответов типа «не понял», «не знаю» указывает па их
усложненность. Наличие большого числа неуместных за-
94
Таблица 22
Виды и типы вопросов
Вид вопроса	Тип вопроса	Пример
Вопросы, отве-	Оценивающий:	Когда будет создан пер-
ты на которые	время наступления нско-	вый опытный образец
содержат коли- чественную оценку	торого события вероятность осуществле- ния события количественное значение прогнозируемой характе- ристики объекта влияние факторов друг на друга по некоторой шкале А	объекта? Какова вероятность то- го, что к 1990 г. будет создан объект с задан- ными характеристиками? Каково будет макси- мальное значение про- гнозируемой характери- стики объекта к 1990 г.? Оцените по десяти- балльной шкале вклад каждой *из рассматри- ваемых теорий в реше- ние проблемы
Вопросы, тре-	Вариантный (выбирается	Какой принцип нспользо-
бующие содер-	альтернатива)	вания объекта является
жательного от-		наиболее эффективным
вета в сжатой		для решения поставлен-
форме	-	пой задачи в период с 1980 по 1990 г: А, или В, или С, нли...? Какие из перечисленных ниже методов будут при- меняться в период с 1980 по 1990 г.: Л, или В, или С, или...? Какие из перечисленных ниже изменений в струк- туре объекта произойдут, если будет осуществлен принцип А, или В, или С, или...?
Вопросы, тре-	Требующий ответа в ви-	Каковы	характерные
бующие содер-	де:	особенности объекта в
жательного от-	перечня сведений об	1990 г.?
вета в развер-	объекте	Каковы Ваши доводы в
нутои форме	перечня аргументов, которые подтверждают тезис, содержащийся в вопросе	пользу целесообразности развития объекта?
мечаний свидетельствует о неудачной формулировке во-
просов анкеты. Множество отказов от ответов означает,
что плохо разработана вводная часть анкеты, в которой
95
должны быть разъяснены правила ее заполнения, сфор-
мулирована цель экспертизы, оговорены гарантии ано-
нимности экспертов. Причиной отказов может служить
также неудачная структура анкеты (например, анкета
начинается с трудных вопросов). Если распределение
суждений по некоторому вопросу обладает значительным
стандартным отклонением, то можно предположить, что
этот вопрос двусмыслен. Анкета считается удачно состав-
ленной, если эксперты понимают содержание вопросов
так же, как и организаторы экспертизы.
В случае если спустя какое-то время после первой
пробы новые проверки дают при соблюдении тех же усло-
вий сходные результаты, анкету можно считать надежной
сточки зрения и содержания, и формы. При повторных ис-
следованиях следует, конечно, учитывать, что часто не-
возможно точно воспроизвести условия первой пробы
(сменились некоторые эксперты, интервьюеры и т. п.).
3.3. ОТБОР ЭКСПЕРТОВ.
Работу по отбору экспертов обычно начинают
с определения областей научных, технических и админи-
стративных интересов, которые затрагивают решение
данной проблемы. Затем составляется список лиц, компе-
тентных в этих областях. Этот список служит основой
для отбора кандидатов в эксперты. Составляя список
кандидатов в эксперты, исходят прежде всего из компе-
тентности того или иного специалиста в области его не-
посредственной деятельности. Вместе с тем желательно,
чтобы кандидат в эксперты обладал широким кругозо-
ром, был достаточно эрудирован и в смежных областях,
а также имел ряд других качеств, о которых будет рас-
сказано ниже.
Один из способов анализа компетентности кандидатов
в эксперты заключается в подготовке специальных
анкет, отвечая на вопросы которых они должны пока-
зать свою эрудицию и аналитические способности. Для
оценки полученных ответов используется числовая шка-
ла, например от 1 до 5. Главное внимание при заполне-
нии анкеты уделяется способности эксперта ответить на
поставленные вопросы и дать числовую оценку своим
знаниям в достаточно короткий срок (5—10 мин).
Так, например, в одном из экспериментов самооценки
необходимо было ответить на серию из 10 вопросов в те-
чение 5 мин. Прежде чем начать эксперимент, кандида-
оь
тов в эксперты знакомили с инструкцией следующего со-
держания.
«Вас просят оценить вопросы соответственно объему
Ваших знаний. Проделайте это следующим образом. Пе-
ред тем как дать любой ответ, прочтите внимательно все
10 вопросов и отыщите один, который, как Вам кажется,
Вы знаете лучше других. Дайте этому вопросу оценку 5.
Затем отыщите вопрос, который, как Вам кажется, Вы
знаете хуже других, и дайте ему оценку 1.
После этого Вы должны оценить все оставшиеся во-
просы относительно этих двух, используя шкалу оценок 1,
2, 3, 4 и 5 баллов.
Таким образом, вопрос, о котором Вы знаете почти
так же много, как и по первому вопросу, получит оцен-
ку 5. Вопрос, расположенный, по Вашему мнению, при-
близительно в «середине» между вопросом, по которому
Вы информированы меньше всего, и вопросом, который
Вы знаете лучше всего, следует оценить в 3 балла и т. д.
Заметим, что оценка является относительной и зависит
только от того, насколько велик объем Ваших знаний по
этому вопросу. Не пытайтесь достичь улучшения оценок,
а будьте «импрессиопичны»: руководствуйтесь Вашим
личным впечатлением».
Получив данные об индивидуальной самооценке, мож-
но рассчитать среднюю групповую самооценку путем де-
ления суммы индивидуальных самооценок по каждому
вопросу на число экспертов в группе. В результате полу-
чается численный индекс, характеризующий объем зна-
ний, которым, по мнению группы, она обладает по дан-
ному вопросу.
Практика экспертиз показывает, что, хотя методы са-
мооценки недостаточно точны для того, чтобы служить
единственным критерием выбора экспертов, использова-
ние таких методов дает возможность выполнить предва-
рительный отбор группы наиболее компетентных специ-
алистов. Имеются данные, подтверждающие наличие
связи между групповой самооценкой и точностью экспер-
тизы. На рис. 6 дана кривая, иллюстрирующая наличие
зависимости между групповой самооценкой и средней
групповой ошибкой [24]. Совершенно очевидно, что суще-
ствует обратная связь между этими величинами, т. е.
средняя групповая ошибка монотонно убывает с возра-
станием средней самооценки. Из этого следует, что если,
например, группа кандидатов в эксперты со средней са-
мооценкой С будет разделена на подгруппы, одна из ко-
4-78
97
торых имеет более высокую самооценку А, нежели груп-
па в целом, а другая имеет более низкую самооценку В,
то подгруппа А будет в среднем более точной, чем вся
группа, а подгруппа В — менее точной.
Вместе с тем точность групповой оценки существенно
зависит йот чи_иа э к с п е р т о в-вг р у п п е. Ясно,
что уменьшение числа экспертов ведет к снижению точно-
сти оценки, поскольку на групповую оценку излишнее
Рис. 6. Групповая самооценка
влияние оказывает оценка каждого из экспертов. В то же
время при очень большом числе экспертов становится
сложнее выявить их согласованное мнение из-за умень-
шения роли тех суждений, которые, хотя и отличаются от
мнения большинства, однако далеко не всегда оказы-
ваются ошибочными.
Установить оптимальную численность группы экспер-
тов чрезвычайно трудно. Однако в последние годы раз-
работан ряд подходов, позволяющих хотя бы приблизи-
тельно решать вопрос о необходимом числе экспертов.
На рис. 7 дана кривая, характеризующая зависимость
между количеством экспертов в группе и средней группо-
вой ошибкой [24]. Использование кривых такого типа поз-
воляет выбрать минимально допустимое число экспертов.
Однако нужно помнить, что каждая такая кривая не
имеет универсального характера и обусловлена специфи-
ческими особенностями конкретной экспертизы.
При подборе и оценке числа экспертов нужно учиты-
вать еще одно ограничение, касающееся соответствия це-
98
лей экспертов целям экспертизы. Группа не должна со-
стоять из представителей одной узкой специальности,
так как в этом случае их мнение будет в определенной
степени тенденциозным. При отборе экспертов необходи-
мо также принимать во внимание характер экспертизы:
степень сложности и остроты обсуждаемой проблемы,
квалификацию и опытность экспертов, иногда даже их
личные отношения.
С другой стороны, полезна разработка системы, сти-
мулирующей объективную работу экспертов.
Рис. 7. Роль численности
’	группы
Не останавливаясь пока на методах числовой оценки
надежности специалиста по результатам работы его в ка-
честве эксперта в прошлом, отметим лишь важность со-
ответствующей тренировки и обучения кандидатов в экс-
перты. Так, при отсутствии данных о результатах
использования того или иного специалиста как эксперта
можно с целью определения его компетентности провести
специальные эксперименты. Для этого нужно подгото-
вить вопросы о «достоверных» событиях, которые выби-
раются так, чтобы участники эксперимента не знали
истинных ответов, но чтобы они располагали «фоновой»
информацией, достаточной для выбора числовой оценки
альтернатив.
Можно организовать эксперимент-репетицию, в про-
цессе которой «проигрывать» отдельные элементы пред-
стоящей экспертизы с помощью двух (или нескольких)
групп, одна из которых составлена из кандидатов в
эксперты, а другая, контрольная, — из лиц, наиболее ип-
4
99
формированных в отношении исследуемой проблемы.
Сравнение оценок, полученных от каждого из участников
такого эксперимента (и каждой из групп), позволит точ-
нее установить относительную степень надежности канди-
датов в эксперты.
Кроме того, нужно выявить потенциально возможные
цели экспертов, противоречащие целям экспертизы, т. е.
наличие причин, которые могут повлиять на сознатель-
ное смещение групповой оценки в направлении, жела-
тельном для данного эксперта либо для группы экспер-
тов. Рекомендуется исключать из рассмотрения те собы-
тия, в результатах которых эксперты лично заинтересо-
ваны.
Несмотря на то что существующие в настоящее время
методы отбора экспертов далеки от совершенства, несом-
ненно, что их применение обеспечивает более высокую
надежность результатов, чем «волевые» решения о назна-
чении участников экспертизы.
3.4. МЕТОД ДЕЛЬФЫ.
Одним из наиболее перспективных методов
формирования групповой оценки экспертов является ме-
тод Дельфы, получивший название от греческого города
Дельфы и мудрецов, славившихся в древности предсказа-
ниями будущего. Метод представляет собой ряд последо-
вательно осуществляемых процедур, направленных на
формирование группового мнения по проблемам, по кото-
рым ощущается недостаток информации.
Процедуры, используемые в методе Дельфы, характе-
ризуются тремя основными чертами: анонимностью,
регулируемой обратной связью и группо-
вым ответом. Анонимность достигается применением
специальных вопросников или другими способами инди-
видуального опроса, например контактом экспертов
с ЭВМ. Регулируемая обратная связь осуществляется за
счет проведения нескольких туров опроса, причем резуль-
таты каждого тура обрабатываются с помощью стати-
стических методов и сообщаются экспертам. С помощью
статистических методов определения группового ответа
можно уменьшить статистический разброс индивидуаль-
ных оценок и получить групповой ответ, в котором пра-
вильно отражено мнение каждого эксперта.
Если анонимность опроса является способом ослабле-
ния влияния отдельных «доминирующих» экспертов, то
100
регулируемая обратная связь позволяет снизить «шумы»,
под' которыми понимается влияние индивидуальных
и групповых интересов, не связанных с решаемыми про-
блемами. Кроме того, введение обратной связи вносит
элемент объективности и делает оценки более надеж-
ными.
Проведение опроса в несколько туров, в течение кото-
рых осуществляется ряд последовательных итераций
(экспертов информируют о результатах предыдущих эта-
пов опроса и предлагают в ряде случаев обосновать свое
мнение), позволяет уменьшить колебания в индивидуаль-
ных ответах, ограничивает внутригрупповые колебания
и имеет несомненные преимущества по сравнению с «про-
стым» статистическим объединением индивидуальных
мнений с помощью средних.
В основу метода Дельфы положены следующие пред;
посылки:
I)	поставленные вопросы должны допускать возмож-
ность выражения ответа в виде числа;
2)	эксперты должны располагать достаточной инфор-
мацией для того, чтобы дать оценку;
3)	ответ на каждый из вопросов (оценка) должен
быть обоснован экспертом.
Выявление преобладающих суждений с помощью ме-
тода Дельфы позволяет сблизить точки зрения экспертов.
Вместе с тем учитывается, что, несмотря на сближение
оценок, различие будет существовать и в конце опроса.
Покажем, как используется метод Дельфы при подго-
товке научно-технических прогнозов. Каждый тур опроса
требует в некоторой степени различных видов деятельно-
сти от экспертов, либо организаторов экспертизы, либо от
тех и других. Разумеется, еще до первого тура должны
быть проведены подготовительные мероприятия
(см. § 3.2). Если они осуществлены, можно начинать
первый тур опроса.
Первый тур опроса. Первая анкета может быть пол-
ностью бесструктурной и допускать любые ответы. Целью
такой анкеты является составление перечня событий для
прогноза в определенной области науки и техники.'У это-
го подхода есть некоторые недостатки, которые рассмат-
риваются ниже. Однако он обладает и значительными
преимуществами, хотя и возлагает большую ответствен-
ность на экспертов. Ведь предполагается, что специалис-
ты гораздо лучше, чем организаторы экспертизы, знают
соответствующую область науки и техники.
101
Если анкета для первого тура опроса составлена так,
что опа ограничивает участников экспертизы в постанов-
ке проблем, то это может привести к тому, что группа не
учтет или опустит некоторые события, которые, вполне
возможно, имеют более важное значение для организато-
ра, чем события, которые он представляет па рассмотре-
ние группы.
После того как прогнозы группы возвратились к ор-
ганизатору, он должен объединить их. Некоторые экспер-
ты дают свои прогнозы в словесной форме или в виде
сценария. Такой прогноз должен быть расчленен на ряд
отдельных событий. Другие члены группы могут дать пе-
речень событий, расположенных в хронологическом по-
рядке. И в том и в другом случае события должны быть
идентифицированы: одинаковые события объединены,
второстепенные (сточки зрения организатора)—исклю-
чены, а окончательный перечень событий должен быть
составлен в точных терминах. Полученный перечень со-
бытий становится основой второй анкеты.
Второй тур опроса. Экспертам направляют сводный
перечень событий и просят оценить даты, когда может
произойти реализация этих событий. Их просят также
привести соображения, по которым они считают свои
оценки правильными, т. е. указать причины того, почему,
по их мнению, то или иное событие не должно произойти
раньше или позже прогнозируемой ими даты. Данная ими
оценка даты наступления события может включать слово
«никогда» или просто «позже», если для оценки был
установлен какой-либо временной горизонт.
После того как прогнозы и оценки дат, сделанные чле-
нами группы, вернулись к организатору, последний дол-
жен подготовить статистическую сводку мнений экспер-
тов, упоминая аргументы и доводы в пользу того, что
рассматриваемое событие произойдет раньше или позже
«средней» оценки.
После второго тура опроса аналитики производят об-
работку полученных оценок: уточняют перечень событий
и анализируют характеристики ряда, т. е. рассчитывают
медианы и квартили.
Предположим, что от экспертов получено какое-либо
число оценок, например 11. Эти оценки упорядочиваются,
например, в порядке убывания. За медиану принимается
средний член ряда, по отношению к которому число оце-
нок с начала и с конца ряда будет одинаковым. В нашем
примере с 11 оценками медиана будет совпадать с оцен-
102
кой N6 (рис. 8). Затем определяются верхний и нижний
квартили, т. е. интервалы N^Qi и	Величины этих
квартилей в первом приближении равны значениям оце-
нок ряда в интервале, равном 25% от начала и 25% от
конца ряда. Таким образом, медиана и квартили образу-
ют на оси ряда четыре интервала, среди которых два
средних QjMe и Q3Me считаются наиболее предпочти-
тельными.
Рис. 8. Медиана и квартили в методе
Дельфы
Полученные таким образом показатели принимаются
за характеристики распределения оценок: медиана
служит характеристикой группового ответа, а. предпоч-
тительный интервал квартилей — показателем разброса
индивидуальных оценок.
Каждому эксперту сообщаются значения этих харак-
теристик. Экспертов, чьи оценки оказались в крайних
квартилях, просят их мотивировать, т. е. обосновать при-
чины расхождения с групповым мнением. Эксперты могут
приводить любые аргументы или возражения,.такие же,
какие они приводят во время дискуссии. Разница заклю-
чается лишь в том, что эти аргументы анонимны. Они мо-
гут пересмотреть свои мнения и при желании исправить
оценки. С полученными обоснованиями знакомят осталь-
ных экспертов, не указывая при этом, чьи они. Такая
процедура позволяет всем экспертам принять в расчет
обстоятельства, которые они могли случайно пропустить
или которыми пренебрегли во время первого и второго
туров опроса.
Третий тур опроса. Третья анкета состоит из перечня
событий, групповой медианы дат наступления событий
и верхнего и нижнего квартилей для каждого события,
а также сводных данных (аргументов) о причинах более
ранних или поздних оценок. Участников экспертизы про-
сят рассмотреть аргументы и сформулировать новые
оценки предполагаемой даты наступления каждого со-
бытия. Если их новая оценка не попала в интервалы
между квартилями (ИМК), полученными во втором ту-
ре опроса, то их просят обосновать свою точку зрения
103
и прокомментировать точку зрения тех, кто придержи-
вается противоположных взглядов. Иначе говоря, если
их оценка даты отличается от оценки 3/4 участников
экспертизы, их просят подтвердить эту оценку и пока-
зать, почему они считают аргументы большинства непра-
вильными или неполными. Их аргументы могут вклю-
чать ссылку на внешние факторы, которыми могли пре-
небречь другие члены группы, перечисление факторов,
которые оказались не учтенными другими экспертами,
и т. д. Участники экспертизы могут выдвигать аргументы
и возражения точно так же, как это делали бы при лич-
ном общении, но при этом их аргументы , остаются ано-
нимными.
После того как пересмотренные оценки и новые аргу-
менты возвратились к организатору, он опять должен
суммировать оценки группы, рассчитав новые медианы
и новые квартили, суммировать аргументы, представ-
ленные с обеих сторон, и подготовить на этой основе но-
вый прогноз.
Четвертый тур опроса. Участникам экспертизы вновь
передают перечень событий, статистическое описание
оценок группы и аргументы обеих сторон. Эксперты
должны принять во внимание аргументы и их критику
и составить новый прогноз. При необходимости органи-
затор может потребовать от них новые аргументы. Полу-
чив прогнозы экспертов, снова рассчитывают медианы
и квартили дат для каждого события. Поскольку этот
тур опроса является последним, возможно, нет нужды
анализировать аргументы и, следовательно, просить их
представить. Если же группа не может прийти к согласо-
ванному (единому) мнению, и организатор экспертизы
заинтересуется аргументами обеих сторон, он собирает их
и анализирует. Сам прогноз состоит из перечня событий
с соответствующими медианами и квартилями дат.
Практика показывает, что необязательно проводить
все четыре тура опроса. Если эксперты пришли к согла-
шению во втором туре, то опрос можно прекратить. Это
особенно справедливо в отношении тех событий, которые
по общему мнению никогда не произойдут. В некоторых
случаях обнаруживается, что первоначально сформули-
рованное событие следует переформулировать или раз-
делить на ряд отдельных событий. В других случаях мо-
жет оказаться желательным объединить события, кото-
рые в первоначальном перечне событий рассматривались
раздельно.
104
Основные результаты использования метода Дельфы
заключаются в следующем. Типичным для первого тура
опроса является широкий разброс индивидуальных отве-
тов. По мере применения итерации и обратной связи схо-
димость индивидуальных ответов увеличивается. В боль-
шинстве случаев групповой ответ (определяемый как ме-
диана окончательных индивидуальных ответов) становит-
ся точнее.
Для исследования фактической эффективности мето-
да Дельфы был проведен ряд экспериментов [24]. Один из
таких экспериментов заключался в ответе на вопросы об-
щего характера. Требовалось, например, произвести
Рис. 9. Зависимость средней группо-
вой ошибки от стандартного откло-
нения
экспертную оценку данных, содержащихся в календарях
и статистических справочниках. При этом эксперты не
знали истинного ответа, но имели другую, косвенную ин-
формацию, которая позволяла им размещать свои оцен-
ки в диапазоне, близком к истинному ответу. Предпола-
галось, что процесс этот во многом схож с процессом про-
гнозирования.
Сравнение полученных результатов с экспертизой по
этим же вопросникам, осуществляемой «лицом к лицу»,
показало, что согласование мнений с помощью метода
Дельфы дало в 13 из 15 случаев более точные резуль-
таты.
Зависимость средней групповой ошибки от стандарт-
ного отклонения может быть изображена набором точек
и аппроксимирована по методу наименьших квадратов
прямой линией (рис. 9). Нижняя линия характеризует
105
ожидаемое отклонение средней ошибки от дисперсии
с учетом того, что оценка получена путем выборки из
распределения, центр которого совпадает с правильным
ответом. Расхождение между наблюдаемой и ожидаемой
ошибкой свидетельствует о том, что ответы содержат
ощутимое смещение в дополнение к ошибкам, связанным
с ограниченностью выборки.
Если оценить это расхождение отношением Е/о, то
прямая на рис. 9 будет свидетельствовать о постоянстве
смещения. Это очень важно для интерпретации результа-
тов экспериментов, проведенных с использованием мето-
да Дельфы, поскольку подтверждается предположение
о том, что высокие дисперсии ответов связаны с уменьше-
нием точности. Особенно важным является постоянство
Рис. 10. Влияние расстояния от ме-
дианы на изменение оценок
сдвига, показывающее, что в условиях неполной инфор-
мации экспертные оценки относительно хорошо группи-
руются.
Для того чтобы понять механизм изменения оценок
за счет последовательных итераций, была исследована
тенденция к изменениям, которая может быть описана од-
ним параметром — расстоянием между оценками, полу-
ченными в последующих турах опроса, и медианой оце-
нок первого тура. Установлено, что вероятность измене-
ния оценок весьма близка к линейной функции, симмет-
ричной до точки, соответствующей границе между квар-
тилями (рис.10).
Характер изменения оценок таков, что средняя оценка
всей группы (Л1С) находится между средними оценками
экспертов, изменивших свое мнение (Ms), и экспертов,
106
оставивших оценку неизменной (Мн). Поскольку средняя
оценка экспертов, не изменивших свое мнение, обычно
оказывается ближе к истинному ответу, предполагается,
что последний находится где-то в заштрихованной обла-
сти (рис. 11).
Из этого рисунка видно, что если средняя оценка
экспертов, изменивших свое мнение, перемещается в на-
правлении средней оценки всей группы, то последняя так-
же будет смещаться вправо и в целом улучшится. Она
Улучшение после итерации Области, содер-
жащая истин-
|	ный отдет
~Е. кДМ
I
I
Мр "н
Рис. 11. Изменение групповых оце-
нок при итерациях
станет менее точной только в случае «пересечения» сред-
ней оценки (Мн) экспертов, не изменивших ответ, сред-
ней оценкой (Ms) экспертов, изменивших свое мнение.
Таким образом, итерация достигается за счет следую-
щих двух предположений:
—	эксперты, не изменившие свои оценки, дают более
точный ответ;
—	в процессе итерации средняя оценок экспертов, из-
менивших свое мнение, движется по направлению сред-
ней оценки группы.
Этих двух допущений достаточно, чтобы в целом про-
исходило улучшение средней оценки группы.
Было также установлено, что расстояние оценки от
медианы оказывает существенное влияние на вероятность
и величину изменения ответов после итерации.
Предполагается, что после первого тура опроса
у группы экспертов имеется еще некоторое количество
«остаточной» информации; итерация и обратная связь за-
ставляют экспертов учесть эту информацию, что в свою
очередь приводит к улучшению групповой оценки. Про-
верка предположения о том, что эксперты, давая оценку,
имеют «в уме» грубое распределение вероятностей, также
дала положительные результаты. Были проведены экспе-
рименты, когда экспертов просили задавать не точечные,
а «распределительные» ответы, т. е. назвать квартили или
107
интервальные значения оценок, для которых вероятность
того, что истинный ответ окажется меньше названного,
равна соответственно 25, 50 и 75%. Получены достаточ-
но обнадеживающие результаты, хотя разброс таких оце-
нок оказался больше, чем точечных. Было также показа-
но, что применение дополнительных «наводящих» вопро-
сов действует аналогично дополнительной информации
и улучшает точность оценок.
Проведенные эксперименты позволяют предполагать,
что при использовании метода Дельфы наличие в группе
менее знающих экспертов оказывает менее сильное
влияние на групповую оценку, чем при простом усредне-
нии оценок, поскольку итерация помогает этим экспер-
там улучшить свои оценки за счет информации, полу-
чаемой от более компетентных специалистов. С другой
стороны, компетентные специалисты, как правило, не рас-,
полагают той информацией, которая находится в распо-
ряжении у всех входящих в группу экспертов, что позво-
ляет и им улучшать свои оценки в процессе опроса.
В последние годы разработан ряд модификаций ме-
тода Дельфы. В этих модификация'х сохраняются прин-
ципы, первоначально предназначавшиеся для устранения
некоторых недостатков групповой экспертизы. Изме-
няются, однако, многие элементы методики, используе-
мой в «классическом» методе Дельфы,
Так, по основной методике работа начинается «с чи-
стого листа». По-видимому, при этом перед некоторыми
экспертами возникают трудности психологического ха-
рактера, поскольку описание ситуации полностью бес-
структурно, и они могут не знать, с чего начинать рабо-
ту. Кроме того, нет гарантии, что прогнозы, разработан-
ные группой экспертов в течение первого тура опроса,
будут соответствовать требованиям организатора экспер-
тизы. Наконец, возможно, что по мере уточнения и суже-
ния формулировки рассматриваемого события в течение
ряда туров опроса один или несколько членов группы мо-
гут не оказаться специалистами в данной узкой области.
Чтобы преодолеть эти недостатки, более удобно начинать
с перечня событий, составленного заранее организатором,
который нередко обращается к помощи экспертной про-
цедуры. Последнее означает, что первый тур опроса про-
водится с одной группой, а его результаты передаются
другой группе, которая фактически начинает работу со
второго тура опроса. Поскольку при этом каждая группа
организуется для различных целей, в некоторых случаях
108
удобнее использовать данную модификацию метода
Дельфы. Отметим, что нет причин, препятствующих ча-
стичному совпадению составов различных групп.
Зачастую точное направление развития науки и тех-
ники зависит от политических решений, экономических
условий и ограничений, и, следовательно, прогнозы опре-
деляются предположениями участников экспертизы отно-
сительно этих внешних событий. Если группа полностью
состоит из экспертов-специалистов в конкретной области
науки и техники, нельзя надеяться, что они будут также
специалистами в области политики или экономики. Зна-
чит, может оказаться желательным заблаговременно по-
лучить прогноз политических или экономических тенден-
ций и представить его группе как часть информации для
первого тура опроса. Преимущество такого подхода со-
стоит в том, что группа получает готовым описание суще-
ствующей (будущей) ситуации, и их непрофессиональное
суждение (ведь они являются специалистами в науке
и технике) заменяется мнением профессионалов в соот-
ветствующей области знаний.
В ряде модификаций метода Дельфы менялось и чис-
ло туров опроса. Некоторые эксперименты включали не
менее пяти туров. Однако, как показал опыт, к концу че-
тырех туров опроса группа достигала требуемого согла-
сия. В ряде экспериментов с коротким циклом проведе-
ния испытания не было, по существу, надобности в том,
чтобы выйти за пределы двух туров опроса. Это означает,
что основной вариант метода Дельфы в некоторых слу-
чаях может быть модифицирован путем уменьшения чис-
ла туров опроса. Таким образом, не существует опреде-
ленного ответа на вопрос о необходимом числе туров оп-
роса. Если время ограничено и если начальный перечень
событий может быть получен с помощью другого метода,
то вполне возможно, что двух туров опроса будет доста-
точно для выяснения существа проблем, даже если не
удастся достичь полного согласия со стороны некоторых
экспертов. Поскольку метод Дельфы дает лучшие резуль-
таты, чем использование суждений отдельных экспертов
или групп с личным общением их членов, вполне возмож-
но, что даже цикл проведения опроса, состоящий из двух
туров, будет лучше, чем любой другой метод разработки
прогнозов.
Основной вариант метода Дельфы требует, чтобы
каждый эксперт оценивал дату, когда данное событие
должно произойти. В некоторых случаях определяется да-
109
та «равновозможности», т. е. равновероятности наступле-
ния события до или после нее. Однако иногда экспертов
просят назвать три даты: «вряд ли возможную», «равно-
возможную» (50%-пую)' и «фактически достоверную».
В количественной форме их можно рассматривать как
вероятностные оценки, равные 10, 50 или 90% (0,1; 0,5;
0,9) или некоторым другим соответствующим образом
выбранным значениям вероятности наступления события.
Статистическую характеристику группового ответа по-
лучают, взяв медиану (или среднюю) каждого из трех
рядов дат. После этого организатор экспертизы опреде-
ляет среднюю из равновозможных (50%-ных), по мне-
нию экспертов, дат, которая и становится прогнозом. Сте-
пень несогласия участников экспертизы отражается пос-
редством выявления дат с низким и высоким уровнем ве-
роятности.
В некоторых случаях при применении метода Дельфы
экспертов просят оценить в баллах собственную степень
компетентности по каждому из предложенных вопросов.
Затем эти оценки комбинируются с полученными в ре-
зультате опроса (высокий балл показывает большую сте-
пень компетентности).
Известны эксперименты по методу Дельфы, когда ис-
пользовалась ЭВМ с несколькими терминалами. В этом
случае машина знакомит эксперта с общим мнением
группы, существующим в начале каждого тура опроса,
и его ответ вводится непосредственно в ЭВМ. Это может
заметно ускорить проведение экспериментов по методу
Дельфы. В приложении 2 приводятся методика и про-
грамма анализа на ЭВМ согласованности экспертных
оценок, полученных по методу Дельфы.
В некоторых экспериментах по данному методу ис-
пользовался «фактор достоверности» для каждого про-
гнозируемого события. Он вычисляется путем включения
только положительных ответов в расчет статистических
характеристик группового ответа. Затем процент ответов
«никогда» вычитается из 100%, и результат рассматри-
вается как показатель вероятности прогноза. Например,
если медианой положительных ответов является 1985 г.,
и 30% экспертов придерживаются того мнения, что дан-
ное событие никогда не произойдет, то в таком случае по
прогнозу принимается 1985 г. с 70 %-ной вероятностью.
Очевидно, эта вероятность определена по отношению
к прогнозу в целом, а не к определенной дате. По-види-
мому, этот подход является одним из возможных спосо-
110
бов учета ответов «никогда», поскольку их нельзя иначе
сочетать с положительными ответами.
Ряд видоизменений метода Дельфы связан с ограни-
чениями анонимности ответов. Условие анонимности бы-
ло введено для того, чтобы доводы оценивались экспер-
тами на основе собственных предпочтений и при этом
поддерживающее или противоречащее мнение не влияло
на их суждение. Однако нередко приходится выбирать
между частичным исключением анонимности и полным
отказом от использования метода Дельфы. Поскольку не-
которые преимущества метода Дельфы могут быть сохра-
нены даже при частичном исключении анонимности, то,
видимо, имеет смысл использовать эту модификацию.
Известен, например, так называемый «упрощенный
метод Дельфы». При проведении игр или имитаций, в ко-
торых эксперты играют роли принимающих решения спе-
циалистов, часто возникает ситуация, когда для перехода
на последующий этап имитации требуется выработать
единое мнение группы. Это мнение может быть получено
путем использования письменных (анонимных) оценок,
собранных и проанализированных организатором экспер-
тизы на месте. Его сообщение об итогах анализа сопро-
вождается устными доводами в пользу изменения груп-
повых оценок, за которыми в свою очередь следует дру-
гой тур тайного опроса. Исключение анонимности дово-
дов дает возможность значительно ускорить процесс оп-
роса.
Подобный подход применяется за рубежом и к про-
блеме принятия решений при распределении бюджета по
отдельным проектам. Считается разумным использова-
ние группы экспертов для обсуждения данной проблемы
и принятия решения по каждому проекту. В такого рода
группу входят лица, представляющие самые различные
уровни управления, поэтому весьма вероятно, что без
анонимности опроса на мнение некоторых членов группы
могли бы воздействовать мнения, высказанные другими,
более влиятельными экспертами. В конечном счете при-
знано целесообразным использовать для принятия ре-
шений визуальное устройство (панель с несколькими ря-
дами лампочек и пультом у каждого эксперта). Участник
экспертизы, выслушав доклады всех членов экспертизы,
может нажать кнопку на своем пульте у той цифры, кото-
рая представляет его голос. Когда панель включена, свет
лампочки показывает то число, которое он выбрал. При
этом провода размещены таким образом, что невозмож-
111
но сказать, не глядя на пульт эксперта, как он проголо-
совал. После голосования рассчитывают, исключая край-
ние суждения, среднее и стандартное отклонения, затем
сообщается предварительное решение группы. Далее на-
чинается следующий тур устной дискуссии, сопровождае-
мой опросом, результаты которого принимаются за окон-
чательное решение группы. Эта модификация сохраняет
некоторые преимущества метода Дельфы и за счет ча-
стичного исключения анонимности сильно ускоряет про-
ведение опроса.
Известны случаи применения метода Дельфы, в кото-
рых обратная связь ограничивается. Обратная связь на-
правлена только к так называемым «независимым»
экспертам, которых просят подтвердить свою точку зре-
ния на основании того, что они могли бы оказаться един-
ственными людьми, дающими правильный ответ. Если
с точки зрения организатора экспертизы мнение «незави-
симого» эксперта подтверждается, его оценка становится
прогнозом; в противном случае в качестве прогнозной
оценки принимается групповая медиана.
Для выявления экспертов, наиболее влияющих на
согласованность мнений, в некоторых случаях используют
прием последовательного исключения одного участника
экспертизы и вычисления коэффициента согласия остав-
шихся экспертов. Очевидно, что наибольшее влияние па
общую согласованность экспертов оказывает тот из них,
при исключении мнения которого коэффициент согласия
(методы его расчета будут показаны в разделе 4.2 и в
приложении 2) принимает наибольшее значение.
Метод Дельфы в настоящее время используется как
при долгосрочном прогнозировании, так и для изучения
ряда экономических и социальных проблем. Перспектив-
ность этого метода для получения групповой экспертной
оценки и углубленного анализа событий в ситуациях не-
определенности, особенно в сочетании с другими анали-
тическими методами, несомненна.
Хотя этот метод нашел широкое распространение
сравнительно недавно (10—15 лет назад), общее число
работ, выполненных в области его разработки и исполь-
зования, намного превысило тысячу [25]. В настоящее
время метод применяется для подготовки материалов, не-
обходимых для выбора решений на самых различных
уровнях управления: государственном, отраслевом, регио-
нальном и в рамках отдельных организаций.
Вместе с тем опыт, накопленный при его использова-
112
нии, позволил выявить ряд методических и фактических
недостатков. Наиболее характерными из них являются:
большое влияние на результат экспертизы состава при-
влекаемых к опросу специалистов; недостаточно проду-
манная подготовка вопросников; недооценка со стороны
экспертов качественно новых факторов, которые могут
возникнуть в будущем; излишний пессимизм в долгосроч-
ных прогнозах и оптимизм в краткосрочных; попытки по-
лучить незамедлительные и конкретные ответы на неоп-
ределенные вопросы; опасность поверхностного анализа
из-за стремления специалистов поскорее ответить на во-
просы; возможность сознательного искажения результа-
тов экспертизы (со стороны ее организаторов) путем вы-
дачи в первом туре ложной информации и т. д.
Большинство этих недостатков может быть ликвиди-
ровано. Очевидно, что со времени появления метода
Дельфы происходит процесс его развития и совершенст-
вования. Основные направления этого процесса связаны
с попытками сочетания этого метода с другими методами
прогнозирования, с развитием его философской и психо-
логической базы, расширением областей применения, ис-
пользованием усовершенствованных математико-стати-
стических моделей, более рациональным применением
электронно-вычислительной техники и изысканием путей,
устранения выявляющихся недостатков.
Глава 4
ПРОВЕРКА СОГЛАСОВАННОСТИ
И ДОСТОВЕРНОСТИ
ЭКСПЕРТНЫХ ОЦЕНОК
4.1. АНАЛИЗ СОГЛАСОВАННОСТИ
ОТВЕТОВ ЭКСПЕРТОВ.
В предыдущей главе этой книги было показа-
но, что групповая оценка может считаться достаточно на-
дежной только при условии хорошей согласованности от-
ветов опрашиваемых специалистов. Поэтому статистиче-
ская обработка информации, полученной от экспертов,
должна включать в себя оценку степени согласованности
мнений экспертов и выявление причин их неоднород-
ности.
Как отмечалось ранее, оценки, полученные от экспер-
тов, могут рассматриваться как случайная переменная,
распределение которой отражает суждения специалистов
о вероятности того или иного исхода события (призна-
ка). Поэтому для анализа разброса и согласованности
оценок, полученных от экспертов, применяются обобщен-
ные статистические характеристики — средние и меры
разброса. Не останавливаясь на определении средних ве-
личин, напомним о некоторых мерах разброса распреде-
лений, использование которых является весьма полезным
при анализе согласованности экспертных оценок.
. " Существуют два основных метода измерения разбро-
[ са: рассматриваются либо расстояния между двумя упо-
। рядоченными исходами событий, либо средние расстоя-
ния результатов отдельных наблюдений от некоторого
; центрального значения. Показатели первого типа назы-
| вают вариационным размахом, а второго — средними от-
\ клонениями.
4 Для оценки вариационного размаха (амплитуды ко-
лебаний) 7? чаще всего используется следующая пара
величин — (xmin, Xmax). По существу, именно эти величи-
114
ны (или расстояние между ними) имеют в виду, когда
говорят о размахе вариации. Чтобы определить любой
другой тип вариационного размаха, необходимо добавить
еще какие-то определения. К примеру, вариационный
размах между квартилями равен разности между треть-
им и первым квартилями Q3—Qb В этом случае для
сравнительного изучения вариаций может быть вычислен
коэффициент интерквартильной вариации, представляю-
щий собой отношение интерквартильной вариации к ме-
диане:
q = Оз,- 91 ,
4 Me
или приблизительно
Qs — Qi
а =	2	= Оз-Qi
Qa Qi Q з н~ Qi
2
Коэффициент интерквартильной вариации колеблется!
между —1 и +1 и приближается к нулю в случае сим-:
метричного распределения с очень малой вариацией.
Хорошими характеристиками разброса оценок яв-
ляются средние отклонения. Среднее абсолютное откло-
нение представляет среднюю арифметическую абсолют-
ных величин разностей между каждой оценкой и выбо-
рочной средней. В практике статистической обработки
оценок, полученных от экспертов, чаще используют не
среднее абсолютное отклонение, а среднее квадратиче-
ское (стандартное) отклонение и дисперсию.
Среднее квадратическое отклонение есть корень
квадратный из7 среднего квадрата отклонений отдельных
значений признака от средней арифметической:
(13)
т
где х — варианты (оценки); х— средняя арифметиче-
ская; т — число оценок.
Если число оценок не превышает 30, что характерно
для большинства экспертиз, то для расчета среднего
квадратического отклонения применяется формула
115
Нередко за показатель разброса удобнее принимать
не среднее квадратическое отклонение, а его квадрат
(о2). Эта величина называется дисперсией и обладает
среди прочих тем свойством, что при увеличении (умень-
шении) оценок в k раз, увеличивается (уменьшается)
в k2 раз.
При анализе согласованности оценок экспертов не-
редко используется коэффициент вариации V, характе-
ризующий вариабельность, рассчитываемую в виде отно-
шения среднего квадратического отклонения к средней
арифметической. Обычно он выражается в процентах:
у = JL . Ю0%.
X
Меры рассеяния являются важными характеристика-
ми распределения оценок, полученных от экспертов. Од-
нако при анализе согласованности оценок недостаточно
знать величину вариабельности признака, необходимо
также полнее выявить факторы, влияющие на эту измен-
чивость по каждому признаку. С этой целью применяют-
ся специальные характеристики и показатели.
Нередко при анализе согласованности ответов экспер-
тов необходимо оценить связь между альтернативными
признаками. Это делается с помощью коэффициентов ас-
социации (связи) и коэффициентов контингенции (сопря-
женности) .
Связь считается более тесной в том случае, когда
каждому значению одного признака соответствуют близ-
кие друг другу, тесно расположенные около своей сред-
ней величины значения другого признака; связь менее
тесная, если эти значения сильно отклоняются от своей
средней, т. е. сильно варьируют. Тип, форма и плотность
связи обычно выявляются с помощью таких статистиче-
ских характеристик, как коэффициент корреляции,- кор-
реляционное отношение, коэффициент регрессии и неко-
торых других.
Большинство статистических методов измерения свя-
зей основано либо на принципе взаимной сопряженно-
сти, либо на принципе ковариации. О взаимной сопря-
женности признаков говорят в случаях, когда интере-
суются связью какого-либо выделенного признака
с другими признаками при осуществлении определенного
события, причем градация значений признаков по интен-
сивности для исследователя безразлична. При обнаруже-
116
нии такой связи предполагается, что существует зависи-
мость между данными признаками.
Основанием для заключения о наличии связи между
количественными признаками служит параллельное и од-
новременное изменение их численных значений. Иными,
словами, мы говорим о связи между признаками, если
увеличение численных значений одного из них сопровож-
дается устойчивым увеличением или уменьшением зна-
чений другого. Подобный вывод о наличии связи между
признаками основан на принципе ковариации. В матема-
тическом отношении задача сводится к вычислению ве-
личины ковариации, т. е. сопутствующего изменения чис-
ленных значений признаков, и последующему нормиро-
ванию ее с помощью различных приемов.
При оценке связи между признаками используется
много самых различных корреляционных показателей,
разнообразие которых объясняется стремлением отразить
реально существующее разнообразие типов связей в при-
роде и обществе. Поскольку и степень точности расчетов,
и вид зависимости между переменными в конечном счете
выявляются на основе качественного анализа, выбор по-
казателя связи определяется задачами исследования.
В некоторых ситуациях в одинаковой степени пригодны-
ми для исследования могут оказаться несколько коэффи-
циентов. Решающее значение в этом случае приобретают
цели анализа, природа данных (качественные или коли-
чественные признаки), требуемая точность расчетов,
удобство при вычислении, сравнительная простота интер-
претации, а также личный опыт исследователя.
' В общем случае статистический анализ согласованно-
сти оценок экспертов и получение групповой оценки
включает [26]:
—	группировку, агрегирование признаков;
—	оценку степени согласованности ответов экспертов
по каждому признаку в отдельности и в целом по всему
набору;
—	выделение групп экспертов с «близким» мнением
относительно порядка признаков в случае наличия суще-
ственных расхождений в ответах;
—	выявление причин разброса мнений, определение
влияния компетентности и других качеств экспертов на
содержание ответов;
—	оценку качества экспертных оценок и компетент-
ности экспертов;
—	формирование группового решения.
117
Рассмотрим подробнее каждый из этапов анализа.
Необходимость в группировке и агрегировании при-
знаков обусловлена рядом обстоятельств. Во-первых,
опыт показывает, что отдельные признаки могут быть
по-разному истолкованы. Вместе с тем группы признаков,
в некотором смысле объективно близкие, истолковывают-
ся экспертами более определенно. Следовательно, объ-
единяя признаки в группы, можно «извлечь» их однознач-
ный смысл и получить более точную и согласованную
оценку. Во-вторых, сама оценка значимости (степени
влияния) группового фактора более точна и достоверна,
чем оценка отдельных признаков. Это объясняется тем,
что в групповых оценках устраняются случайные ошибки
измерения отдельных признаков при естественном пред-
положении, что ошибка оценки одного признака не кор-
релирует с ошибкой оценки другого. И наконец, в процес-
се ранжирования часто возникают ситуации, когда два
или несколько признаков имеют близкие оценки, и эк-
сперты не различают их по информативности. В этом
случае группировка позволяет определить рациональную
степень агрегирования признаков.
Основой решения задачи группировки признаков яв-
ляется матрица их взаимосвязи, формализующая понятие
близости между признаками. В качестве мер взаимосвя-
зи в зависимости от характера идеализации балльных
оценок могут выступать коэффициенты корреляции
(сильное предположение о метрической шкале), коэффи-
циенты взаимной сопряженности (упрощающее предпо-
ложение о качественном характере оценок), коэффици-
енты ранговой корреляции (предположение о порядковой
шкале), коэффициенты близости двух разбиений и др.
При проведении исследования полезно использовать раз-
ные (две-три) меры связи и оценить степень устойчиво-
сти полученных группировок.
Для оценки согласованности ответов по каждому при-
знаку данные опроса удобно представить в виде таблицы
вариационных рядов ответов (табл. 23).
Здесь fa — число ответов о присвоении г'-го места /-му
признаку. Если все эксперты дали ответы по всем при-
k
знакам, то итоги строк (S /Д) будут равными.
/=1
На основе приведенной таблицы могут быть рассчита-
ны меры согласованности ответов экспертов по каждому
признаку xj. Оценка степени согласованности ответов —
118
Таблица 23
Вариационные ряды ответов
Признак	Число мнений о ранге признака						Общее число ответов
	1	2		i		k	
	Л.	fai		hl		fbi	k Xfii 1=1
Х2	Ла	fl2		fi2		fk2	k Sfi2 1=1
				*			
Xj	fu	fzj		fa			k Xf ij i=l
							
Хп	fin	f2n		fin		fhn	k Sfin Z=1
задача, обратная оценке уровня вариации. Если обозна-
чить некоторый показатель вариации /-го признака через
Мь то мера согласованности по этому признаку будет
1—Для расчета величины ц; могут быть применены
общеизвестные статистические приемы оценки вариации
в рядах распределения:
—	измерение области, содержащей основную часть
ответов;
—	измерение отклонений переменных от центрально-
го значения (средней, медианы);
—	измерение степени однородности качественных пе-
ременных.
Исходя из природы балльных оценок наиболее прием-
лемы первый и третий приемы.
При первом из них, наиболее простом и приближен-
ном, в качестве меры согласованности ответов может
быть, например, использован коэффициент, равный отно-
шению числа ответов, совпадающих с медианой и двумя
соседними с ней местами, к общему числу ответов.
Третий прием расчета меры согласованности основан
на вычислении коэффициентов вариации качественных
переменных. Для этого фактическое число различимых
119
k— 1
(по определенному значению признака) пар_событий
сравнивается с максимально возможным числом пар. По-
добная мера вариации качественных признаков пред-
ставляет аналог дисперсии.
На основе табл. 23 величина коэффициента вариации
для j-го признака вычисляется по формуле
k
k-1 Wlj)*
j
где k — число градаций (число мест) j-ro признака. Ве-
личина pj меняется в пределах
Коэффициент цу приспособлен к анализу вариации
качественных признаков. При расчете его величины не
учитывается информация о последовательности мест;
расхождение в ответах на одно место имеет такой же вес,
как и расхождение в несколько мест. С целью устранения
этого недостатка для ранговых признаков А. В. Бекке-
ром предложена другая мера вариации ответов:
(k — l)
г» 2
CyV
где С№ — нормирующий множитель (число сочетаний из
N по 2).
Преимуществом коэффициента вариации этого вида
является учет расстояния между отдельными ответами,
недостатком — оперирование разностями рангов.
Для сравнения приведем результаты расчетов щ
и Aj на материалах опроса специалистов электротехниче-
ской промышленности. В табл. 24 приведено распределе-
ние ответов 23 экспертов о степени влияния 12 конструк-
торских признаков на удельный расход материалов при
производстве синхронных генераторов [26].
Из таблицы видно, что оба коэффициента дают близ-
кие оценки степени вариации, но показатель Д3- более
чувствителен, он дает более дифференцированную
оценку.
В приведенном примере следует отметить наличие
ряда признаков, ответы по которым четко разделяются на
две группы. Так, признаку «форма исполнения» одна
группа экспертов присваивает места с 3-го по 5-е, дру-
гая— с 10-го по 11-е; примерно такая же ситуация по
признакам «качество обмоточных проводов», «КПД»
и ряду других. Это позволяет предположить наличие
120
Таблица 24
Распределение ответов экспертов о степени влияния признаков
на удельный расход материалов *
1. Мощность 20
2. Скорость враще- 5
ния
3. КПД
4. Особенности кон-
0,35 0,32
0,77 0,59
0,92 1,98
0,95 2,03
струкции
5.	Способ вентиля- 2
цни
6.	Особые техниче-
ские условия
7.	Cos <р	1
8.	Класс изоляции 2
9.	Качество электро-
технической стали
10.	Форма исполне-
ния
11.	Качество обмо-
точных проводов
12.	Квалификация
разработчика
2
15
5
5
1
2
2
2
3
2
I
7
2
3 0,94 3,90
* Числа в таблице — количество экспертов, присвоивших то или иное мес-
то каждому из 12 признаков.
в составе экспертов представителей двух различных ти-
пов организаций.
Расчет подобного рода коэффициентов весьма поле-
зен на последующих стадиях анализа — при формирова-
нии признаковых пространств и выделении однородных
групп экспертов. При разбиении экспертов в первую оче-
редь следует учитывать признаки с большой вариацией
ответов по ним.
Для оценки меры сходства мнений каждой пары
экспертов могут быть использованы различные методы.
Наиболее грубый подход основан на расчете так на-
зываемых коэффициентов ассоциации, с по-
мощью которых учитывается лишь число совпадающих
или несовпадающих ответов и не учитывается их после-
довательность. В статистической литературе описано
большое число видов таких коэффициентов. Приведем
121
один из них — информационную меру близости ответов
двух экспертов, предложенную В. Л. Устюжаниновым:
2mij
ti 1°S2 (1 F -/-) "Т tj *°g2 (1 4-
\	4 7	\	4 1
(14)
где ntij — количество признаков, одинаково оцененных
z-м и /-м специалистами; Л — количество признаков, оце-
ненных z-м специалистом; tj—количество признаков,
оцененных /'-м специалистом.
Величина меняется в пределах от 1 до 0, причем
Sij= 1 указывает на полное совпадение мнений опраши-
ваемых, a Stj = O — па полное различие мнений.
Покажем некоторые из статистических способов ана-
лиза согласованности оценок, полученных от группы
экспертов, на примере прогнозирования технических ха-
рактеристик систем [27].
Если каждый из т экспертов, участвующих в опросе,
дает одну оценку z/j (/ — номер данного эксперта) буду-
щего значения прогнозируемой величины, то в результате
обработки этих оценок могут быть получены следующие
показатели:
. — среднее значение оценок (точечная оценка для
данной группы экспертов), характеризующее их обобщен-
ное мнение:
л 1
— (15>
т
— дисперсия оценок, характеризующая разброс мне-
ния отдельных экспертов относительно среднего значения
л
Уэ:
Л	J ™ л
D^^-^zrr2(y9“^)2;	(16)
у=1
— среднее квадратическое отклонение, характеризую-
щее указанный разброс, по размерности совпадающий
с размерностью величины у:
Ул
D(y);
(17)
122
— коэффициент вариации
V = £.	(18)
Уэ
Статистические показатели позволяют прогнозиро-
вать и размеры той области, в которую с заданной веро-
ятностью Р попадет будущее значение оцениваемой ве-
личины. Эту область можно определить следующим об-
разом:	Л	Л
Уэ-	д2-	(19)
Для построения указанной области (определения
Д1 и Д2) -необходимо сделать предположение о виде за-
кона распределения суммы величии у}. Очень часто этот
закон распределения считается нормальным, что тем бо-
лее оправдано, чем большее количество экспертов (на-
пример, т>;10) участвуют в опросе.
Л
Для симметричного закона Д1=Д2 = / —-— , где t —
т
величина, определяемая для данного конкретного зако-
на распределения при данной вероятности Р.
Для нормального закона распределения оценок эк-
спертов установлено, что величина t имеет распределе-
ние Стьюдепта ст — 1 степенями свободы. Опа опреде-
ляется по специальным таблицам в зависимости от т—1
и 1—Р. В частности, для Р = 0,95 и т—1 = 10 /=2,23.
Тогда
Л	£	А
Уэ - 2,23	< у < уэ 2,23
V т	У т
С точки зрения математической статистики исходные
л
оценки У}, далеко отстоящие от среднего значения уэ, мо-
гут считаться случайными.
Введем понятие противоречивости мнения эксперта k
обобщенному мнению всех экспертов. Допустим, что мне-
ние уь эксперта k является крайним среди мнений т эк-
спертов.
Действительное значение дисперсии D(z/) нам, как
л
правило, неизвестно, а известна лишь ее оценка D'(у), оп-
ределенная с помощью выражения
Л	1	" Л
i== 1
123
Анализ противоречивости мнения эксперта k прове-
дем с использованием оценки анормальности результатов
при неизвестной генеральной дисперсии, суть которого
заключается в следующем.
Сначала вычисляется вероятность того, что величина
Л
Уь. У3 превзойдет некоторый заданный максимум
(у)
<* = р(ук-у9>$Уп(у)}.	(20)
Если эта вероятность достаточно велика (например,
больше 0,05—0,10), то гипотеза об анормальности ук мо-
жет быть отброшена, в противном случае — принята.
В связи с этим «противоречивым» будем считать мнение
эксперта ук, при котором выполняется неравенство
Л 1Z Л
Ук-Уэ>$ V D(y)	(21)
с вероятностью, меньшей некоторого предела а'. Обыч-
но за а' принимают величину порядка 0,05 и менее.
Значения коэффициента ₽, удовлетворяющего усло-
вию (20), приведены в табл. 25.
Таблица 25
Значения коэффициента р
т	а			т	,а		
	0,10	0,05	0,01		0,10	0,05	0,01
3	1,15	1,15	1,15	15	2,25	2,41	2,70
4	1,42	1,46	1,49	16	2,28	2,44	2,75
5	1,60	1,67	1,75	17	2,31	2,48	2,78
6	1,73	1,82	1,94	18	2,34	2,50	2,82
7	1,83	1,94	2,10	19	2,36	2,53	2,85
8	1,91	2,03	2,22	20	2,38	2,56	2,88
9	1,98	2,11	2,32	21	2,41	2,58	2,91
10	2,04	2,18	2,41	22	- 2,43	2,60	2,94
И	2,09	2,23	2,48	23	2,45	2,62	2,96
12	2,13	2,28	2,55	24	2,47	2,64	2,99
13	2,18	2,33	2,61	25	2,49	2,66	3,01
14	2,21	2,37	2,66				
Выполнение неравенства (21) при условии а<а' яв-
ляется таким образом математическим признаком нали-
чия противоречивого мнения (мнений) среди данной
124
группы экспертов. Необходимо заметить, что этот при-
знак может быть использован только при нормальном
распределении мнений экспертов.
Табл. 25 составлена для случая, когда рассматривает-
ся вероятность а отклонения наибольшего значения то-
чечного прогноза от среднего значения (обобщенного
мнения экспертов). В силу симметрии распределения этой
таблицей можно пользоваться и для случая, когда рас-
сматривается вероятность а отклонения наименьшего
значения точечного прогноза от среднего значения.
В случае оценки вероятности а* наибольшего по мо-
дулю отклонения точечного* прогноза от среднего значе-
ния необходимо учитывать соотношение
а* = 2а.
(22)
При значениях т>25 значения а можно найти из
приближенного выражения
т — 1
(23)
где Ф — функция Лапласа.
Рассмотрим пример оценки противоречивости мнения
отдельного эксперта обобщенному мнению группы. До-
пустим, что в результате экспертного опроса (т=10) по-
лучены следующие значения точечных прогнозов буду-
щего значения некоторой технической характеристики:
У1 = 10; Уз = 8; Уз = 15; & = 11; уй = 13;
уй = 12; //- = 9; ys = 10; у9 = 8; у10 = 11.
Определим в соответствии с уравнением (15) точеч-
ный прогноз этой группы экспертов:
л _ 104-8+15+11 4- 13+12+9+10 + 8 + 11	7
Уз—	ю	— 1U,/.
Оценим на противоречивость мнение третьего экспер-
та: уз=15. В соответствии с уравнением (16) найдем
оценку дисперсии
л 1
D(//)= — (0,72 4-2,72 4-4,324- 0,32 4-2,32 -j- 1,32 +
4- 1,72 + 0,72 4- 2,72 + 0,32) = 4,9.
125
По табл. 25 для п= 10 и 0 =
15— 10,7
/О
= 1,94 находим
а>0,10. Следовательно, неравенство (21) выполняется
с вероятностью a>az = 0,05, и нет оснований считать мне-
ние третьего эксперта противоречивым.
Если крайний точечный прогноз оказался противоре-
чивым, то производится проверка следующего ближайше-
го к нему прогноза до тех пор, пока не будет показана не-
противоречивость.
Следует заметить, однако, что выполнение (или невы-
полнение) условия противоречивости может зависеть от
величины вероятности а'. Одно и то же мнение того или
иного эксперта оказывается противоречивым при одной
вероятности а' и непротиворечивым — при другой. По-
этому указанный признак в этом смысле является услов-
ным и должен дополняться логическим анализом, учи-
тывающим требования к точности прогноза, физические,
экономические и другие ограничения.
При обработке результатов экспертных опросов необ-
ходимо иметь в виду еще и следующее. Противоречивость
мнения эксперта может объясняться тем, что он лучше
других представляет себе развитие прогнозируемого про-
цесса в будущем и поэтому его мнение выпадает из обла-
сти, характеризующей мнение его коллег. Поэтому
к крайним оценкам таких опросов необходимо относить-
ся весьма внимательно, тщательно изучив доводы экспер-
тов в пользу своих оценок и познакомив с этим мнением
его коллег.
Таким образом, одна из возможных процедур оценки
результатов опроса экспертов, давших прогнозы у, (j =
= 1, 2,..., т) о будущем значении величины У, будет
следующей:
—	определяется обобщенное мнение группы (точеч-
ный прогноз) с помощью выражения (15);
—	определяются дисперсия и среднее квадратическое
отклонение мнений экспертов с помощью выражений (16)
и (17);
—	производится оценка противоречивости крайних
мнений с помощью логического анализа и неравенства
(21);
—	при непротиворечивых мнениях результаты опроса
оформляются в виде точечного (15) и интервального (19)
прогнозов;
— при противоречивых мнениях проводится второй
126
тур опроса (с обсуждением результатов и мнений перво-
го) в целях согласования мнений данной группы экспер-
тов (или при необходимости привлечения новых специа-
листов) .
Более удобной и наиболее охотно принимаемой
экспертами формой оценок является определение воз-
можных границ прогнозируемой величины. Если каждый
из т экспертов, участвующих в опросе, дает два (мини-
мальное z/jmm и максимальное z/j max) значения, между
которыми, по его мнению, будет находиться будущее зна-
чение прогнозируемой величины, то обработка результа-
тов опроса может быть проведена следующим образом.
Прежде всего необходимо задать закон распределе-
ния прогнозируемой величины между крайними оценка-
ми каждого эксперта. В частности, в качестве такого ап-
риорного закона распределения может быть выбран за-
кон равномерной плотности:
/(*//) =  --------- при yj max	Уj У] mln»
yj max У/ min
f(yj)=O во всех остальных случаях. При этом среднее
значение (точечный прогноз), даваемое экспертом j, оп-
ределяется по формуле
Л ।
У} ~2~ (У/ max "f~ У] min)*	(24)
Точечный прогноз всей группы (при одинаковом до-
верии к каждому из экспертов) согласно формуле (15)
будет
Л 1	” л
уэ=—2 у г	<25>
т
i=i
Разброс точечных прогнозов отдельных экспертов от-
Л
носительно уэ находится из выражения
л	1 л л
= (26>
/=1
а коэффициент вариации, характеризующий единодушие
экспертов по точечным прогнозам, — по формуле (18).
Кроме рассмотренных видов оценок, даваемых экспер-
тами при прогнозировании, может иметь место также
случай (хотя и значительно реже), когда даются три
оценки:
127
— максимальное значение прогнозируемой величины
Уз max!
—	минимальное значение этой величины yj тщ;
—	наиболее вероятное ее значение z/jmod.
В этом случае в качестве распределения оценок, каж-
дого эксперта может быть использована, например, раз-
новидность (3-распределения.
Задача при этом по-прежнему заключается в опреде-
лении среднего значения и дисперсии, характеризующих
мнение каждого эксперта, и нахождении обобщенного
мнения групп с использованием зависимостей (15), (16)
и (19). Область будущего значения прогнозируемой вели-
чины, как и в предыдущем случае, определяется из выра-
жения (19). Математическая оценка противоречивости
точечного прогноза какого-либо эксперта обобщенному
мнению может быть также дана описанным выше спосо-
бом с использованием выражений (20) — (23).
При исследовании экономических проблем очень ча-
сто оказывается необходимым выявить взаимосвязь меж-
ду признаками (объектами, свойствами, факторами), ко-
торая в отличие от функциональной (когда определенно-
му значению одного признака соответствует определен-
ное одно или несколько значений другого признака) со-
стоит в том, что в зависимости от изменений одного из
них меняется средняя величина других признаков. Такие
корреляционные зависимости устанавливаются не толь-
ко для точно измеримых признаков, но и в тех случаях,
когда признаки качественные и могут быть лишь упоря-
дочены. Понятно, что в принципе критерии связи между
величинами, оцениваемыми по порядковым шкалам, ме-
нее эффективны.'Однако в ситуациях, когда по тем или
иным соображениям желательно избежать каких-либо
предположений относительно типа распределения или па-
раметров исследуемой совокупности, методами установ-
ления корреляционной зависимости удобно пользоваться
и для оценки связей между количественными признака-
ми. Далее будут показаны некоторые методы р а н-
говой корреляции, которые используются для
проверки согласованности оценок, полученных от экс-
пертов.
В общем случае если имеется ряд объектов, ранжиро-
ванных по двум различным признакам, ранги могут слу-
жить некоторым показателем тесноты связи между этими
двумя признаками.
Пусть п объектов ранжированы дважды в соответст-
128
вии с изменением их свойств X и Y. В результате полу-
чим два упорядоченных ряда:
хъ х2, хп;
У1, Уг>  Уп-
Обязательным условием применения методов ранго-
 вой корреляции к ранжированным данным является ра-
венство числа рангов числу оцениваемых объектов. Это
означает, что сумма рангов такого ряда должна быть
равна:
" 1
2х' = 2 п(п+
1
где п — число факторов. В случаях когда по тем или
иным причинам число оценок, полученных от экспертов,
меньше числа оцениваемых факторов, необходимо рас-
считывать стандартизированные ранги.
Пусть связь между рангами Xi и х, определяется как
ац, а между рангами z/i и у, — как Ьц.
Величина a,j определяется следующим образом:
atj = 0, если xt — xf,
al} — 4- 1, если X; < ху;
ai} = — 1, если xt > Xj.
Аналогично '
&у = 0, если у^ур
+ если yi<yj,
bij = — 1, если yi>y}.
Тогда
Л	1	* **
- IX:	— D, i<y,
(=1
/=1
«	1
1<!
1=1
7=1
и формула для вычисления коэффициента ранго-
вой корреляции (по Кендаллу) будет [28]:
5-78
129
2 a‘jbij
т = -Ь12±>-------
—
2S
n(n— 1)
(27)
где 5 — алгебраическая сумма числа высших рангов по
отношению к каждому низшему рангу (взятому последо-
вательно как значение у и сопоставленному с рядом зна-
чений х в восходящем или нисходящем порядке), исчис-
ляемая по формуле
п т
^22** 
/=1 ;=1
Рассчитав коэффициент ранговой корреляции т, мож-
но оценить значимость обнаруженной зависимости.
Принцип проверки значимости основан на том, что
рассматривается ранжирование по одному из признаков,
например X, и считается, что ранжирование по другому
признаку Y сведено к натуральному ряду чисел.
Если в ряду X не существует связи между признака-
ми, то все перестановки номеров по признаку Y будут
равновероятными. Тогда можно последовательно испы-
тать все перестановки, для каждой из них вычислить S
и расположить данные о частоте различных полученных
значений S в виде статистического распределения.
Таким образом, задача оценки значимости коэффици-
ента ранговой корреляции состоит в том, чтобы, зная ко-
эффициент связи между признаками X и Y для выборки
из п объектов, сделать заключение о наличии такой связи
между X и Y для генеральной совокупности объемом N,
которой принадлежит данная выборка.
При наличии равновероятности всех возможных упо-
рядочений по признаку и! можно для каждого варианта
упорядочения вычислить все возможные значения S
(или т) и найти возможные распределения частот их по-
явления. Так, для п = 4 распределение частот для S будет
следующим:
О 2
4
S -6 —4 —2
/13	5
Исследования распределения частот f по S для коэф-
фициента т при больших п показывают, что:
— распределение всегда симметрично;
130
—	частота f монотонно убывает от максимума для
5 = 0 (5=1) до единицы для S=± -±-п (п— 1);
—	с увеличением п распределение частот стремится к
1 — А
нормальной кривой F(x) = ——е	со среднеквадра-
<7]/2тс __________________
тическим отклонением о =	\/ —-п(п—1)(2п+5).
У 18
Для п>10 нормальная кривая достаточно точно аппрок-
симирует распределение частот.
Это свдйство приближения распределения частот
к нормальной кривой дает возможность использовать
нормальный закон для оценки значимости коэффициента
ранговой корреляции.
Отсюда, приняв в качестве пренебрежимого уровня
вероятности а, можно, используя полученное распределе-
ние, найти доверительный интервал, на котором (с веро-
ятностью 1 — а) располагаются незначимые значения S.
Например, используя вышеприведенные данные для
п = 4 и задавшись пренебрежимо малым уровнем веро-
ятности а=10%, можно установить, что все значения S,
заключенные в промежутке между —4 и +4, указывают
на незначимость исследуемой совокупности.
В общем случае может быть принят следующий кри-
терий: если наблюдаемая величйна S принимает значе-
ние So, такое, что случайное появление величины So или
большей маловероятно, то гипотеза о независимости при-
знаков отвергается, т. е. если P{|S| ^S0}<P0, то полу-
ченный коэффициент т считается значимым. Величиной
7% задаются как уровнем значимости (обычно прини-
мается 5%-ный уровень значимости, т. е. Ро = О,О5)
и сравнивают вычисленное значение S с табличным для
данного уровня значимости Pq.
Если п< 10, то отклонением распределения частот от
нормального пренебрегать нельзя. Имеется специальная
таблица распределения частот, подсчитанных Кендаллом
для каждого п<10 [29] (табл. Ш приложения).
Теперь рассмотрим пример использования коэффи-
циента ранговой корреляции Кендалла. Пусть два эк-
сперта оценили квалификацию десяти научных работни-
ков по десятибалльной шкале (табл. 26). Рассчитаем
коэффициент корреляции по формуле (27). Величина S
определена как сумма оценок, принимаемых за ( + 1)
5*
131
и (—1) и найденных путем сравнения yt со всеми после-
дующими yi. При этом число пар, следующих в прямом
порядке, обозначается (+1), а число пар, следующих в
обратном порядке, через (—1).
Таблица 26
Данные для расчета т
Научный работник	Ранг эксперта		
	первого	Ui)	второго
А	1		3
Б	2		4
в 	3		1
Г	4		2
Д	5		8
Е	6		5
Ж	7		10
3	8		6
И	9		9
к	10		7
Так, в данном примере для «л = 3 имеются два после-
дующих ранга в обратном порядке и семь последующих
рангов в прямом порядке. Для г/г = 4 имеются два после-
дующих ранга в обратном порядке и шесть рангов в пря-
мом порядке и т. д.
Отсюда
2S
п(п — 1)
1123 = 0,511.
10-9
По табл. Ш приложения устанавливаем, что
Р(S>23) =0,023 и Р(S>25) =0,014.' Корреляция рангов
двух экспертов оказывается несущественной при уровне
значимости 0,01 и значимой при уровне 0,05.
Существует и другой метод расчета коэффициен-
та ранговой корреляции q, предложенный
Спирмэном. Этот коэффициент вычисляется проще
и быстрее, чем т. Часто бывает необходимо быстро при-
кидочно оценить связь между переменными. Тогда связь
между рангами двух упорядоченных рядов свойств X и У
можно оценить с помощью коэффициентов ац = х,—Хг
и Ьц=у}—yi, где Xi и yi — ранги признаков X и У для
/-го объекта.
Тогда формула для нахождения коэффициента ранго-
132
вой корреляции q может быть выведена из формулы ли-
нейного коэффициента корреляции:
б 2 И/-J/,)2	6IX
Р = 1----------------= 1------,	(28)
п(п2 — 1)	п(п2— 1)
где d — разности между рангами данной пары сопостав-
ляемых рядов; п— число сопоставляемых пар.
Величина Q может принимать значения в диапазоне
от —1,0 до + 1,0; в случае наименьшей зависимости меж-
ду двумя рядами эта величина равна 0.
Пусть, например, два эксперта приписали двенадцати
вариантам капиталовложений ранги, показанные в гра-
фах 2 и 3 табл. 27. Проверим с помощью коэффициента
ранговой корреляции Спирмэна, как согласуются оценки
экспертов.
Таблица 27
Пример расчета d2
Вариант	Ранг эксперта		d.	а2
	первого	второго ад		
1	2	3	4	5
Л	7	6	1	1
Б	3	4	4	16
В	2	1	1	1
Г	1	3	—2	4
Д	9	11	—2	4
Е	3	2	1	1
Ж	12	12	0	0
3	11	10	1	1
И	4	5	1	1
К	10	9	-1	1
л	6	7	— 1	1
м	5	8	—3	9
*			Итого	40
В колонках 4 и 5 табл. 27 представлены разности ран-
гов и рассчитанное значение d2. В соответствии с форму-
лой (28) коэффициент ранговой корреляции для данного
примера будет
р = 1 _ -..6-40— = 1 _	= + 0,86.
12(144—1)	143
133
Откуда можно судить, что между рядами оценок, полу-
ченных от двух экспертов, существует достаточно тесная
связь. При п'^10 используются специальные таблицы
для S(tf2) (табл. П2 приложения).
Распределение частот для коэффициента Q при боль-
ших величинах стремится к нормальному со среднеквад-
ратическим отклонением
Мощность критерия р несколько выше, чем крите-
рия т, т. е. вероятность отвергнуть гипотезу о независи-
мости, когда признаки являются действительно зависи-
мыми, при использовании коэффициента q выше, мем при
использовании т. Однако с помощью q нельзя измерить
частные корреляции для отдельных членов ряда, и если
к ранжированному ряду нужно присоединить какой-ни-
будь добавочный член, то т легче заново пересчитать,
чем р.
Принимая во внимание тот факт, что между т и р су-
ществует простое приближенное соотношение q~ —’
можно для предварительной оценки связи рассчитать о,
а затем перейти к расчету т. Используя приведенное вы-
ше соотношение для перехода от р к т, можно вычислить
коэффициенты частной корреляции по формулам для т
на основе полученных значений р.
Если количество оценок не слишком велико, то р мож-
но использовать для предварительной оценки существую-
щей связи не только между качественными, но и между
количественными признаками.
Таким образом, расчет коэффициентов корреляции
рангов может быть рекомендован как способ оценки
взаимоотношений между каким-либо фактором и резуль-
тативным признаком во всех случаях, когда признаки по
практическим или теоретическим соображениям не могут
быть измерены точно, но могут быть упорядочены. По-
скольку для такого упорядочения широко используются
экспертные оценки, коэффициенты ранговой корреляции
можно применять для анализа связи между рядами
этих оценок по двум признакам. Более подробное описа-
ние методов ранговой корреляции дано в работах [28, 29].
В практике экспертных оценок, однако, часто прихо-
дится сопоставлять много признаков. В таких случаях
134
попарное сравнение комбинации признаков может ока-
заться чрезвычайно утомительным, особенно когда число
признаков велико. Ввиду этого были разработаны специ-
альные критерии, позволяющие относительно просто оце-
нить согласованность оценок экспертов по ряду призна-
ков.
4.2. КОНКОРДАЦИЯ.
При анализе оценок, полученных от экспертов,
часто возникает необходимость выявить конкордацию —
согласованность их мнений по нескольким объектам
(факторам), оказывающим влияние на один конечный ре-
зультат (качество).
Пусть имеется ряд объектов (факторов) 1, 2,..., п,,
в разной степени обладающих одним и тем же качест-'
вом X и проранжированных в отношении этого качест-
ва т экспертами.
Результаты такого ранжирования можно представить
в виде матрицы, показанной в табл. 28.
Таблица 28
Матрица взаимосвязей
Эксперт	Фактор					
	1	2		i		п
1		Х12		хи		Xi п
2	*21	Х22		X2i		X2n
						
i	ХЦ	Xj2		Xji		Xfn
						
т	Хт i	Хт2		Xmi		Xm n
Используя методы парного сравнения, можно было бы
найти ранговую корреляцию между оценками каждой
пары экспертов, однако при большом числе экспертов
такой расчет становится чрезвычайно трудоемким. По-
этому в этих случаях согласованность мнений (согласие)
экспертов оценивается с помощью коэффициента
135
конкордации W, т. е. общего коэффициента ранго-
вой корреляции для группы, состоящей из т экспер-
тов [28].
Для расчета значения коэффициента конкордации
сначала находится сумма оценок (рангов) по каждому
фактору, полученная от всех экспертов 2 х<3-, а затем—•
7=1
разность между этой суммой и средней суммой рангов по
формуле
где
п т
2 2 аи
Т =	17=:1
п
Здесь ац — среднее значение для суммарных рангов ряда
а,7 =----------------------Г-т(п+1).
Далее рассчитывается сумма квадратов разностей
(отклонений) S по формуле
пт	^2
3=2т7-у/п(«+1) •	(29)
t=l U=1	)
Очевидно, что величина S имеет максимальное значе-
ние в случае, когда все эксперты дают одинаковые оцен-
ки. Можно показать, что суммарное квадратическое от-
клонение от их среднего значения для суммарных рангов
факторов при наилучшей согласованности будет иметь
ВИД Smax=~-nm^ (п2—1).
Исходя из этого коэффициент конкордации W рас-
сматривается как отношение фактически полученной ве-
личины S к ее максимальному значению для данной
группы экспертов т и числа факторов п, т. е.
Smax	р
Ясно, что этот коэффициент может меняться от 0 до 1,
причем его равенство единице означает, что все эксперты
дали одинаковые оценки по данному признаку X, а равен-
136
ство нулю означает, что связи между оценками, получен-
ными от разных экспертов, не существует. Коэффициент
конкордации чаще рассчитыг'Т-Ш'.е/.о формуле, предло-
женной Кендаллом:
В случаях когда какой-либо эксперт не может устано-
вить ранговое различие между несколькими смежными
факторами и присваивает им одинаковые ранги, расчет
коэффициента конкордации производится по формуле
№ =--------.---1,	(31)
-jy т‘(п1 — п)—i
где
(32)
a tj — число одинаковых рангов в /-м ряду.
Можно рассчитать распределение частот коэффициен-
та W для (n!)m возможных сочетаний оценок объектов
в предположении, что между экспертами не существует
согласия относительно ранжирования объектов по опре-
деленному признаку.
Для некоторых малых значений п распределение
частот приведено в табл. ПЗ приложения [26].
В числовом примере, показанном в § 2.2, в правом
столбце табл. 7 были даны значения коэффициента со-
гласия (конкордации) полученные при решении про-
блем построения систем автоматического управления. Ве-
личина Р>0,99, показанная в этом же столбце таблицы,
рассчитанная по критерию х2, означает: с вероятностью
более 99% можно утверждать, что существует опреде-
ленная согласованность экспертов относительно факто-
ров, оцениваемая рассчитанным коэффициентом конкор-
дации. При малом числе п можно пользоваться табл. Г14
приложения.
Рассмотрим конкретный пример расчета коэффициен-
та конкордации W [30]. Пяти экспертам было предложено
проранжировать семь факторов, влияющих на химиче-
ский процесс. Результаты опроса представлены в табли-
це, цифры в которой характеризуют место, отведенное
данному фактору в ранжированном ряду. В рассматри-
137
ваемом примере значение коэффициента конкордации
было равно 0,526; этот коэффициент оказался значимым
для уровня значимосГ5т-*0,о1 (99%), т. е. можно было ут-
верждать, что существует неслучайная согласованность
в мнениях экспертов (табл. 29).
Таблица 29
К расчету коэффициента конкордации
Эксперт	Фактор						
	Xi	х2	*3	х4	*5		
1	1	2	6	4	7	3	5
2	1	2	7	6	3	5	4
з	7	1	6	4	2	5	3
4	3	1	5	6	4	7	2
5	1	2	6	4	5	7	3
Сумма рангов Отклонения	от средней суммы	13	8	30	24	21	27	17
рангов Квадраты откло-	—7	— 12	10	4	1	7	—3
нений	49	144	100	16	1	49	9
Для того чтобы убедиться, что убывание не носит слу-
чайный характер, можно использовать критерий %2 для
проверки гипотезы о неравномерности распределения
против альтернативы о равномерности. Величина
mW(n—1) имеет ^-распределение с v = n—1 степенями
свободы. В случае совпадения некоторых рангов ^-рас-
пределение будет
X2 = ----------5	. 	(33)
(=1
Для оценки значимости коэффициента конкордации
необходимо и достаточно, чтобы найденное
Х2оо=(п—l)mW было больше табличного %2, определяе-
мого числом степеней свободы v и уровнем доверитель-
ной вероятности Р. Как правило, доверительная вероят-
ность в таких случаях принимается равной 0,95—0,99.
В ситуациях, когда оценивается большое число фак-
торов, кроме оценки общего согласия экспертов по всем
факторам, полезно оценить степень согласованности по
138
каждому фактору в отдельности. С этой целью может
быть применен критерий х2 для оценки нуль-гипотезы
о равномерном ранжировании. Использование этого мето-
да позволяет выявить, например, факторы, наиболее важ-
ные с точки зрения экспертов.
Интересно сопоставить данные, получаемые при ана-
лизе согласованности с помощью коэффициентов вариа-
ции и конкордации. Для примера проанализируем согла-
сованность экспертов с помощью коэффициентов конкор-
дации при оценке характеристик прогнозирования по
данным опроса десяти экспертов о весах пяти характе-
ристик прогнозирования [31] (табл. 30).
Таблица 30
Веса характеристик cp(i) прогнозирования
по данным опроса экспертов
	Характеристика				
Эксперт	h '		*3		ь
1	1,00	0,98	0,95	0,88	0,65
2	0,75	0,80	0,90	0,50	0,40
3	0,99	0,98	0,95	0,88	0,63
4	0,97	0,95	0,94	0,80	0,61
5	1,00	1,00	0,50	0,75	0,30
6	0,95	0,95	0,75	0,50	0,30
7	1,00	1,00	0,75	0,50	0,25
8	0,95	1,00	1,00	0,75	0,50
9	0,94	0,83	0,80	0,78	0,60
10	1,00	1,00	0,75	0,50	0,25
ф(0	0,96	0,95	0,83	0,68	0,45
Относительный средний (норми- рованный) вес	0,248	0,246	0,214	0,176	0,116
Абсолютные и относительные веса характеристик
устанавливаются в результате" определения места, зани-
маемого каждой характеристикой в соответствующей
ранжированной последовательности. Абсолютные веса
ф(0)> ф(«2), • • • , ф(г'п) изменяются от единицы до нуля,
т. е. 0<<р (i) 1, а относительные веса нормируются
в долях единицы, т. е.
139
<Ро (/) --
<?(')
Значения нормированных весов, приведенные в нижней
строке таблицы, позволяют ранжировать характеристики
так, как показано в табл. 30: <p(«i) — ранг 1,..., <р(t’s) —
ранг 5. Однако представляет несомненный интерес выяс-
нение вопроса о степени согласованности мнений экспер-
тов в пределах каждой характеристики и по табл. 30
в целом. Для этого, следует оценить несколько статисти-
ческих показателей. В частности:
а)	дисперсию оценок экспертов по первой характери-
стике
02 =	--------------=0,00521;
т— 1
б)	среднеквадратическое отклонение оценок экспер-
тов по первой характеристике
1 / У (?(й)й—?(Л)12
0/1 = |/ t=l_______________0,0722;
Г	т— 1
в)	вариацию оценок экспертов для первой характери-
стики
. ЮО = °’0722'	= 7,5%.
<f(‘i)	0>96
Аналогичным образом подсчитывались дисперсия,
среднеквадратическое отклонение и вариация оценок
экспертов для остальных характеристик. Результаты
подсчетов сведены в табл. 31.
Как видно из табл. 31, согласованность мнений
* экспертов колеблется в больших пределах. Удовлетвори-
тельные результаты получились по первым двум харак-
теристикам (коэффициент вариации соответственно 7,5%,
5,6%), Неудовлетворительные результаты дали осталь-
ные три характеристики. Казалось бы, значительные ко-
эффициенты вариации являются основанием для органи-
зации повторных туров опросов по этим характеристи-
кам. Однако окончательные выводы следует дел'ать
после определения величин показателей согласованности
140
'	Таблица 31
Оценки согласованности мнений экспертов
о весах характеристик
Показатель согла- сованности мнений экспертов	Характеристика				
	Л	12	h		*5
	Нормированный вес				
	№1 = 0,96 ।	ф(/а)=0,95	<№1=0,83	Ф(ц)-0,68	<р(<5)==0,45
Дисперсия (о2) Средне-квадра- тическое	от- клонение (а) Коэффициент вариации V, % Сумма	рангов (S) Отклонение сум- мы рангов от среднеарифме- тического значе- ния Показатель свя- занных рангов (Л) Коэффициент кон- кордации (основ- ной показатель) (IV) Табличное значе- ние %2 (при а= =5% и v=n— -1=5) Фактическое зна- чение х2ф	0,00521 0,0722 7,5 40 5,5 66 0,229 0,71 9,65	0,00287 0,0536 5,6 34,5 0,0 72 0,229 0,71 9,65	0,01977 0,445 53,3 36,5 2,0 30 0,229 0,71 9,65	0,02068 0,455 67,0 22,5 — 12,0 72 0,229 0,71 9,65	0,024 0,489 108,8 38 3,5 12 0,229 0,71 9,65
по всей совокупности характеристик. Для этой цели опре-
делялся коэффициент конкордации.
В соответствии с полученными данными коэффициент
конкордации для всей совокупности характеристик
(п = 5) 1^=0,229. Таким образом, коэффициент конкорда-
ции располагается в области положительных значений,
отличных от нуля. Это свидетельствует о наличии согла-
сованности мнений экспертов, несмотря на существенные
вариации в трех последних характеристиках. Если за-
даться уровнем значимости в 5%, то при числе степеней
свободы v — n—1=4 табличное значение % равно 0,71.
Фактическое значение
141
2	2289
хФ2 =--------------------j-------
10.5(5.’+ 1)- ;----252
5 — 1
— = 9,65
237
Фактическое значение %ф2 существенно больше таб-
личного; т. е. %ф2>0,71, что подтверждает достаточную
согласованность мнений экспертов по всей совокупности
рассматриваемых характеристик.
Методы расчета коэффициента конкордации, пока-
занные выше, были применены к ранжированным рядам
оценок, полученных от экспертов. Вместе с тем необхо-
димость в определении степени согласованности экспер-
тов может возникнуть и при использовании метода пар-
ных сравнений.
Как было показано ранее, при необходимости парных
сравнений составляется матрица предпочтений, в которой
числа pij показывают, сколько раз объект (фактор) i
был предпочтительнее объекта / по мнению т экспертов.
В результате проведения Сп2 таких сравнений отдается
предпочтение каким-то-у Сп2 факторам по сравнению
с остальными -Сп2 факторами. Форма такой матрицы
дана в табл. 13.
Очевидно, что при полном согласии т экспертов Сп2
ячеек матрицы будут содержать число Q = m, а в осталь-
ных ячейках будут нули. При минимальном согласии
каждая ячейка будет содержать q = — т> если число
экспертов четное, и q= -у (т±1), если оно нечетное.
Исходя из этого коэффициент согласия при парном
сравнении v может быть определен из отношения
Q
v =-----,
Qmax
где
(=1
а
~ т(т — V)n(n — 1)
х max	.	•
142
Следовательно,
(34)
Наименьшее значение коэффициента согласия при
парном сравнении, если т — нечетное число,
т — 2
v =-------.
2(т — 1)
При т = 2 коэффициент о меняется в пределах от 0 до 1.
Практические вычисления при использовании форму-
лы (34) чрезвычайно трудоемки. Поэтому обычно расче-
ты производятся по преобразованной следующей форму-
ле, которую можно использовать, когда суммирование ве-
дется не по всем ячейкам матрицы, а только по ячейкам,
лежащим выше или ниже главной диагонали матрицы:
+С^.	(35)
И	Ч
Рассмотрим следующий пример [29]. Пусть 10 экспер- ,
тов произвели парные сравнения пяти факторов по како-
му-либо признаку А. Результаты суммирования предпоч-
тений показаны в табл, 32, в ячейках которой записан'о
число, равное количеству предпочтений каждого из пяти
сравниваемых факторов другому, полученному от всех
экспертов, и подсчитаны суммы.
Таблица 32
Пример парных сравнений
Факторы	1	2	3	4	5	Суммы
1			10	7	6	1	24
2	0	—	3	5	2	10
3	3	7	—	8	3	21
4	4	5	2	—	2	13
5	9	8	7	8	—	32
Суммы	16	30	19	27	8	100 .
Рассчитаем коэффициент согласия о для данных,
представленных в табл. 32, по формуле (35). Чтобы уско-
рить вычисления, можно преобразовать таблицу так, что-
143
бы факторы были расположены в порядке убывания
сумм по строке (или возрастания сумм по столбцу). Ре-
зультаты такого преобразования даны в табл. 33.
Таблица 33
Преобразование факторов
-	Факторы	5	1	3	4	2
	5			9	7	8	8
	1	1	—	7	6	10
	3	3	3		8	7
	4	2	4	2		5
	2	2	0	3	5	—
Так как числа, лежащие ниже главной диагонали,
меньше, то имеет смысл производить суммирование по
нижней половине таблицы.
Рассчитаем Q по формуле (35): Q = 81—10-25+45Х
X 10 = 281. Тогда коэффициент согласия
v =--------= 0,624.
т(т—1)п(п — 1)	90*20
Определение групп, внутри которых согласованность
мнений высока, а также выявление экспертов, имеющих
точку зрения, отличающуюся от мнения большинства, яв-
ляется важным моментом методики анализа экспертных
данных. На последующих этанах экспертизы это позво-
ляет или усилить позицию большинства экспертов, или
присоединиться к группе экспертов, давших оценки, рез-
ко отличающиеся от позиции большинства.
Небольшое значение коэффициента конкордации яв-
ляется обычно следствием того, что в рассматриваемой
совокупности экспертов: 1) отсутствует общность мне-
ний; 2) существуют группы с высокой согласованностью
мнений, однако обобщенные мнения таких групп проти-
воположны.
Для выявления групп экспертов, внутри которых со-
гласованность мнений высока, можно использовать сле-
дующий подход. Одного эксперта исключают из совокуп-
ности и подсчитывают коэффициент конкордации для
оставшихся. Если его значение оказалось больше, чем W
для полной совокупности экспертов, то данный эксперт
исключается из совокупности и, наоборот, если его зна-
чение оказалось меньше, чем W, то данный эксперт
остается в совокупности. Такие расчеты проводятся по-
144
следовательно для каждого эксперта, в результате чего
степень согласованности мнений экспертов, оставшихся
в совокупности, повышается (см., например, приложе-
ние 2).
Пусть эксперты оценили относительную важность
развития нескольких направлений исследований и разра-
боток. Наглядное представление о степени согласованно-
сти мнений каждого эксперта со всеми остальными может
дать многоугольник, вершина которого соответствует оп-
ределенному эксперту, а линии, соединяющие одну вер-
шину с остальными, — коэффициентам парной ранговой
корреляции (рис. 12) [32].
Рис. 12. Многоугольник коэффициентов
парной ранговой корреляции: сплошные ли-
нии— Q 5» +0,75, штриховые — Q —0,75
Коэффициент парной ранговой корреляции между
оценками двух любых экспертов а и ₽ определяется по
формуле
2 ъ2
Ро₽ = 1 --j---------------------,	(36)
Т(п3-п)_-(7’а + 7’р)
где — разность (по модулю) величин рангов оценок
145
направления исследований /, назначенных экспертами а
и Р:
Ф/ = I R«j - I ;
Та и Т&— показатели связанных рангов оценок эк-
спертов аир.
Коэффициент парной ранговой корреляции может
принимать значения —1 Qa₽^ + 1. Значение раз= + 1
соответствует полному совпадению оценок в рангах двух
экспертов (полная согласованность мнений двух экспер-
тов). Значение ра₽ =— 1 соответствует двум взаимно про-
тивоположным ранжировкам важности направлений ис-
следований (мнение одного эксперта противоположно
мнению другого).
С помощью описанного многоугольника коэффициен-
тов парной ранговой корреляции представляется воз-
можным выявить экспертов, имеющих оригинальные
суждения по проблеме. Вершина многоугольника, соот-
ветствующая эксперту, имеющему оригинальное сужде-
ние, будет связана с другими вершинами лишь линиями,
изображающими отрицательные коэффициенты парной
ранговой корреляции, что свидетельствует об отсутствии
единомышленников у этого эксперта.
Выявление экспертов, имеющих оригинальные сужде-
ния о проблеме, представляет значительный интерес, так
как в истории научно-технического прогресса известно
немало случаев, когда будущее развитие шло в соответ-
ствии с суждениями, отличающимися от мнения большин*-
ства специалистов. Многоугольник позволяет также оп-
ределить подгруппы экспертов, внутри которых согласо-
ванность мнений высока, в то время как между самими
подгруппами существует большая рассогласованность.
При построении многоугольника коэффициентов пар-
ной ранговой корреляции для удобства анализа целесооб-
m (m— 1)	, ,
разно изображать на нем не все ----%--- коэффициен-
ты парной ранговой корреляции, а лишь те из них, кото-
рые превышают (по модулю) некоторый уровень.
Так, на рис. 12 показан многоугольник коэффициентов
парной ранговой корреляции на уровне | ga₽ |	0,75, ото-
бражающий взаимную согласованность мнений каждой
пары экспертов по вопросу относительной важности раз-
вития различных направлений исследований и разрабо-
ток с точки зрения достижения общей цели. Анализ мно-
гоугольника указывает на наличие экспертов (5 и 14),
146
имеющих оригинальные мнения (из вершин, соответст-
вующих экспертам 5 и 14, исходят линии с р<0).
Следует отметить, что отсутствие согласованности
мнений (коэффициент конкордации 1F=O) является необ-
ходимым, по недостаточным условием того, что внутри
рассматриваемой совокупности экспертов нет групп, ха-
рактеризующихся высокой согласованностью мнений.
Как указывалось выше, коэффициент конкордации мо-
жет оказаться равным пулю для совокупности, которая
состоит из двух подгрупп экспертов, равных но числен-
ности, причем имеется полная согласованность мнений
внутри каждой подгруппы (1F=1), однако мнение одной
подгруппы противоположно мнению другой. Реализация
такого предельного (в смысле значения W) случая на
практике маловероятна, по анализ подобных ситуаций
при значениях, близких к предельным (что на практике
встречается весьма часто), представляет значительный
интерес с точки зрения выявления групп единомышлен-
ников и возможных альтернативных путей дальнейшего .
развития прогнозируемой отрасли.
Для анализа подобных ситуаций предложен следую-
щий подход. Пусть т Зкспертов оценили относительную
важность развития п различных направлений исследова-
ний с точки зрения достижения определенной цели. Мне-
ние каждого эксперта можно представить в виде м-мер-
пого вектора или точки в «-мерном пространстве, так что
каждому эксперту будет соответствовать одна из т то-
чек в «-мерном пространстве. Каждая из координат
любой точки соответствует оценке, данной определенным
экспертом некоторому направлению исследований. Все т
точек будут расположены внутри «-мерного куба, длина
ребра которого ограничена областью возможных значе-
ний оценок направлений исследований. Если среди груп-
пы из т экспертов существуют подгруппы, внутри каж-
дой из которых согласованность мнений высока, а пред-
ставители различных групп придерживаются противопо-
• ложных или значительно отличающихся друг от друга
мнений, то распределение точек внутри «-мерного куба
окажется неравномерным. Каждой группе будет соответ-
ствовать более или менее компактная совокупность то-
чек.
В работе [32] вводится понятие «степени компактно-
сти» совокупности точек. Степень компактности SK опре-
деляется как величина, прямо пропорциональная количе-
ствуточек в компактной совокупности и обратно пропор-
147
циональная сумме расстояния между всеми парами точек
компактной совокупности:
SK =	. (37)
Мк			,
Z'i 
1=1
где SK — степень компактности; тк— количество точек
в компактной совокупности; Л4К— количество различных
пар точек в компактной совокупности:
м — т(тк— 1) .
/у — евклидово расстояние в /г-мерном пространстве
между точками пары г:
g, h — точки, составляющие /-ю пару; /= 1, 2,,.., п;
п — количество направлений исследования; Xjg — j-я ко-
ордината точки g; х/1 — координата / точки h.
В изложенном представлении задача поиска высоко-
согласованных (компактных) групп экспертов аналогич-
на задаче машинного распознавания образов в случае
обучения без поощрений. В данной задаче под образом
понимается некоторая компактная совокупность точек,
характеризующаяся определенным значением степени
компактности SK. В настоящее время неизвестен алго-
ритм выделения компактных групп точек в общем случае.
Однако в частном случае, когда расстояние между двумя
компактными группами достаточно велико (т. е. рас-
стояние между двумя ближайшими точками, принадле-
жащими разным группам, много больше расстояния меж-
ду двумя максимально удаленными друг от друга точка-
ми одной и той же группы), такой алгоритм может быть
указан.
Сущность алгоритма такова. Выбирается одна из то-
чек, принадлежащих той или иной компактной группе.
Находится точка, минимально удаленная от выбранной,
и ей приписывается число, равное расстоянию между
этими точками. Находится третья точка, минимально уда-
ленная от группы, образованной первой и второй точка-
ми, и ей приписывается число, равное расстоянию от нее
до первых двух точек, и т. д. Выполняя это, сначала полу-
чают точки, относящиеся к той компактной совокупности,
148
что и первая точка. Затем переходят к точкам другой
компактной группы, и при этом число, приписанное пер-
вой точке второй группы, оказывается существенно боль-
шим, чем предыдущие числа. Появление такого числа
указывает на то, что предшествующие точки относятся
к одной компактной группе, а все последующие — к дру-
гой. Степень согласованности мнений группы экспертов
каждой компактной совокупности можно определить при
помощи как коэффициента конкордации W, так и степе-
ни компактности SK, а степень расхождения мнений двух
групп — как расстояние между «центрами тяжести» соот- '
ветствующих компактных совокупностей точек.
Необходимость анализа однородности коллектива
экспертов связана с конечной целью экспертного опро-
са — формированием группового заключения на основе
совокупности индивидуальных оценок. Анализу под-
лежит характер распределения экспертов в многомерном
пространстве признаков (факторов). Каждый эксперт
в этом пространстве может быть представлен точкой
с координатами, соответствующими его оценкам инфор-
мативности признаков. Выделение скоплений точек-эк-
спертов в этом пространстве означает группировку эк-
спертов по «поведению» (по близости в оценках инфор-
мативности отдельных признаков).
Результаты такой таксономии с той или иной степенью
точности можно свести к одной из следующих ситуаций
[26]:
1.	Ответы большинства экспертов образуют компакт-
ную группу,причем состав группы остается стабильным
при различных разбиениях. Отдельные эксперты с резко
различающимися мнениями образуют единичные или ма-
лочисленные таксоны, которые выделяются на первых '
шагах многомерной классификации.
2.	В процессе разбиений, помимо единичных таксонов,
формируется несколько стабильных, четко выделяющих-
ся групп.
3.	Точки-отсчеты приблизительно равномерно рас- у
сеяны в пространстве признаков, на разных шагах раз-
биения образуются нестабильные группы.
Первая ситуация свидетельствует о том, что имеется
хорошая согласованность ответов большинства экспер-
тов. Выделенная однородная группа ответов может при-
ниматься за эталон, на основе которого производится
упорядочение признаков в соответствии с коллективным
мнением. Появление второй ситуации позволяет выдви-
149
нуть гипотезу о неоднородности коллектива экспертов',
у ТВ этом случае задача заключается в выявлении набора
I характеристик экспертов, обусловливающих эту неодно-
родность, и в построении упорядоченной последователь-
ности признаков для каждой выделенной группы экспер-
тов. Причиной возникновения третьей ситуации — равно-
мерного рассеяния точек-отсчетов по всему признаковому
пространству — может быть либо неудачное построение
анкеты с точки зрения набора признаков и числа града-
ций шкалы оценок, либо крайняя неоднородность и сла-
бая компетентность коллектива экспертов, либо обе при-
чины вместе. Здесь следует перейти к более детальному
исследованию вариации ответов по отдельным призна-
кам. Если степень вариации по отдельным признакам
резко различается, то возможны два решения: либо пе-
реработать анкету и повторить опрос, либо ранжировать
только те признаки, по которым имеется достаточно вы-
сокая согласованность мнений экспертов.
Рассмотрим пример выделения однородных групп эк-
спертов, построенный на материалах опроса специалис-
тов мартеновского производства. Для выделения одно-
родных групп экспертов использовали алгоритм и про-
грамму таксономии «Форель-1». Содержание процедуры
заключается в следующем. Каждому из 87 экспертов со-
ответствовала точка в 18-мерном признаковом простран-
стве. Координатами этих точек выступали номера мест,
присвоенные экспертами 18 признакам.
Таким образом, подлежащая таксономии совокуп-
ность состояла из 87 восемнадцатимерпых векторов-отве-
тов (Х], х2,..., Xis). Был организован многошаговый про-
цесс разбиения. Анализ хода процесса разбиения
(табл. 34) позволяет отнести результаты опроса к первой
из ранее описанных ситуаций, когда с первых шагов про-
цесса выделяется устойчивое ядро, включающее основ-
ную часть экспертов, а постепенно отделяющиеся от это-
го ядра (основного таксона) эксперты не образуют устой-
чивых таксонов, по численности сравнимых с основной
группой. Эксперты, отделяющиеся на первых шагах, об-
ладают мнением, резко отличающимся от мнения боль-
шинства экспертов. В качестве эталонной группы следует
выбрать ядро экспертов, сформировавшееся на четвертом
шаге процесса, после которого резко возрастает число
единичных таксонов.
Основной таксон четвертого шага достаточно пред-
ставителен — в него-входят 52 специалиста. В то же вре-
150
мя он занимает компактную область в признаковом про-
странстве (радиус, описывающий гиперсферу, уменьшает-
ся почти в два раза по сравнению с первоначальным),
что свидетельствует о хорошей согласованности мнений
экспертов этой группы.
Таблица 34
Многошаговое изменение согласованности экспертов
Наименование показателя	Номер шага					
	0	1	2	3	4	5
Радиус гиперсферы	5,93	5,34	4,74	4,15	3,56	2,97
Число таксонов	1	4	10	19	30	48
в том числе: единичных	—.	3	7	13	24	38
включающих 2—6 экспер- тов	—	—.	2	5	5	9
Число экспертов в основ- ном таксоне	87	84	73	60	52	23
При использовании в анализе матрицы близости меж-
ду экспертами весьма полезным является выделение так
называемого «центрального» эксперта, суждение которо-
го наиболее согласовано со всеми остальными. Выбран-
ный таким образом эксперт может служить отправной
точкой для выделения центральной группы экспертов по
«поведению». Как было показано, в ряде случаев пред-
ставляет также интерес расчет показателя степени согла-
сованности ответов каждого эксперта со всеми остальны-
ми. Этот показатель характеризует близость ответов каж-
дого эксперта к средним, центральным оценкам и может
использоваться в последующем анализе. Он выступает
как некоторая одномерная количественная характери-
стика поведения эксперта.
Можно установить влияние профессиональных и дру- .
гих характеристик экспертов на их «поведение». Решение
этой задачи в общем случае целесообразно начинать
с оценки связи двух разбиений экспертов.
Пусть в результате разбиения экспертов получены
группы экспертов А], А2,..., Ат. Каждая группа Аг ха-
рактеризуется тем, что мнения входящих в нее экспертов
о порядке ранжирования признаков (их информативно-
сти) близки. В то же время у каждого эксперта имеется
ряд объективных характеристик (профессия, занимаемая
151
должность, тип представляемого им предприятия, стаж
работы, образование, возраст и т. д.). На основе этого
набора признаков может быть выполнено другое раз-
биение экспертов на k групп а},а2,..., а*. Каждая груп-
па aj включает экспертов, «похожих» по своим характе-
ристикам. Если связь между этими разбиениями сущест-
венна, то можно сделать вывод, что характеристика эк-
спертов оказывает влияние на их ответы. Тогда возни-
кает необходимость во втором этапе анализа — выявле-
нии наиболее важных характеристик экспертов.
Для оценки роли отдельных характеристик экспертов
в возникновении неоднородности ответов используются
разные способы. При небольшом числе характеристик
можно общую совокупность анкет последовательно раз-
бивать на группы по каждой из этих характеристик. Да-
лее для набора специфических групп, образованных раз-
биением совокупности анкет по определенной характери-
стике экспертов (тип предприятия, специальность и т. п.),
рассчитываются коэффициенты общей согласованности
мнений (типа коэффициентов конкордации или их анало-
гов). Сравнительный анализ величины коэффициентов
конкордации по группам при разбиении совокупности по
разным характеристикам позволяет определить относи-
тельную важность отдельных характеристик экспертов.
Наиболее важной является та характеристика, которая
обеспечивает наибольшую внутригрупповую согласован-
ность ответов.
4.3.,/ПРОБЛЕМЫ ПОВЫШЕНИЯ
ДОСТОВЕРНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК.
Повышение достоверности статистической ин-
формации является непременным условием применения
результатов статистического анализа в планировании
и управлении общественным производством. Возрастаю-
щие требования к надежности и точности статистических
данных экономического характера обусловлены тем, что
в наши дни они все шире используются для подготовки
решений на всех уровнях управления народным хозяй-
ством.
Вместе с тем любой статистический показатель как
количественный эквивалент конкретной экономической
категории способен отразить лишь отдельные ее стороны
в определенных границах, часто весьма приближенно.
В связи с этим нужно еще раз отметить, что процесс
152
математизации и даже простое применение «готовых»
математических моделей к управлению и экономике не
сводятся к расчетным процедурам, хотя таковые весьма
важны. Соотнесению математических представлений
с практическими задачами должен предшествовать со-
держательный анализ, существо которого выходит за пре-
делы математики.
Поэтому статистическая информация может служить
лишь одним из компонентов модели исследуемого явле-
ния, основным требованием к которой является ее адек-
ватность этому явлению в том смысле, что все основные
переменные, которые оказывают влияние на решение,
должны быть оценены количественно.
Как было показано ранее, полная математическая
формализация решения в ситуациях неопределенности
невозможна, и для приближенной оценки этих перемен-
ных могут использоваться экспертные методы, помогаю-
щие снизить уровень неопределенности и оценить веро-
ятность свершения событий. Так, при прогнозировании
входные данные (например, затраты, скорость изменения
параметров, уровень развития) и предполагаемые резуль-
таты (эффекты) могут рассматриваться как случайные
переменные, которые имеют то или иное распределение
вероятностей. Работа над любой исследовательской те-
мой является последовательным процессом приобретения
информации относительно некоторого объекта, состояние
знаний о котором недостаточно полное, а поэтому оценка
специалистом возможных результатов такой работы так-
же является вероятностной. Естественно, что и экономи-
ческий эффект внедрения результатов научно-исследова-
тельской работы является вероятностным, поскольку дей-
ствительный эффект может не только отклоняться от
ожидаемого, по его вообще может не быть.
Когда группа экспертов высказывает свое суждение,
например, о том, какое из возможных событий является
наиболее вероятным, и если при этом соблюдены требо-
вания к групповой оценке, то обычно пытаются построить
статистический ряд, отражающий предпочтение этой
группы. То же самое следует делать и для ряда оценок,
полученных от одного эксперта.
Однако возможность статистической обработки
экспертных оценок в значительной степени зависит от ха-
рактера исследуемого явления и от наличия у экспертов
соответствующей информации. Могут иметь место четыре
случая:
153
—	эксперты (эксперт) не имеют никакой информации
о функции распределения вероятностей событий;
—	эксперты могут частично упорядочить вероятности
возможных событий;
—	'экспертам известны границы, в пределах которых
могут пребывать вероятности событий;
—	эксперты могут установить вид распределения.
Поскольку использование мнений экспертов не позво-
ляет полностью исключить элементы неопределенности,
было бы неразумным предъявлять к точности и надежно-
сти экспертных оценок слишком высокие требования, тем
более что уровень точности и надежности экспертизы за-
висит не только от характера исследуемого явления, но
и от компетентности специалистов, согласованности мне-
ний внутри группы, метода сбора информации и т. д.
Но, с другой стороны, именно наличие неопределенно-
сти и субъективных погрешностей, часто зависящих от
процедуры экспертизы, заставляет уделять проблемам
повышения достоверности экспертных оценок особое вни-
мание. Поэтому одной из важнейших задач повышения
достоверности экспертизы является выявление факторов,
влияющих на отклонения суждений специалистов и раз-
работка методов оценки надежности и точности суждений
экспертов.
Вопрос о точности и надежности экспертных оценок
чрезвычайно сложен и требует дальнейшего изучения.
Здесь мы коснемся лишь некоторых статистических при-
емов, которые, по нашему мнению, могут быть использо-
ваны для оценки надежности и точности информации, по-
лученной от отдельных экспертов, в частности, при реше-
нии экономических задач.
Для экономических задач характерно то, что в едином
процессе решения часто приходится увязывать воедино
количественную и качественную информацию. Очевидно,
что в таких случаях должен существовать разумный пре-
дел, когда дальнейшее уточнение данных теряет смысл,
поскольку за наличие качественных факторов и неопре-
деленности всегда приходится расплачиваться потерей
надежности и точности. Кроме того, группируя индиви-
дуальные оценки экспертов в какой-либо ряд распределе-
ния и получая возможность анализировать обобщающую
характеристику, мы теряем некоторую долю информации,
содержащейся в этих индивидуальных оценках.
Несмотря на все эти ограничения, наихудшим являет-
ся положение, при котором надежность и точность эконо-
154
мических расчетов не исследуются, и решение о выборе
«оптимального» варианта опирается на предполагаемые
средние оценки. Основанный на таких предпосылках «оп-
тимальный» вариант обычно отличается от действитель-
ного оптимального прежде всего потому, что не были
учтены надежность и точность исходных данных. Прак-
тика показывает, что систематический анализ индивиду-
альных оценок в одних и тех же или аналогичных ситу-
ациях, направленный на сравнение предполагаемых
и фактических результатов, может оказать существенную
помощь при установлении характера распределения та-
ких оценок и выборе предпочтительных решений с уче-
том надежности и точности исходной информации.
Перейдем к описанию некоторых подходов к анализу
надежности и точности информации, полученной от
экспертов. Можно выделить два основных подхода к ре-
шению этой проблемы: «классический» статистический
и подход, основанный на принципе получения минимума
потерь от риска. Рассмотрим кратко существо каждого
из этих подходов.
Классический подход связан с оценкой параметра не-
которого вероятностного закона на основе информации,
полученной из статистической выборки. Напомним, что
статистической оценкой вообще называется функция
Х2, . . . ,хп), зависящая только от наблюдавшихся
в опыте значений Xj, хг, • • , хп. Естественно, что при ана-
лизе выборки нас интересуют не любые оценки, а только
близкие в каком-то смысле к оцениваемому параметру.
Обычно при решении таких проблем за оценку парамет-
ра генеральной совокупности принимается значение ста-
тистики выборки. Основной прием при выборе точечной
оценки параметра генеральной совокупности состоит
в использовании характеристики («оценочной» функции),
распределение значений которой концентрируется вбли-
зи истинного значения оцениваемого параметра.
Рассмотрим некоторые статистические приемы, пред-
ложенные Р. Фишером, для выбора «хорошей» оценки
в применении к оценкам, полученным от экспертов. Бу-
дем предполагать, что знание оценочной функции, полу-
ченной от эксперта, эквивалентно знанию решения.
Напомним, что при выборе таких оценок можно идти
двумя путями. Можно воспользоваться одной-единствен-
ной рассчитанной по выборке точечной оценкой либо рас-
считать доверительную оценку, позволяющую заключить
истинный параметр распределения генеральной совокун-
I кк
ности в некоторый интервал, построенный по результатам
выборки и позволяющий получить информацию о точно-
сти и надежности оценок.
Существует несколько критериев «хорошей» оценки,
которые в той или иной степени могут быть использованы
и для анализа информации, полученной от экспертов. Как
будет ясно из дальнейшего, все эти классические способы
могут быть применены лишь в случаях, когда данный
эксперт регулярно дает оценки или когда эти оценки
можно сравнить с фактическими значениями исследуе-
мых параметров.
Критерий, который показывает, что ожидаемое значе-
ние оценки с наибольшей вероятностью равно значению
Рис. 13. Распределение оценок экспертов
параметра и что для большого числа значений оценок
одинаковое их количество оказывается больше или мень-
ше исследуемого параметра, называется критерием не-
смещенности.
Поэтому эксперт, оценочная функция которого кон-
центрируется около истинного значения параметра 0, так
что ее математическое ожидание Е(Л) равно оцениваемо-
му параметру 0, может быть назван экспертом снес м е-
щенной оценкой. Так, математические ожидания
рядов распределений, полученных от экспертов А{ и А2
(рис. 13), являются несмещенными оценками парамет-
ра 0. В то же время эксперт Л3 имеет смещенную оцен-
ку. Величина смещения может быть рассчитана как раз-
ница между математическим ожиданием ряда оценок
данного эксперта и действительным значением пара-
метра:
смещение (Л) = Е (Д) — 0.	(38)
156
Несмотря на важность учета смещения оценок экспер-
та, использование только одного этого критерия еще не
гарантирует получения хорошей оценки. Так, из рис. 13
можно интуитивно заключить, что для оценки 0 распре-
деление, полученное от эксперта Аг, предпочтительнее
распределения эксперта AIt поскольку его характеристи-
ческая функция более тесно концентрируется около
истинного значения параметра.
Для анализа этого качества может быть использован
критерий эффективности.
Критерий эффективности показывает, что
хорошая оценка есть величина, выборочное распределе-
ние которой наиболее тесно сконцентрировано вокруг
оцениваемого параметра. Другими словами, предпочте-
ние отдается статистике выборки с наименьшей средней
квадратической ошибкой (или дисперсией). Оценка с ми-
нимально возможной дисперсией и называется оценкой
с наибольшей эффективностью.
Можно сказать, что эксперт Аг более эффективен, чем
эксперт Aj, если для все'х 0 соблюдается условие
Е [(Л- е)2]<Д[(Ду-В)2].	(.39)
Преобразуя это выражение и заменяя значение 0 из
уравнения (39), получим:
Е [(Д/ — Е (Дг))2] + [смещение (Д2)]2 <
<£ [(Ду — Е (Ду))2] + [смещение (Ду)]2.	(40)
Так, оценка эксперта Д2 более эффективна для 0, чем
оценки экспертов Д, и Д3 (см. рис. 13), однако это не
ясно в отношении Д; и Д3. Вывод в данном случае зави-
сит от отклонения от 0, а не от размаха выборки.
Другими словами, неравенство (40) показывает, что
оценка эксперта Ду более эффективна, чем. оценка
эксперта Ду, если отклонения от его значения плюс квад-
рат смещения меньше, чем та же величина у Ду.
В теории вероятностей доказывается, что средняя
арифметическая выборки объема п представляет собой
несмещенную и эффективную оценку математического
ожидания нормально распределенной генеральной сово-
купности. Медиана выборки также является асимптоти-
чески несмещенной (для возрастающего п) оценкой, но
она обладает большей дисперсией, чем средняя арифме-
тическая. Можно также показать, что выборочная диспер-
157
сия s2 есть несмещенная оценка дисперсии о2 генераль-
ной совокупности.
Обычно принимающий решение стремится получить
большую выборку, обеспечивающую ему большую инфор-
мацию о значении действительного параметра. Следова-
тельно, предполагается, что с возрастанием объема вы-
борки оценка будет сходиться по вероятности к истинно-
му значению оцениваемого параметра. Отсюда если ве-
роятность отличия этой оценки от знания параметра не
более чем на произвольно выбранную величину е>0
стремится к нулю, то такая оценка называется состо-
ятельной. -Таким образом, эксперт может быть
назван экспертом с состоятельной оцен-
кой, если соблюдается условие
lim Р ( 1 At — © | > е) = 0.	(41)
Поскольку увеличение объема выборки в экспертных
методах по ряду известных причин ограничено, критерий
состоятельности имеет здесь малое значение.
Следующим критерием хорошей оценки является до-
статочность. Мы уже отмечали, что использование оценок
неизбежно ведет к потере части информации. Оценку счи-
тают достаточной, если она предполагает такое исполь-
зование всей содержащейся в выборке информации, что
никакая другая оценка не может добавить ничего ново-
го относительно оцениваемого параметра. Достаточ-
ность в экспертных методах означает, что если мы
игнорируем какую-то информацию, например пользуемся
шкалой порядка, то возрастает риск получения неверного
решения.
Естественно, что даже при удовлетворении всех крите-
риев для хорошей оценки полученные распределения мо-
гут оказаться неприемлемыми. Обычно ошибки в оценках
как в сторону их преувеличения, так и в сторону пре-
уменьшения влекут за собой потери. И хотя эти ошибки
могут взаимно погашаться, ясно, что суммирование по-
терь отнюдь не ведет к их взаимопогашению.
При стабильных отклонениях в ту или иную сторону
можно попытаться улучшить оценки экспертов, если сооб-
щать им об их склонности к ошибкам в определенном на-
правлении. Однако и это не всегда приводит к повыше-
нию точности оценок.
Замечено, например, что смещение оценки обычно
связано со складом ума и точкой зрения эксперта, между
тем как дисперсия (эффективность), по-видимому, более
158
показательна для способностей того или иного лица де-
лать правильную оценку. Во всяком случае рекомендует-
ся предпочесть эксперта с более эффективными оценками
и систематическими смещениями эксперту с несмещенны-
ми оценками, но с малой эффективностью (большой дис-
персией). С другой стороны, лиц со склонностью к сме-
щению в сторону преувеличения следует предпочитать
лицам со склонностью занижать оценки [33].
Нужно еще раз напомнить, что во всех приведенных
выше рассуждениях предполагается, что имеются данные
о прошлой деятельности специалиста, полученные на
основе систематического анализа его работы в качестве
эксперта. К сожалению, на практике такой анализ про-
водится чрезвычайно редко.
Для оценки падеж’цости эксперта можно использовать
и более простые статистические приемы, предложенные
О. Хелмером [34]. Под степенью надежности
эксперта понимается относительная частота случаев,
когда эксперт приписал наибольшую вероятность гипоте-
зам, которые впоследствии оказались верными (подтвер-
дились). Расчет степени надежности ведется по формуле
Д =	(42)
гдё Nc — число случаев, в которых эксперт, встретившись
. с несколькими альтернативными гипотезами, приписал
наибольшую вероятность той, которая подтвердилась;
N — общее число случаев, когда эксперт производит
оценку.
Однако, учитывая, что эксперт обычно работает в кол-
лективе, вводят понятие о его относительной на-
дежности. Относительная надежность рассчитывает-
ся по формуле
Я'=£,	(43)
Кт
где/?— степень надежности («абсолютная») данного
эксперта; Rm — средняя степень надежности, исчислен-
ная для некоторой группы экспертов.
Очевидно, что, чем меньше абсолютная надежность
эксперта, тем меньшую ценность он представляет. При-
чем, если абсолютная степень надежности меньше или'
равна единице, желательно, чтобы относительная надеж-
ность была больше или равна единице.
& Для анализа точности и надежности данных, получен-
159
ных от экспертов, может быть использован также прин-
цип получения минимума потерь от риска. Исходя из это-
го принципа предложены пять классов надежности эконо-
мических расчетов, показанных в табл. 35 [35].
Таблица 35
Классы надежности экономических расчетов
Класс	Степень надежности расчетов	j । Доверительная вероятность, %	Доверительный ин- терва . при нор- мальное распределе- НИ1 (±) (а)
А	Практически достовер-		
	ные	Свыше 99,7	Свыше 3
В	С малым риском	95—99,7	2—3
С	Со средним риском	80—95	1,3— г
D	С повышенным риском	60—80	0,8- .3
Е	Азартные	Менее 60	До 0.8
Здесь под надежностью расчета понимается степень
вероятности того, что расчетная величина не выйдет за
установленные пределы.
Класс надежности А (практически полностью досто-
верные расчеты) должен использоваться толькс в особых
случаях, связанных с опасностью для жизни работников,
или же для расчетов, отклонение от которых м жет при-
вести к катастрофическим результатам.
Класс надежности Е также не следует г.оименять,
в нормальных условиях. Он должен использоваться толь-
ко в «безвыходных» ситуациях, когда нет иною способа
решения задачи и предстоят крупные потери. В этом слу-
чае последствие риска безразлично, ибо потери неизбеж-
ны, а появляется возможность, хотя и малая, i х предот-
вращения.
Выбор остальных классов надежности В, С и D тре-
бует оценки надежности и риска. При этом должны быть
соизмерены такие факторы, как величина потерь от нена-
дежности, возможность последующей компенсации откло-
нений, определенность условий расчета и психологиче-
ские факторы.
Пусть результат расчета равен х, а отклогения нор-
мально распределены с практически предельцьми грани-
цами ±3 о. В процессе решения выбираются н-; предель-
ные, а в каком-то смысле оптимальные доветительные
интервалы, которые пусть будут равны слева и справа
/2Щ где t\ и t2— оптимальные нормированные отклоне-
но
ния (в долях среднего квадратического отклонения). При-
мем, что желательна минимизация параметра х, напри-
мер времени выполнения работы. Тогда возможный
сдвиг границы оптимального доверительного интервала
вправо приведет к проигрышу, а влево — к выигрышу.
Рассмотрим величину предельных отклонений (можно,
конечно, в качестве критерия принять вероятные отклоне-
ния или другие их характеристики). Пусть N есть отно-
шение «ценности» единицы проигрыша к «ценности» еди-
ницы выигрыша.
Предельный проигрыш от правой границы надежности
составляет 7<=2V(3cr—/го), а предельный выигрыш соста-
вит Н=Зег + /2сг (рис. 14). Устанавливая оптимальную
Рис. 14. Определение оптимального уровня надежности: а) спра-
ва; б) слева
границу, необходимо обеспечить минимум потерь от рис-
ка, т. е. минимум суммы возможной потери «ценности»
выигрыша и возможной «ценности» проигрыша (при дан-
ном N), а именно:
К + (—И) = N (Зег — /2°) “	+ 4°)-
Это обеспечивается при равенстве предельных ценно-
стей выигрыша и проигрыша, т. е. Н=К. Если Н>К, то
это свидетельствует об избыточной надежности, если
Н<К, то допущен чрезмерный риск. После преобразова-
ния находим, что признак оптимального уровня надеж-
ности — это равенство
,	3(N— 1) ж, 3-Н2
L = -1---или N = —!
2	N+1	3 —/2
Например, если ценность проигрыша превышает цен-
ность выигрыша в 5 раз, то оптимальная граница надеж-
ности должна находиться справа от х на расстоянии
,2=3(5-1)=2;
6-78 .
161
что соответствует 95%-ной доверительной вероятности.
Если граница надежности установлена на расстоя-
нии 1,3<т, т. е. t= 1,3 (80%-ная вероятность), то этому со-
ответствует величина N, равная
N = 3 + b3. = 2,5
3—1,3
При N=\, или равенстве ценностей выигрыша и про-
игрыша, / = 0, следовательно, лучше всего выбрать грани-
цей доверительного интервала среднее значение, т. е.
точно точку х. Это соответствует 50 %-ной надежности ре-
зультата расчета. Вероятность дополнительного выигры-
ша уравновешивается возможностью такого же проиг-
рыша.
Классам надежности соответствуют соотношения цен-
ностей предельного проигрыша и выигрыша (N), кото-
рые приведены в табл. 36.
Таблица 36
Соотношение ценностей проигрыша и выигрыша
Класс надеж- ности	Предельная довери- тельная вероят- ность, %	t	N	Примечание
А	Свыше 99,7	3,0	ОО	Проигрыш настолько велик,
				что риск недопустим
В.	99,7	2,6	14	
С	95	2,0	5	
D	80	1,3	2,5	Ценность процгрыша и вы-
				игрыша примерно совпа-
				дает
Е	60	0,8	1,7	
В некоторых задачах существует нелинейная зависи-
мость между величиной потерь и точностью расчета, т. е.
значимость потерь возрастает по мере приближения к оп-
ределенному уровню. Во всех таких случаях, когда «це-
на» ошибки возрастает асимптотически, соответственно
должна повышаться и надежность расчетов. Наиболее
распространенным в экономике должен быть расчет с до-
верительной вероятностью в пределах 60—95%, т. е. по
классам надежности С, D, Е.
За показатель точности экономического расчета мо-
жет быть принято отношение среднего квадратического
отклонения <т при данной надежности к среднему резуль-
162
тэту расчета, т. е. величина 6=	-100, где t — норми-
рованное отклонение, соответствующее р надежности (до-
верительной вероятности расчета).
В зависимости от степени точности также может быть
рекомендовано несколько классов точности. Если классы
точности определены для доверительной вероятности
95%, то они находятся на грани классов надежности
В и С. Показателем точности в этом случае является от-
носительная ошибка, равная удвоенному коэффициенту
вариации 6 = -=^ 100. Ошибка будет отражать с вероят-
ностью 95% относительный размер поля практического
рассеяния результата. В этом интервале должно нахо-
диться и смещение результата, обусловленное системати-
ческой ошибкой.
Пересчет классов точности при другой доверительной
2
вероятности может производиться по формуле 6t=—сг,
где /р —- доверительный коэффициент при новой вероят-
ности расчета.
В работе [31] показано, что точность б расчетов при
прогнозировании не может превышать точности оценки
веса характеристик (факторов, параметров). В предель-
ном случае 6пр = ф(г), где ф (г) — нормирующая функция.
Исходя из этого по формуле <p(t’)= можно опреде-
лить наиболее рациональное число характеристик, кото-
рые необходимо использовать при прогнозировании раз-
вития техники в каждом конкретном случае в соответст-
вии с точностью технико-экономических расчетов, приня-
тых в данной области. Если такая точность достаточно
велика и составляет 6 = 0,02, т. е. ф(г)=0,02, то для про-
гнозирования следует использовать девять-десять харак-
теристик. При точности расчетов 6 = 0,1 достаточно огра-
ничиться шестью-семью характеристиками. Использо-
вать менее пяти характеристике рекомендуется, так как
это может отразиться на точности и надежности анализа.
Таким образом, в зависимости от точности расчетов мож-
но выявить некоторый рациональный оптимум числа ха-
рактеристик прогнозирования (табл. 37).
Выявление необходимого числа характеристик прогно-
зирования имеет принципиальное значение, так как от-
крывает возможности априорной оценки требований
Л*	1РО
Таблица 37
Число характеристик
п в зависимости
от точности
прогнозирования 6
впр-ф(')	п
0,3—0,2	5—6
0,19—0,1	6—7
0,09—0,05	7-8
0,04—0,03	8-9
0,029—0,02	не более 10
к точности прогнозной инфор-
мации, полученной с помощью
экспертиз.
В табл. 38 представлены
рациональные значения до-
пусков коэффициентов вариа-
ции для различных периодов
упреждения [36]. Установлено
четыре класса точности прог-
нозных расчетов с участием
степени новизны и неопреде-
ленности прогнозирования.
Для объектов с минимальной
неопределенностью (доста-
точно изученный класс сис-
Таблица 38
Допуски коэффициентов вариации для различных классов точности
прогнозных расчетов, %
Период упреждения Т, лет	Класс точности			
	1	И	Ш	IV
5	1—9	10—36	37—81	82-144
10'	1—16	17—49	50—100	101—169
15	1—25	26—64	65—122	123—196
20	1—36	37-81	82—144	145—225
25	1-49	50—100	101—169	170—256
тем) рекомендуется использовать при прогнозных
оценках допуски по первому классу точности; для объ-
ектов, обладающих высокой неопределенностью (науч-
ные исследования, принципиально новые системы),
нужно использовать допуски по четвертому классу точ-
ности-
Мы уже упоминали о том, что в зависимости от ком-
петентности, квалификации, опыта работы или занимае-
мого положения эксперта может быть оценен его «вес».
Заметим, что этот вес может устанавливаться по любой
порядковой или интервальной шкале.
Веса экспертов могут быть учтены при вычислении
коэффициента конкордации, и тогда суммарная оценка
фактора рассчитывается как сумма произведения взве-
шенных оценок, т. е.
164
ГН
Xs = 2M«>
;=i
где Pi — вес /-го эксперта; хц — оценка г-го фактора, дан-
ная /'-м экспертом; т — число экспертов, участвующих
в оценке.
Расчет весов экспертов при вычислении коэффициен-
та конкордации производится следующим образом.
Сначала эксперты упорядочиваются (ранжируются)
в зависимости от их компетентности, а затем пропорцио-
нально суммарным* рангам рассчитываются их веса Р/.
Веса Pi должны быть выбраны так, чтобы сумма их рав-
нялась 1, т. е.
т
W=1-
7=1
Зная вес каждого эксперта, можно рассчитать коэф-
фициент конкордации с учетом веса экспертов по фор-
муле
(44)
где
ч
- a tj — число совпавших оценок (рангов) у /-го эксперта.
Суммы Tj подсчитываются для каждого эксперта,
У которого оказались совпавшие ранги. Пусть, например,
от /'-го эксперта получены следующие ранги:
214444888	10
Тогда для него величина Tj подсчитывается следующим
образом:
Т} = -^(43 — 4 + З3 — 3) = 7.
В качестве примера рассмотрим расчет весов экспер-
тов при упорядочении факторов по определенному при-
знаку [29]. Сумма рангов, полученная в результате ран-
1 АК
жировки шести экспертов, показана в табл. 39. Располо-
жим экспертов в порядке возрастания суммы рангов
и припишем каждому из них вес Р;, считая его наиболь-
шим для эксперта с минимальной суммой рангов (ре-
зультирующий ранг) и наименьшим — для эксперта
с максимальной суммой рангов. Например, можно при-
нять наибольший вес, равный 2, а наименьший—1,
остальным же экспертам присвоить веса между 2 и 1,
пропорциональные их рангам, как это сделано в табл. 39.
Таблица 39
Расчет весов экспертов
	Номер			эксперта		
	1	2	3	4	5	6
Сумма рангов	8	26	39	28,5	35	25
Результирующий ранг	1	3	6	4	5	2
Вес	2	1,6	1,0	1,4	1,2	1,8
К учету весов экспертов при вычислении коэффициен-
та конкордации следует подходить с осторожностью, ста-
раясь избежать неоправданного увеличения субъектив-
ности. При наличии большого числа экспертов удобнее
рассчитать конкордацию между равными по численности
подгруппами. В таких случаях для каждой подгруппы
находится средняя ранжировка, которая включается в об-
щую матрицу с весом, пропорциональным коэффициенту
конкордации внутри данной подгруппы.
Проблеме оценки компетентности экспертов посвяще-
но много работ. Несмотря на это, в настоящее время
трудно рекомендовать какую-либо обобщенную характе-
ристику специалиста, объективно отражающую его важ-
нейшие качества как эксперта. Лишь в случаях, когда
имеется достаточно данных о результатах участия спе-
циалиста в однотипных экспертизах, они могут служить,
как упоминалось выше, определенной базой для оценки
его «надежности» как эксперта (см. формулу (42)).
Следует отметить, что использование различных ко-
эффициентов согласия (или расхождения) между эк-
спертной и формально-статистической оценкой также
может оказаться полезным лишь при неоднократных
и однотипных экспертизах. Обычно при проведении кон-
166
кретных экспертиз требуется оценивать компетентность
экспертов уже на стадии постановки задачи и формиро-
вания набора признаков.
В связи с этим для оценки качества экспертного оп-
роса и компетентности экспертов приходится использовать
различные косвенные методы. Эти методы можно под-
разделить на две группы: 1) основанные на приписыва-
нии эксперту определенного веса с учетом его объектив-
ных качеств, самооценки, взаимной оценки, профессио-
нальных признаков, таких, как стаж работы, занимаемая
должность, ученая степень, квалификация и т. д.;
2) основанные на оценке степени влияния данного
эксперта па степень согласованности группы, или же на
выделении наиболее представительного эксперта (этало-
на), мнение которого в наибольшей мере отражает мне-
ние всех членов группы. Указанные методы можно эф-
фективно применять при условии, что группа'экспертов
достаточно однородна и использованная мера сходства
поддается суммированию.
Как было отмечено, не исключено, что в данном кол-
лективе экспертов весьма полезным (компетентным) мо-
жет оказаться эксперт с резко отличающимся от средне-
группового мнением. К сожалению, чрезвычайно важная
проблема «редких мнений» в групповой экспертизе пока
еще не нашла надлежащего теоретического освещения.
Стремление привлечь к экспертизе специалистов, ком-
петентных в самых различных областях деятельности,
часто приводит к тому, что некоторые эксперты не могут
дать оценку (присвоить ранг) одному или нескольким
факторам вследствие недостаточной компетентности
в какой-либо специальной области. В результате средние
оценки (ранги) отдельных факторов будут иметь тенден-
цию смещаться от «истинного» значения.
Это смещение можно учесть и исключить, рассчитав
«истинный» ранг для каждого фактора Хгоо[36].
Процедура коррекции средних- рангов заключается
в следующем. Пусть т экспертам необходимо проранжи-
ровать п факторов, и оказалось, что некоторые из них не
сумели присвоить оценки отдельным факторам (табл. 40).
Вначале вычисляется средний ранг каждого фактора
по формуле
А
167
Неполное ранжирование факторов
Таблица 40
Средняя арифметическая всех рангов для п факторов
будет
п
2 k
Затем рассчитываются средняя дисперсия внутри ран-
жировок каждого фактора сге2 (дисперсия ошибки) и ди-
сперсия для средних рангов всех факторов <ург.
Будем в дальнейшем обозначать буквой S суммирова-
ние от 1 до ti, a S — суммирование от 1 до п. Тогда
2_	MlSxij '
~ ltt — n '
2_ I(MzSxz) —MSSx
Gp	n—1
Обозначим через К специальную среднюю, которая
рассчитывается по формуле
(п— l)Sfz '
Значения	и могут быть непосредст-
венно получены из множества оценок (или нормализо-
ванных рангов), имеющихся в табл. 41. Затем рассчиты-
168
ваются и суммируются оценки для каждого фактора Л,
Sx,j и Mi, с помощью которых можно получить значения
S/f, И ^(MiSXij).
Для того чтобы получить «истинное» значение средне-
го ранга, необходимо учесть среднюю надежность единич-
ного ранжирования по формуле
_ да2 — ае2
Г1“ар2 + (К-1)о/
Если попытаться сравнить средние оценки различных
факторов, то окажется, что дисперсия ошибки факторов,
ранжированных меньшим числом экспертов, будет боль-
ше, чем дисперсия факторов, которые оценило большее
число экспертов.
Поскольку это смещение является систематическим,
его можно исключить, воспользовавшись для вычисления
надежности оценки каждого фактора фор-мулой Спир-
мэиа-Брауиа:
П:Г>
Г1~ 1+(пг —l)r, •
Тогда несмещенная оценка «истинного» ранга рассчиты-
вается по формуле
xzoo = М (1 — гг) + ггЛ4г.	(45)
Рассмотрим пример расчета несмещенной оценки ран-
га для случая, когда отдельные эксперты не в состоянии
присвоить оценки некоторым из факторов (табл. 41).
Рассчитываем величину М:
М = -2L = 2,96,
24
а затем величины 2xt2, S2/,, SM{, MiSxij, значения кото-
рых приведены в табл. 41.
Зная эти величины, рассчитываем ое2, (Гр2 и К:
261 —2,96.71 _ 2 72 -
е 24—6
2 = 214,3 - 2,96.71 = 0 4.
р	6-1
К = 242-.98 = 4 0
(6 — 1) .24
Средняя надежность единичного ранжирования п бу-
дет
169
=-----0Л6-2Л2 =
0,46- (4 — 1) .2,72
Таблица 41
Расчет несмещенной оценки ранга
	Фактор						п 2^ Z—I
	1	2	3	4	5	6	
1	4	1			3	2	5	
2	1	5	3	2	4	—	
Ъ	з Эксперт	1	2	1	2	3 4	4 3	
5	5	1	6	4	3	2	
l.Xji	11	9	10	11	16	14	71
ti	4	4	3	4	О	4	24
	2,76	2,25	3,33	2,76	3,20	3,50	17,8
Sx?	43	31	46	33	54	54	261
t?	16	16	9	16	25	16	98
MiSxn	30,3	20,2	33,3	30,3	51,1	49,1	214,3
rt	3	3	9	3	2,24	3	
X ico	2,48	0,93	6,3	2,48	3,5	4,68	
первона-							
Ранг	чальный	2,5	1	5	2,5	4	6	
фактора							
уточнен-							
ный	2,5	1	6	2,5	4	5	
И наконец, исходя из значений г{ и tit можно рассчи-
тать надежность оценки для каждого из факторов г,,
а затем по формуле (45) вычислить «истинные» ранги
для каждого-фактора.
Сравнение первоначальных рангов факторов с уточ-
ненными (см. табл. 41) показывает, что рассмотренный
метод оценки надежности рангов позволяет внести по-
правку в ранжировку в случаях, когда некоторые экспер-
ты не могут оценить все факторы.
4.4. МЕТОД ВЗАИМОВЛИЯНИЙ.
Нередки случаи, когда при большом числе
факторов или событий эксперты не могут «различить»
и оценить влияние каждого из них из-за наличия много-
численных связей между этими событиями.
170
Вместе с тем очевидно, что будущие результаты всег-
да представляют собой совокупность различных взаимо-
связанных событий и процессов, а информация о стати-
стических связях между различными событиями пред-
ставляет значительный интерес, поскольку позволяет точ-
нее оценить вероятность возможных промежуточных
исходов и получить на этой основе более надежную оцен-
ку вероятности конечных результатов.
Так возникает проблема оценки взаимосвязи между
информацией, полученной от экспертов на основе пред-
посылки о статистической независимости оцениваемых
событий, и информацией, которую могут дать эксперты
при установлении ряда ограничивающих связей между
этими событиями. Одним из подходов к решению этой
проблемы является метод взаимовлияний [37].
Идея учета взаимосвязей в ряду оценок, полученных
от экспертов, основана на простом предположении, что
если такие взаимосвязи существуют, то они должны быть
выявлены с помощью процедуры, позволяющей прове-
рить «совместимость» этих оценок и произвести обосно-
ванное преобразование первоначальных оценок с целью
получения «совместимого ряда». При этом информация,
полученная от экспертов, может служить дополнитель-
ным источником снижения уровня неопределенности.
Кроме того, предполагается, что такая дополнитель-
ная информация ведет к повышению надежности оценок,
поскольку практика экспертиз показывает, что чем более
ограничено множество элементарных событий, от наступ-
ления которых зависит наступление интересующего нас
события, тем легче получить от эксперта оценку этого со-
бытия. Это означает, что если эксперт должен оценить
вероятность некоторого события А и оценить вероятность
этого же события А при условии, что наступило другое,
связанное с ним событие В, ограничивающее множество
возможностей, от которых зависит наступление А, то вто-
рая оценка будет более достоверна, чем первая. Это пред-
положение может быть также подкреплено соображе-
ниями о том, что относительные вероятности эксперты
оценивают лучше, чем «абсолютные».
Таким образом, учет взаимосвязей и взаимовлияний
между прогнозируемыми событиями может служить до-
полнительным источником информации, снижающим уро-
вень неопределенности.
Если обозначить ряд событий, которые должны про-
изойти с различной степенью вероятности к определенной
«
171
дате через Dly D2,..., Dn, а соответствующие вероятно-
сти их свершения через Pi, Р2,..., Рп, то можно задать
такой вопрос: «Если А стремится к 100% (т. е. событие
D{ наверняка произойдет), как изменятся вероятности
Pi, Р2, Рз,   , Рп?» Очевидно, что когда существует
взаимосвязь между исследуемыми событиями, то при
свершении события Di вероятности остальных событий
должны измениться.
События можно записать в ортогональную матрицу
(табл. 42), в которой исключены диагональные клетки.
Таблица 42
Матрица взаимовлияния
Если это собы- тие произойдет	Тогда вероятность будет			
		d2	Оз	da
р.	X	—	—	t
d2	t	X	—	t
D3	—	—	X	—
Di	—	—		X
Стрелки в клетках матрицы, направленные вверх,
означают, что, если, например, произойдет событие D2,
то вероятность событий Di и 'Dt возрастет.
Для проведения анализа взаимовлияний необходимо
иметь следующую информацию:
—	множество рассматриваемых событий {ЛД;
—	совокупность «безусловных» вероятностей {РД со-
бытий из множества {Л,};
—	матрицу взаимовлияний {Ху}, элементы которой
описывают влияние осуществления (или принципиальной
невозможности) события Л,- на вероятность события Л,;
—	модель взаимосвязи между значениями «безуслов-
ных» вероятностей и параметрами взаимного влияния
{Хц}.
Существуют различные модели взаимосвязи, форма
которых выбирается из априорных соображений. Множе-
ство изучаемых явлений {ЛД и исходные значения «безу-
словных» вероятностей {РД обычно устанавливаются
с помощью экспертов. Так, например, одна из апробиро-
ванных моделей взаимосвязи между {РД и {^,Д имела
следующий вид:
172
*
Pi=p*+11 - Xi> (MO]Pi' (46)
Л
где Pi — коррекция исходной оценки вероятности собы-
тия Аг при наступившем событии А-,;
— относительное запаздывание события А,- по от-
ношению к событию Лj.
Л
Зная значение Pi, можно вычислить скорректирован-
ное значение вероятности Р{ по закону полной вероятно-
сти:
1-Р/
Процедура коррекции вероятностей может быть вы-
полнена с помощью ЭВМ.
Рассмотрим процедуру оценки взаимовлияний на
примере прогнозирования возможностей использования
в 1985 г. электромобиля в США [38]. В матрицу взаимо-
влияний были включены возможные события (табл. 43),
оценки вероятности свершения которых даны экспертами.
Таблица 43
Взаимосвязанные события и вероятность их свершения
№ п/п	Возможное событие	Вероятность свершения к 1985 г.
1	Выпуск и продажа 8 млн. электромобилей в год	0,5
2	Кризис и безработица в нефтедобывающих и неф- теперерабатывающих отраслях промышленности	0,3
3	Значительный прирост выпуска аккумуляторов	0,5
4	Существенное снижение уровня загрязнения окру- жающей среды	0,3
	Полезное использование в промышленности серно- го ангидрида и окисей азота или систем контроля за их выбросом в атмосферу	0,7
6	Повышение спроса на электроэнергию на 40%	0,5
Информация, представленная в табл. 43, может слу-
жить основой для модели, описывающей предполагаемые
соотношения между вероятностными оценками событий,
которые могут произойти в будущем в связи с производ-
ством электромобиля.
173
Исходная матрица взаимовлияния для этих событий
будет иметь следующий вид (табл. 44).
Таблица 44
Исходная матрица взаимовлияния
Вероят- ность	Собы- тие	1	2	3	4	5	6
0,5	1	X	0,6	0,7	0,6	0,7	0,9
0,3	2	0,6	X	0,5	0,3	0,7	0,5
0,5	3	0,6	0,3	X	0,2	0,7	0,7
0,3	4	0,2	0,3	0,2	X	0,4	0,5
0,7	5	0,6	0,3	0,5	0,4	х	0,5
0,5	6	0,5	0,3	0,5	0,7	0,7	X
Используя теоремы теории вероятности, можно затем
рассчитать оценки для матрицы, учитывающей вероятно-
сти того, что указанные события не произойдут (табл. 45).
Таблица 45
Матрица, учитывающая вероятность того,
что события не произойдут
Событие	1	2	3	4	5	6
1	X	0	0,30	0	0,70	0,1
2	0,46	х	0,50	0,30	0,70	0,50
3	0,40	0,30	X	0,40	0,70	0,30
4	0,63	0,30	0,63	X	0,83	0,50
5	0,27	0,30	0,50	0,07	х	0,50
6	0,50	0,30	0,50	0,50	0,70	
Далее данные, помещенные в эту матрицу, обрабаты-
ваются с помощью ЭВМ. Эта процедура может прово-
диться, например, в такой последовательности:
1.	Из набора событий 1—6 производится случайный
выбор одного, например события 3.
2.	С помощью датчика случайных чисел выбирается
число от 0 до 1, которое сравнивается с первоначальной
оценкой вероятности, данной экспертами событию 3.
Представим, что получено число 0,6. Поскольку перво-
начальная оценка вероятности события 3 была меньше
0,6, то принимается, что данное событие не'произойдет.
3.	Изменяются вероятности остальных событий в мат-
рице с учетом того, что событие 3 не произойдет.
174
4.	Случайным образом выбирается из перечня собы-
тий (исключая событие 3) следующее событие, напри-
мер 6.
5.	Повторяется шаг 2 и принимается решение: случит-
ся или нет событие 6.
6.	В зависимости от того, произойдет или не произой-
дет событие 6, используется табл. 44 либо табл. 45 для из-
менения вероятностей остальных событий перечня.
7.	Эта процедура повторяется для всех событий. Ве-
роятности появления событий, установленные по ее окон-
чании, являются оценками того, «произойдет» или «не
произойдет» каждое из событий перечня. В результате
получается так называемый «единичный» сценарий.
8.	Затем этот процесс многократно повторяется
(обычно 1000 раз). В результате вырабатывается боль-
шое число сценариев, на основе которых для каждого со-
бытия рассчитываются «окончательные» оценки вероят-
ностей, отличающиеся от первоначальных тем, что была
учтена взаимосвязь между оцениваемыми событиями.
9.	Первоначальные и окончательные оценки вероятно-
стей событий должны быть близкими, если матрица
«сбалансирована», т. е. если их уместность не противоре-
чит различным статистическим ограничениям.
После проведения этой процедуры можно произве-
сти проверку любого из первоначальных предположений.
Предположим, принято решение, что в 1985 г. будет вы-
пущено 8 млн. электромобилей. Другими словами, при-
нимается, что вероятность первого события стремится
к единице, т. е. это событие определенно случится.
Исходя из этого повторяют процедуру обработки ин-
формации с помощью ЭВМ. Разница между первона-
чально установленными оценками вероятности и новыми
скорректированными оценками, полученными при вто-
ричной обработке информации, является результатом
учета связей между событием, которое принято как до-
стоверное, и остальными событиями данного перечня.
В табл. 46 приведены первоначальные и скорректи-
рованные оценки вероятностей событий для данного при-
мера.
Использование метода взаимовлияний позволяет уточ-
нить оценки вероятности свершения событий любого ти-
па: технических, экономических, социальных и политиче-
ских с учетом связей между ними, что особенно важно
при прогнозировании научно-технического прогресса.
Вместе с тем метод содержит некоторые произвольные
175
Таблица 46
Первоначальные и скорректированные оценки
вероятностей взаимосвязанных событий
	Событие	Вероятность свершения	
п/п		перво- на- чаль- ная	при условии свершения события 1
1 2 3 4 5 6	Выпуск и продажа 8 млн. электромобилей в год Кризис и безработица в нефтяной промыш- ленности Значительный прирост выпуска аккумулято- ров Существенное снижение уровня загрязнения окружающей среды Полезное использование серного ангидрида и окисей азота Повышение спроса иа электроэнергию на 40%	0,5 0,3 0,5 0,3 0,7 0,5	1,0 0,43 0,58 0,4 0,68 0,71
допущения относительно модели коррекции оценок и эле-
ментов вычислительной процедуры.
В последние годы разработан ряд модификаций мето-
да взаимовлияний, в которых делаются попытки преодо-
леть концептуальные противоречия, возникающие при его
использовании [39].
Так, нередко суждения экспертов по поводу отдельных
событий, являющихся независимыми, не согласуются
с суждениями о процессе развития в целом.
Любая комбинация происшедших событий соответст-
вует некоторому сценарию Ek, т. е. произвольной совокуп-
ности событий из заданного перечня. Это означает, что
при рассмотрении системы из п событий (еь е2, е3,..., еп)
теоретически возможными являются г=2п комбинаций,
или сценариев. Например, если к заданному моменту вре-
мени осуществились события еь е2, 64,..., еп, т. е. собы-
тие ез не произошло, то это соответствует одному из 2П
сценариев. Сумма вероятностей всех сценариев состав-
ляет единицу, поскольку они являются взаимоисключаю-
щими и только один'из них должен осуществиться. Одни
сценарии являются более вероятными, другие — менее
вероятными. Для того чтобы преодолеть эту трудность
и выбрать наиболее вероятные сценарии, разработан ме-
тод, позволяющий их ранжировать.
Обозначим п событий, связанных с решением какой-
176
либо задачи, ei, е2,..., еп; каждая комбинация этих со-
бытий, определяющая сценарий Ek, может осуществлять-
ся с некоторой вероятностью л*. Получим с помощью
экспертов оценки вероятности P(i) осуществления каж-
дого отдельного события е, в течение рассматриваемого
периода и условные вероятности P(i/j) и Р (i/7), взятые
попарно. Здесь через P(i) обозначена вероятность того,
что осуществится событие ец через Р (i/j) —условная ве-
роятность осуществления события е,-, если произойдет со-
бытие еу, через Р (i/j) —условная вероятность осуществ-
ления события е,, если событие е, не произойдет, т. е. P(j)
есть вероятность того, что событие не осуществится?
Р(]) = \—Р(1)- Эти предварительные оценки нуждаются
в корректировке, для того чтобы окончательные вероят-
ности событий согласовались со следующими ограниче-
ниями, налагаемыми теорией:
0<P(i)<l;
Р (/) = P(iH) • Р(0=Р(//);
P(i/j) .P(j)~P(i/j). P(~j) = P(i).
Выбрать наилучшую модель взаимосвязи с учетом
ограничений, налагаемых теорией вероятностей, можно,
решая задачу оптимизации. Эта задача состоит в том,
чтобы среди всех теоретически непротиворечивых сово-
купностей вероятностей отыскать такую, которая бы-
ла бы наиболее близкой к исходной совокупности оценок,
полученных от экспертов. В качестве меры близости вы-
бирается сумма квадратов отклонений оценок вероятно-,
сти P(i/j)-P(j) от теоретических значений /**(///) X
X P*(j), выраженных через вероятности л*. Эта процеду-
ра является своеобразным вариантом метода наименьших
квадратов. Физический смысл величин Р (i/j) -P(j) доста-
точно прост: для непротиворечивой системы оценок это
произведение равно вероятности одновременного (совме-
стного) осуществления пары событий P(ij).
Поскольку сценарии являются взаимоисключающими,,
и их список охватывает все возможные комбинации со-
бытий, сумма их вероятностей составит единицу:
5 = 1-
й=1
Исходя из полного набора вероятностей всех возмож-
ных комбинаций событий, можно вычислить вероятности
177
Р*(г7/)
отдельных событий. Для вычисления полной вероятно-
сти следует просуммировать вероятности тех комбинаций,
в которые это событие входит, или, что то же самое, ве-
роятности всех сценариев, в которых это событие осу-
ществляется. Математически это можно выразить фор-
мулой
^(0 = 2©^,
*=1
где 1, если ei входит в Ek',
0гь = О, если et не входит в Eh.
Аналогичные формулы существуют и для условных веро-
ятностей:
Ь=1
----------для всех z, /,
P4J)
где t(ijk) = 1, если и ej входят в Ek',
t\ijk) =0, если ег или е;- не входит в Ek',
^S(ijk)Tzk
i/i) = —-------- Для всех i, j,
где s(ijk) = 1, если et и входят в Ek',
s(i/&) =0, если et или е;- не входят в Ek.
Вероятности возможных сценариев л2,..., лг оп-
ределяются поиском минимума функции
п	г
i, j	fc=!
n	_ r
+ 2 [PU/iW)-2	(47)
i, j	k=i
r
при ограничениях:	для всех k; 3 ль= 1.
л=1
Таким образом, решается классическая задача мини-
мизации квадратичной функции при линейных ограниче-
ниях.
Эта методика была использована на практике при
построении сценариев развития воздушного транспорта
Франции [40]. Для написания сценариев был отобран
перечень из следующих шести возможных событий:
178
ei — общее число авиатуристов превзойдет 50 млн; это
событие отражает две тенденции: растущее число авиа-
пассажиров и возрастающую долю туристов среди них;
ег — среднее число авиапассажиров на одну перевоз-
ку превысит 150 человек; в этом событии учитывается
фактор минимальной загрузки, а также рост средней гру-
зоподъемности самолетов вследствие более широкого ис-
пользования большегрузных самолетов;
е3 — среднее время ожидания разрешения на взлет
превысит 20 мин; это событие отражает несколько факто-
ров, в частности насыщение воздушного пространства^
которое может быть вызвано запрещением ночных поле-
тов;
е4 — снижение стоимости авиабилетов (в постоянных
ценах) не менее чем на 3% в год; если это событие не
осуществится, то мало вероятно, что авиатранспорт ста-
нет транспортом массового использования;
е5 — валовой национальный продукт (ВНП) Франции
возрастает в течение рассматриваемого периода не менее
чем на 4% в год; с одной стороны, экономический рост
связан с необходимостью увеличения пассажирских авиа-
перевозок как для деловых целей, так и для туризма,
а с другой — рост числа полетов над районами городов
обостряет проблемы охраны окружающей среды;
е6 — правительство устанавливает ограничения на
авиаперевозки, что приводит к уменьшению их потенци-
ального объема на 20%; в качестве таких ограничений
может быть уменьшение числа самолето-вылетов, запре-
щение ночных полетов.
Следует отметить, что перечень событий, использован-
ных в данных сценариях, не охватывает полностью важ-
нейшие факторы, которые могут влиять на развитие воз-
душного транспорта. В частности, не учтен объем ассиг-
нований, выделяемых на создание новых типов и замену
устаревших самолетов, рост цен на авиатопливо и ряд
других. Поэтому практический интерес представляют не
сами сценарии, а методологический подход к их выбору
с учетом взаимного влияния событий и факторов.
Комиссия, состоящая из экспертов, дала свои оценки
вероятностей каждого отдельного события P(i), а также
условных вероятностей P (i/j) и Р(i/J); i, / =1, 2, 3, 4, 5, 6
(табл. 47). Эти оценки были затем обработаны. Для на-
глядности рассмотрим сначала скорректированные зна-
чения вероятностей отдельных событий и условных веро-
ятностей (табл. 48), а вероятности сценариев, позволяю-
179
щие переработать исходную информацию, обсудим
позже.
Таблица 47
Исходные значения вероятностей
	\"	Р(Ш)					
	'\		в 2		е4		
0,4	ei	X	0,5 0,3	0,7 0,4	0,8 0,1	0,6 0,1	0,4 0,5
0,7	е2	0,8 0,3	X	0,5 0.7	0,9 0,6	0,7 0,7	0,9 0,6
0,6	ез	0,7 0,6	0,4 0,7	X	0,7 0,6	0,7 0,6	0,8 0,4
0,4	е4	0,8 0,1	0,6 0,3	0,4 0,4	X	0,4 0,1	0,1 0,7
0,6	е5	0,7 0,6	0,6 0,6	0,6 0,6	0,8 0,6	X	0,6 0,6
0,7	е6	0,5 0,8	0,8 0,5	0,5 0,7	0,7 0,7	0,9 0,7	X
В данном случае скорректированные вероятности от-
дельных событий не претерпели больших изменений.
В противоположность этому многие условные вероятно-
сти получили существенные поправки. Этот факт имеет
простое объяснение: значительно проще оценить вероят-
ность отдельного события, чем условную вероятность. На-
пример, вероятность того, что число авиатуристов превы-
сит 50 млн. человек при условии возрастания времени за-
держки вылета, P(ei/e3) уменьшилась с 0,7 до 0,5. Это
свидетельствует о том, что сначала эксперты дали ей за-
вышенную оценку. Напротив, вероятность P(e,Je3) быст-
рого снижения стоимости авиабилетов при условии мед-
ленного роста ВНП была занижена экспертами и подня-
лась с 0,1 до 0,28.
180
Таблица 48
Скорректированные значения вероятностей
С*	X		——"—					
		61	62	63	64	65	66
0,41	ei	X	0,55 0,14	0,50 0,29	0,83 0,13	0,50 0,25	0,35 0,57
0,67	е2	0,89 0,51	X	0,57 0,83	0,85 0,55	0,66 0,69	0,77 0,42
0,60	е3	0,72 0,52	0,51 -0,79	X	0,63 0,58	0,60 0,60	0,63 0,54
0,40		0,81 0,11	0 ,51 0,18	0,42 0,38	X	0,47 0,28	0,31 0,62
0,64	е5	0,78 0,54	0,63 0,67	0,64 0,64	0,75 0,57	X	0,66 0,61
0,70	ев	0,59 0,78	0,81 0,48	0,73 0,66	0,54 0,81	0,72 0,68	X
Для совокупности из шести возможных событий суще-
ствуют 26 = 64 возможных сценария. Каждый сценарий
удобно изображать строкой из шести знаков: нулей или
единиц. Единица на t-м месте означает, что событие е»
осуществилось, ноль — что е* не осуществилось:
	£1		е3	е4	е5	ев
Е,	1	1	1	1	1	1
Е,	0	1	1	1	1	1
Е3	1	0	1	1	1	1
Еез	1	0	0	0	6	0
&б4	0	0	0	0	0	0
Решение задачи .оптимизации показывает, что лишь
20 сценариев имеют вероятность, большую 0. Они обра-
зуют допустимое множество. Перечень этих сценариев,
ранжированных по вероятности, приведен в табл. 49.
181
Таблица 49
Допустимые сценарии, ранжированные по вероятности
	"а		
Еч (001011)	0,158	Е8 (110111)	0,035
(010011)	0,110	Езб (Ю1110)	0,032
Езо (010001)	0,097	Е48 (000010)	0,029
£1 (111111)	0,092	Е6в (000100)	0,027
£6о (001000)	0,070	Е№ (111001)	0,021
Е37 (110110)	0,063	Ев (010111)	0,021
Езз (111П0)	0,057	E,s (011101)	0,017
Еп (111101)	0,051	Еьз (110100)	0,004
Е» (111011)	0,046	Езв (001110)	0,001
Вероятность каждого из остальных сценариев равна О,
т. е. они не являются допустимыми. Тем не менее по их
поводу интересно дать некоторые комментарии.
Например, нулевую вероятность имеет сценарий Еы,
(000000), в котором не происходит ни одно из событий
ei,..., е6. Но поскольку осуществиться может лишь ка-
кой-то один сценарий, имеющий положительную вероят-
ность, и каждый такой сценарий включает хотя бы одно
из шести событий, это означает, что по меньшей мере од-
но из'событий должно произойти. Таким образом, рас-
сматриваемый перечень событий соответствует постав-
ленной задаче.
Нулевую вероятность имеет также сценарий
Е8 (000111). Это показывает, что осуществление трех со-
бытий е5, е6 неминуемо должно привести к осуществ-
лению хотя бы одного из событий в], б2, вз. События е4,
е5, е6 можно истолковать как факторы, внешние по отно-
шению к системе авиатранспорта, а события еь <?2,	—
как внутренние характеристики этой системы. В связи
с этим можно сделать вывод, что эта система чувстви-
тельна по отношению к внешним факторам.
Изучая первые 10 сценариев приведенного перечня,
можно обнаружить, что какой-либо из этих сценариев бу-
дет соответствовать ситуации в 1990 г. с вероятностью бо-
лее 80%. Наиболее важными являются сценарии Ец, Eiit
Езо, Et, которые составляют «ядро» сценариев. Можно
ожидать почти с вероятностью 50%, что в течение указан-
ного периода осуществится один из них.
Сценарий Ei2 (001011) с вероятностью лд = 0,158 осу-
182
ществляется в случае насыщения авиалиний без замет-
ного увеличения числа авиапассажиров. Общее число
авиатуристов и среднее число пассажиров на одну пере-
возку не достигают пороговых значений; снижение стои-
мости авиабилетов незначительно. Время среднего ожи-
дания разрешения на взлет превышает 20 мин, ВНП
растет высокими темпами, и правительственные ограни-
чения приводят к снижению на 20% потенциального объ-
ема авиаперевозок.
При осуществлении сценария Е14 (010011) с вероят-
ностью л/. = 0,110 ВНП растет быстро, и проблемы охра-
ны окружающей среды в пригородных зонах вынуждают
правительство принять меры, ограничивающие число
авиаперевозок. Чтобы обеспечить рост числа пассажиров,
не увеличивая значительно чисдр рейсов, авиатранспорт-
ные компании широко применяют большегрузные самоле-
ты, и среднее число пассажиров на рейс превышает
150 человек.
В сценарии Езо (010001) с вероятностью л* = 0,097
ограниченный рост ВНП сочетается с ограниченным рос-
том числа авиаперевозок. Данный сценарий весьма по-
хож на предыдущий.
Сценарий Ех (111111) имеет вероятность яа = 0,092.
Это «конфликтный» сценарий, в котором осуществляют-
ся все шесть событий. Несмотря на правительственные
ограничения, объем авиаперевозок заметно возрастает, но
быстрый экономический рост обостряет проблемы охраны
окружающей среды.
Малая вероятность дивергентных сценариев означает,
что они включают события, находящиеся в противоречии
друг с другом.
Сценарий Е33 (111110) с вероятностью ль = 0,057 осу-
ществляется в случае неограниченного роста авиаперево-
зок. Но, по-видимому, правительство наложит ограниче-
ния на число авиаперевозок, если осуществятся первые
пять событий, т. е. будет иметь место быстрый и ничем
не лимитированный их рост.
Согласно сценарию^ (000010), вероятность которого
пл = 0,029, развитие авиатранспорта происходит незави-
симо от экономического роста. Маловероятно, чтобы
быстрый экономический рост не оказал стимулирующего
влияния на развитие авиатранспорта.
Завершающий этап методики состоит в проведении
анализа чувствительности системы. Степень влияния со-
бытия щ па событие в} измеряется коэффициентом эла-
183
bPj/Pj
стичности ей= ~Хр~Гр~ ’ K0T0PbI& равен отношению от-
1 bp-
носительной вариации вероятности Р$ к вызвавшей
ее вариации вероятности Pi. Значения коэффициентов
эластичности вычисляются на основе скорректированных
результатов (табл. 50).
Таблица 50
Коэффициенты эластичности е,- j
е 2	«i						2Ро1 /
	е1	е2	ез	е4	<?5	ев	
	X	—0,12	—0,24	—0,47	—0,23	—0,54	1,60
«2	0,40	X	— 1,10	0,24	—0,71	—0,21	2,66
ез	—0,28	-0,96	X	—0,64	—0,74	—0,64	3,26
еь	0,37	—0,20	—0,39	X	—0,30	—0,61	1,87
еь	—0,13	—0,71	—0,74	—0,26	X	—0,69	2,53
е3	— 1,32	-0,09	—0,73	—1,60	—0,76	X	4,50
Ski/] 1	2,50	2,08	3,20	3,21	2,74	2,69	X
Суммирование по горизонтальным строкам показы-
вает, что события ез (среднее время ожидания разреше-
ния на взлет превышает 20 мин) и ее (правительственные
ограничения) оказывают наиболее существенное влияние
на остальные события. Для них суммы соответственно
равны 3,26 и 4,50. Наименьшее значение имеют суммы
по строкам для событий е4 и (1,60 и 1,87). Это озна-
чает, что снижение стоимости авиабилетов и увеличение
числа авиатуристов не оказывают большого влияния на
систему в целом.
Значения сумм по вертикальным столбцам показыва-
184
ют, что наиболее чувствительными к влиянию со стороны
остальных событий являются события ез и е4. Для е3 зна-
чение суммы равно 3,20, что объясняется в основном ве-
личиной коэффициента влияния ег на е3; 'егз = —1,10. Это
свидетельствует о том, что расширение использования
большегрузных самолетов заметно уменьшает риск насы-
щения воздушного пространства в приаэродромной зоне.
Далее, для е4 степень суммарного влияния со стороны
остальных событий составляет 3,21. Это объясняется в ос-
новном влиянием со стороны события es-, коэффициент
эластичности ев4 = —1,60. Данный факт допускает про-
стое истолкование: авиакомпания может включить в стои-
мость билетов налоги, установленные правительством,
с целью ограничения числа авиаперевозок.
Событие es одновременно является одним из наиболее
влиятельных и чувствительных к влиянию. Это говорит
о том, что насыщение воздушного пространства в при-
аэродромной зоне является наиболее чувствительным со-
бытием по отношению к будущему развитию системы
авиационного транспорта.
Хотя формализованный подход к выбору наиболее
вероятного сценария развития с помощью метода взаимо-
влияний не заменяет анализа существа социально-эконо-
мических процессов, он может служить эффективным ин-
струментом выявления косвенных взаимосвязей между
будущими событиями при прогнозировании и долгосроч-
ном планировании.
Одним из перспективных направлений повышения до-
стоверности экспертных оценок может явиться учет вза-
имовлияний при условии его дальнейшего методического
совершенствования на основе теории информации [41].
Глава 5
ЭКСПЕРТНЫЕ МЕТОДЫ
х ПРИ ПОДГОТОВКЕ РЕШЕНИЙ
5.1. ПРОБЛЕМЫ ВЫБОРА
ПРЕДПОЧТИТЕЛЬНЫХ РЕШЕНИЙ.
Проблема принятия рациональных решений
имеет универсальный характер, поскольку она возникает
в любой сфере практической деятельности и составляет
ее принципиальную сущность. В ходе развития общест-
венного производства растут, с одной стороны, требования
к качеству решений при одновременном увеличении их
сложности, а с другой — расширяются возможности ис-
пользования научных методов для обоснования решений.
Возрастающая сложность управления народным хозяйст-
вом, непрерывное увеличение затрат на осуществление
народнохозяйственных программ вызывают необходи-
мость все более тщательного анализа целей и задач хо-
зяйственной деятельности, путей и средств их достиже-
ний. В этих условиях проблема выбора наиболее рацио-
нальных и эффективных (предпочтительных) решений
становится одним из важнейших элементов управления
общественным производством.
Теория и практика количественного обоснования ре-
шений активно развиваются, и научные методы все шире
используются на разных уровнях управления народным
хозяйством. Однако на пути широкого практического
применения научных методов принятия решений стоит
еще немало трудностей. Эти трудности носят не только
методический характер. Прежде всего они обусловлены
сложностью перехода от содержательной к формализо-
ванной постановке задач'. Именно поэтому все более важ-
ную роль здесь играют экспертные оценки, которые ста-
новятся одним из основных, а иногда и единственным ме-
тодом анализа, подготовки и выбора сложных решений в
самых различных сферах практической деятельности.
186
Область применения экспертных методов непрерывно
расширяется. В настоящее время можно указать на сле-
дующие технико-экономические задачи, решение которых
показало полезность обращения к экспертным оценкам:
1.	Научно-техническое и экономическое прогнозирова-
ние.
2.	Выбор целей и тематики научных исследований.
3.	Перспективное и текущее планирование НИР
и ОКР.
4.	Оценка трудоемкости НИР и ОКР, а также трудо-
емкости изделий в мелкосерийном и единичном производ-
стве.
5.	Оценка результатов деятельности научно-исследо-
вательских и проектных организаций и подразделений.
6.	Выбор наилучших вариантов сложных технических
и социально-экономических проектов и программ.
7.	Анализ и утверждение проектов строительства но-
вых объектов.
8.	Классификация однородных объектов по степени
выраженности какого-либо свойства.
9.	Оценка качества продукции.
10.	Распределение ресурсов между программами ис-
следований и разработок.
Для всех этих задач характерно то, что среди возмож-
ных решений всегда существует одно (или несколько)
объективно наилучшее (предпочтительное) решение, ко-
торое нужно найти, причем при выборе этого решения
эксперты выступают в качестве «источников» недостаю-
щей информации.
В общем, неформализованном виде проблема выбора
наиболее предпочтительного решения с помощью экспер-
тов может быть описана следующим образом. Имеется
множество вариантов решений, среди которых должен
быть выбран наиболее предпочтительный. Окончательно
этот выбор осуществляет лицо, принимающее решение
(ЛПР). Наличие лица, принимающего решение, которое-
стремится к достижению некоторой цели, действуя на
основе имеющейся (как правило, неполной) информации
об оценке возможных последствий решений по всем кри-
териям, является одной из важнейших особенностей за-
дач принятия сложных решений. В результате обобще-
ния объективных данных и информации, получаемой от
экспертов, а также собственных предпочтений ЛПР вы-
187
бирает наилучшую альтернативу. Предполагается, что
каждое такое решение характеризуется некоторыми
оценками по определенному критерию (критериям), кото-
рые должны учитываться в процессе принятия решения.
Проблема научного обоснования решений сложных
хозяйственных задач в последние годы привлекла внима-
ние многих специалистов и руководителей, работающих
в самых разных отраслях народного хозяйства. Необхо-
димость использования научных подходов при подготовке
и принятии решений стимулировала исследования в этой
области в нашей стране и за рубежом и привела к опре-
деленным успехам в разработке отдельных теоретических
проблем. В настоящее время задачи принятия решения
рассматриваются в нескольких аспектах: математиче-
ском, логическом, психологическом, программно-модели-
рующем, концептуальном и т.д. Несмотря на то что каж-
дый из этих аспектов получил некоторое развитие, об-
ласть явлений, о которых можно говорить как о принятии
решений, еще достаточно строго не определена.
Задачи принятия решений можно классифицировать
по следующим признакам: 1) в зависимости от числа
лиц, от которых зависит принятие решения, на индивиду-
альные и коллективные; 2) в зависимости от ситуации,
в которой принимается решение: в условиях определен-
ности, риска, неопределенности и конфликта (когда пос-
ледовательность действий зависит от стратегии разумно-
го противника); 3) в зависимости от числа и характера
критериев: однокритериальные (скалярные) и многокри-
териальные (с векторным критерием).
Исходя из целей этого раздела книги ограничимся
кратким рассмотрением роли экспертов при подготовке
решений с точки зрения анализа систем и теории стати-
стических решений. В настоящее время эти методы на-
шли наиболее широкое практическое применение в науч-
ных, технических, военных, организационно-хозяйствен-
ных и других комплексных задачах, связанных с затрата-
ми значительных ресурсов. Опыт показывает, что фор-
мализованные подходы к использованию экспертов помо-
гают свести многообразные и подчас неопределенные
факторы, связанные с проблемой выбора наиболее пред-
почтительной альтернативы, в логически стройную си-
стему, полнее определить набор информации, необходи-
мой для такого выбора, точнее оценить возможные вари-
анты решения задач.
Как было отмечено ранее, выбор наилучшего решения
188
нередко осложняется недостаточностью и недостовер-
ностью информации о состоянии исследуемых объектов
и условий, в которых они будут развиваться, стохастиче-
ской природой этих объектов, сложностью и качественной
новизной анализируемых проблем. Сложность решения
современных проблем состоит не только в необходимости
выбора между несколькими путями достижения цели при
недостатке информации, но также и в том, что реальность
и практическая значимость этих отдаленных по времени
целей часто оказываются весьма проблематичными.
В связи с этим нередко встает задача оценки вероятно-
сти успеха каждого варианта решений. Эта проблема
также решается с помощью экспертов.
Несмотря на то что экспертные оценки нередко ис-
пользуются для выделения наиболее существенных
(в том или ином смысле) факторов, влияющих на выбор
решения, экспертизу не следует рассматривать только
как некоторый подготовительный этап к выбору реше-
ний. Эффективность и ценность информации, получаемой
от экспертов, в существенной степени зависит от целе-
направленности и планомерности использования специ-
альных подходов к подготовке решений. Практика пока-
зывает, что наиболее эффективным является применение
экспертных оценок после того, как все имеющиеся дан-
ные об исследуемой проблеме систематизированы с по-
мощью специальных нормативных процедур, помогаю-
щих целенаправленно рассмотреть основные этапы про-
цесса решений, выявить структуру проблемы и формали-
зовать предпочтения лиц, принимающих решения.
Рассмотрим отдельные элементы этих методов, харак-
терным для которых является сочетание некоторых фор- .
мальных приемов с содержательным анализом существа С
проблемы с помощью экспертов.	.	/
При системном анализе решений обычно используют-
ся следующие элементы:	•
1.	Цел ь (цели, целевые функции), которая рассмат-
ривается как ожидаемый результат определенного курса
действия. При формировании и оценке целей нередко-
возникают серьезные трудности, связанные с необходи-
мостью их точного определения. Цели формируются
с учетом потребностей, а также существующих реальных
возможностей. Сложность выбора целей заключается
в необходимости неформальных суждений о существе,
масштабах, источниках возникновения проблемы и мето-
дах ее решения. Процесс определения целей должен
1 QQ
•быть подчинен некоторым правилам. Во-первых, цели
и задачи низшего уровня, а также взаимосвязи целей
и ресурсов должны быть совместимы с целями и задача-
ми высшего уровня и, наоборот, задачи высшего уровня
должны синтезироваться с учетом возможностей решения
задач низшего уровня. Во-вторых, достижимость цели за-
висит от расходов ресурсов. Поэтому окончательно цели
могут быть установлены только в процессе анализа тех-
нико-экопомических возможностей.
2.	Альтернативные варианты решения
(альтернативы), рассматриваемые как средства (спосо-
бы) достижения цели. Составление возможно более пол-
ного перечня альтернатив нередко является сложной за-
дачей, которая должна решаться с учетом мнений
экспертов.
3.	Исходы — результаты выбора каждой из воз-
можных альтернатив, имеющие различную ценность для
лица, принимающего решение.
4.	Критерий (критерии, критериальная функция)-,
т. е. правило, на основе которого должно выбираться
наиболее предпочтительное решение. Критерий предопре-
деляет эффективность каждой альтернативы.
5.	Внешние условия (внешняя среда или сово-
купность состояний природы), т. е. явления или факторы,
влияющие на исходы решения, но не контролируемые
(не управляемые) со стороны лиц, принимающих ре-
шения.
6.	М о д е л ь, т. е. приближенное или упрощенное
представление исследуемой ситуации. Сохраняя структу-
ру задачи, она должна отражать влияние наиболее суще-
ственных факторов на результаты, позволяя дать оценку
последствий выбора той или иной альтернативы. Форма
модели зависит от характера решаемой проблемы и мо-
жет меняться от сложных уравнений и программ для
ЭВМ до простого описания возможных ситуаций.
7.	3 а т р а т ы, т. е. количество ресурсов, необходимых
для осуществления каждой из альтернатив. Предпола-
гается, что выбор каждой альтернативы влечет за собой
определенные затраты ресурсов.
В зависимости от природы исследуемых объектов
и информации, необходимой для принятия решения, мож-
но различать два вида целей и соответствующих кри-
териев.
Цели называют качественными, когда все результаты
действий, приводящие к достижению таких целей, оди-
190
каково хороши и, наоборот, все результаты, не приводя-
щие к их достижению, одинаково неудовлетворительны.
Критерий в таких случаях может принимать только два
значения: единица (в случае успеха) и нуль (в случае
неудачи). Определение и формулирование цели здесь
должно предшествовать определению критерия. Цели
могут быть и количественными. В этих случаях критерий
должен отражать степень достижения поставленной це-
ли. Формулирование критерия здесь предшествует опре-
делению цели.
Очевидно, что одно из необходимых условий выбора
заключается в сравнимости альтернатив. Существуют две
основные формы различия альтернатив: функциональная
и операционная. Функциональное различие альтернатив
можно иллюстрировать на примере самолета и поезда
как средств транспорта. Различие альтернатив по опера-
циям выявляется, например, при рассмотрении разных
конструкций самолета, обеспечивающих решение одной
и той же задачи.
Результаты сравнения могут быть оценены, если аль-
тернативы количественно соизмеримы. В ряде случаев-
приходится выбирать критерий и оценивать альтернати-
вы исходя из реальной ценности результатов для прини-
мающего решение. В задачах, связанных с риском, реше-
ние должно быть выражено в средних величинах или
в виде математического ожидания.
Ясно, что если все результаты можно представить
в денежном выражении, вопрос об установлении относи-
тельной предпочтительности или ценности альтернатив,
не имеет смысла, поскольку в таких случаях следует про-
сто сопоставить ожидаемые затраты с предполагаемыми
эффектами для каждой альтернативы и осуществить вы-
бор наиболее предпочтительной исходя из показателя
экономической эффективности. Однако стремление свести
все количественные и качественные показатели к денеж-
ным измерителям может привести к неправильным выво-
дам. Разумеется, всегда существует желание выбрать
альтернативу, в которой затраты средств, времени и риск
создания были бы минимальными, а полученные резуль-
таты — максимальными. К сожалению, на практике по-
добные альтернативы встречаются весьма редко.
Представим, что необходимо выбрать одну из трех
альтернатив А, Б и В. Соотношения между затратами,
временем, эффектом (результатом) и риском могут быть,
например, такими, какие показаны в табл. 51.
191
Таблица 51
Соотношения между затратами, временем,
эффектом и риском
Альтерна- тива	Стоимость	Время	Эффект	Риск
А	Наибольшая	Наибольшее	Наименьший	Наименьший
Б	Наименьшая	Наименьшее	Наибольший	Наибольший
В	Средняя	Среднее	Средний	Средний
Конечно, показанные в этой таблице зависимости ред-
ко реализуются на практике. Ясно, что стремление вы-
брать альтернативу с самыми лучшими результатами по
всем показателям неизбежно приведет к большим трудно-
стям, особенно, когда некоторые из показателей невоз-
можно точно измерить.
В таких случаях полезно ввести ограничения на один
из показателей, например на перспективный бюджет.
Тогда при заданном уровне затрат выбирается альтерна-
тива с наилучшим эффектом. Можно задаться опреде-
ленным уровнем эффекта (например, показателями про-
изводительности, надежности или какой-либо другой тех-
нической характеристикой) и искать альтернативу,обес-
печивающую наиболее экономичный способ достижения
этого результата.
Исходя из этого множество практических задач, кото-
рые регулярно решают руководители и специалисты,
можно условно свести к трем основным типам. Сущность
задач первого типа заключается в том, что известен (за-
дан) конечный результат и нужно найти такой вариант
действий,, который обеспечивает получение этого резуль-
тата при минимуме затрат. Задачи второго типа заклю-
чаются в том, чтобы найти наилучший вариант исполь-
зования известного объема ресурсов для получения мак-
симального результата. В задачах третьего типа наилуч-
ший вариант действий нужно найти как по конечному ре-
зультату, так и по объему ресурсов, т. е. при отсутствии
ограничений.
Сравнение различных вариантов действий облегчается
в тех случаях, когда они в каком-то отношении равно-
ценны. Условие, обеспечивающее равноценность, иногда
। называют дисциплинирующим. Как видно из формулиро-
' вок, в задачах первого типа дисциплинирующим услови-
ем является конечный результат, а в задачах второго ти-
па — объем имеющихся ресурсов.
192
Решение задач любого типа начинается с перечисле-
ния множества возможных вариантов, соответствующих
заданным условиям. Затем определяются либо затраты
на осуществление каждого варианта, либо ожидаемые ре-
зультаты действий (исходов), либо и то и другое, если
задача относится к третьему типу. После этого произво-
дятся сравнение вариантов и выбор наилучшего из них.
Варианты действий могут отличаться один от другого
последовательностью операций, периодом осуществления,
технико-экономическими характеристиками и т. п.
Решение задач первого типа, заключающихся в выбо-
ре одного из вариантов действий, направленных на до-
стижение заданного результата, по-видимому, не пред-
ставляет особых трудностей. В задачах такого типа зна-
чения всех показателей, характеризующих результаты
действий, зафиксированы, т. е. являются ограничениями
в виде равенств. Изменяется только один показатель —
затраты, который и используется в качестве критерия.
Сложнее сравнивать варианты, если их результаты
характеризуются определенным количеством средств,
предназначенных в конечном счете для удовлетворения
разных потребностей. Подобные показатели трудно све-
сти к одному обобщенному критерию, поэтому для
сравнения альтернатив нужна упорядоченная последова-
тельность сочетаний показателей.
Самые большие трудности возникают при решении
задач третьего типа, когда сравнению подлежат вариан-
ты, требующие для своей реализации разных затрат
и дающие различные результаты. Ответ па вопрос, что
лучше — дорогие и долговечные механизмы или сравни-
тельно дешевые и имеющие меньший срок службы, — как
правило, не очевиден. В случаях когда специалист, зани-
мающийся количественным обоснованием решений, не
имеет упорядоченной последовательности сочетаний по-
казателей, он обычно представляет руководителю не-
сколько целесообразных вариантов с частичной упорядо-
ченностью их характеристик. Как будет показано далее,
использование экспертных оценок позволяет успешно ре-
шать подобные задачи.
Подход к выработке решений в существенной степени
зависит от того, ставится ли задача .улучшить какой-то
вид деятельности, устранить недостатки и «узкие места» i
или же требуется создать нечто принципиально новое.
В области науки, техники и технологии это различие по-
нимается достаточно определенно. В области хозяйствен-
7—78
193
них решений оно проводится не всегда четко. Вместе
с тем методологически при подготовке решений эти два
подхода должны различаться.
Сталкиваясь с необходимостью улучшения какого-ли-
бо вида деятельности, нужно прежде всего определить
саму проблему, найти тот элемент, звено, которое не от-
вечает предъявленным требованиям, т. е. рассматривать
задачу как бы «изнутри». При решении проблемы созда-
' ния чего-либо принципиально нового процесс принятия
. решения существенно усложняется, поскольку важное
/ значение в этом случае приобретают не только внутрен-
ние, но и внешние факторы и прежде всего необходимость
/ комплексного учета объективной ситуации, законов соци-
I ального и экономического развития.
Цели анализа ситуации и цели решения должны быть
связаны между собой. При этом нужно сопоставить воз-
можные ближайшие цели и результаты решения пробле-
мы с отдаленными. Нередко они значительно различают-
ся как по своему эффекту, так и по затратам. Часто меж-
• ду ближними и отдаленными результатами возникают
противоречия, и тогда нужно сделать выбор между ними
или же найти разумный компромисс.
Выбор конкретной модели решения и правило, по ко-
торому будет осуществляться его поиск (решающее пра-
вило), зависят от характера самой проблемы и выраба-
тываемого решения, а также от возможных вариантов ре-
шений, которые могут быть взаимоисключающими или
комбинируемыми.
При наличии нескольких показателей, по которым
(нужно сопоставлять альтернативы, приемлемым (пред-
почтительным) нередко считается решение, наиболее эф-
фективное по важнейшим из них.
J3 общем случае, когда имеется несколько альтерна-
тив, сравниваемых по нескольким критериям, наиболь-
шую трудность представляет не оценка каждой альтерна-
тивы по каждому критерию, а сопоставление набора аль-
тернатив по разным критериям. Эти критерии могут быть
трудноизмеримыми, измеряться по разным шкалам или
же быть трудно сопоставимыми м’ежду собой. Как прави-
ло, для того чтобы сопоставить альтернативы и выбрать
лучшую из них, необходимо получить единую оценку раз-
нокачественных результатов, что само по себе является
довольно сложной задачей.
Тем не менее с каждым набором возможных послед-
ствий С (а) (или, иначе, с каждым действием а) можно
194
связать последовательность чисел yi (а), уг (а),---.
уп (а), которая достаточно полно для практических це-
лей представляет всю информацию, содержащуюся
в С (а). Каждое число у» (а) можно интерпретировать
как специальный показатель — оценку последствий С (а)
на основании векторного критерия При таком подхо-
де единая функция заменяется па п целевых функций.
Анализ литературы позволяет выделить следующие .
четыре основных подхода к решению этой задачи:
1)	объединение (агрегирование) многих целевых
функций в единую функцию, позволяющую полностью
упорядочить рассматриваемое множество альтернатив по
их предпочтительности;
2)	последовательное выявление  предпочтений одно-
временно с исследованием допустимого множества аль-
тернатив;
3)	нахождение для имеющихся альтернатив пусть не
полного, а лишь частичного упорядочения, но более ин-
формативного, чем просто объединение не противореча-
щих друг другу предпочтений, устанавливаемых в соот-
ветствии с каждой из п привлекаемых функций fi (а)-,
* 4) максимально возможное уменьшение неопределен-
ности и несравнимости.
Не останавливаясь подробно на теоретическом обо-
сновании каждого из этих подходов, рассмотренных в [42],
покажем особенности их использования на конкретных
примерах.
5.2. ОЦЕНКА ЭФФЕКТИВНОСТИ АЛЬТЕРНАТИВ.
Определение основных направлений и про-
грамм развития науки, техники и производства, создание
конструкций новых изделий и передовых технологических
процессов, разработка перспективных и текущих планов,
поиск оптимальных способов эксплуатации технических
устройств, повышение эффективности производства — все
эти проблемы в той или иной степени связаны с выбором
наилучших вариантов и способов действий и требуют ко-
личественной оценки, в какой мере каждый из них обес-
печивает достижение поставленных целей.
Достоинство таких оценок заключается в том, что
они позволяют выявить основные факторы и взаимосвязи
между ними, установить относительную важность целей
и пределы, в рамках которых можно контролировать
7*
195
и оценивать будущие результаты, а также помогают со-
средоточить силы специалистов, их интуицию и опыт в тех
областях, где они болып^пеобходимы. Даже небольшое
усовершенствование процесса принятия решения в ре-
зультате использования систематизированных оценок
дает значительный эффект, поскольку ресурсы, выделяе-
мые для решения сложных народнохозяйственных про-
блем, огромны.
Нередко решение сложной проблемы нельзя свести
к достижению единственной цели. Тогда необходимо из
ряда целей выбрать наиболее важную и установить отно-
сительную важность остальных. Часто эти цели бывают
противоречивы и требуют принятия компромиссного ре-
шения с учетом главной из них, а также ограничений по
второстепенным. Так, например, стремление к увеличе-
нию выпуска продукции по весу часто приводит к ухуд-
шению ее качества, необоснованное увеличение объема
продукции и прибылей может привести к увеличению до-
рогостоящих изделий в ущерб интересам потребителей,
рентабельная для предприятия продукция может ока-
заться убыточной в эксплуатации и т. п.
Оценивая эффективность вариантов решений или дей--
ствий, следует учитывать возможные изменения в состоя-
нии внешних условий, которые не поддаются регулирова-
нию со стороны принимающего решение, но могут ока-
зать существенное влияние на результаты. Такой учет
требует разработки стратегий, т. е. планов возможных
действий, или правил, которые предписывают, какое дей-
ствие должно быть выбрано в каждой предполагаемой
ситуации. В некоторых случаях оказывается, что ни один
из предложенных вариантов решений не устраивает,
и необходимо разработать новую стратегию.
Таким образом, важнейшими элементами любой за-
дачи выбора являются цели и стратегии, обеспечиваю-
щие их достижение. Принятие рационального решения
' предполагает, что различные цели и стратегии деятельно-
сти соизмеримы, т. е. могут быть оценены с помощью чи-
сел или по крайней мере упорядочены по их относитель-
ной важности.
Цели-предприятия могут быть сформулированы, на-
пример, следующим образом: реализовать определенное
количество изделий, освоить новую продукцию, снизить
себестоимость продукции на а %, повысить производи-
тельность труда на b % и т. п.
Цели и различные способы действий должны быть
196
установлены на этапе постановки задачи. Этот этап
включает разработку перечня целей, определение воз-
можных стратегий и установление эффективности стра-
тегий.
В ходе решения задач первоначальные формулировки
целей уточняются и изменяются, однако наличие исход-
ных формулировок помогает выявить структуру задачи
и отобрать информацию, необходимую для выбора
наилучшей стратегии.
Предположим, что необходимо решить задачу выбо-
ра одной из двух возможных стратегий Ci и С2 при усло-
вии наличия двух целей: Oi — увеличение чистой прибы-
ли предприятия; О2 — сокращение цикла производства
продукции.
Представим, что если применить стратегию С1; то
ежегодная чистая прибыль увеличится на 100 тыс. руб.,
а цикл производства сократится на 2 дня; если же приме-
нить стратегию С2, то прибыль увеличится на
200 тыс. руб., а цикл сократится на 1 день. Какую из
стратегий выбрать?
Для того чтобы рассчитать общий результат или, как
принято называть в теории систем, общую эффективность
каждой из стратегий, представляется разумным сложить
«взвешенные» по целям результаты. Однако это можно
сделать в том случае, если удастся определить соотноше-
ние между единицами увеличения чистой прибыли и еди-
ницами сокращения цикла производства.
Например, если сокращение цикла на 1 день равно-
значно 50 000 руб., то общий результат-эффективность
стратегии Ci будет: 100 000+100 000 = 200 000, а страте-
гии С2: 200 000+50 000 = 250 000.
Таким образом, измерение общей эффективности све-
лось к определению однородной меры эффек-'
тив и остей для различных целей. Для того
чтобы определить эту меру, необходимо было произве-
сти «взвешивание» единиц, в которых измеряются раз-
личные цели. Иначе говоря, необходимо найти функцию
соответствия, которая обеспечивает преобразование зна-
чений на одной шкале в значения на другой шкале.
Основные операции (шаги) для измерения общей эф-
фективности заключаются в следующем [15]:
—	определить меру эффективности по отношению
к каждой цели;
—	если полученные меры эффективности окажутся
197
различными, то привести их к общей мере эффектив-
ности;
—	' определить для каждой стратегии вероятность до-
стижения возможного уровня эффективности в виде
функции;
—	суммировать эффективности для каждой стратегии
с целью получения функции общей эффективности;
—	установить цель процесса принятия решения в ви-
де максимума (минимума) прибыли (потерь);
—	построить функцию дохода для каждой стратегии.
Функция дохода выражает здесь ожидаемый резуль-
тат (т. е. результат, умноженный на вероятность его по-
лучения) в виде прибылей или потерь.
Если цели могут быть выражены в количественном ви-
де (например, в увеличении чистой прибыли или в сниже-
нии себестоимости), то для их взвешивания можно при-
менить следующую процедуру:
1.	Определить единицы, в
Рис. 15. Функция соответст-
вия
которых измеряется степень
достижения каждой цели (на-
пример, увеличить чистую
прибыль на а руб.).
2.	Выбрать две цели; наи-
более важную v и следующую
за ней w. Построить график
функции соответствия, на ко-
тором наиболее важная цель
v выражена в соответствую-
щих единицах на оси абсцисс, а цель w — на оси орди- ]
нат (рис. 15).	-	I
Используя функцию соответствия, можно преобразо-
вать комбинацию результатов (ць иц) в один результат
«з = ^1 + v2 (где v2 есть преобразованное значение wt)
и выразить таким образом все результаты w по шка-
ле V.
3.	Повторить шаг 2 данной процедуры для других це-
лей.
Такая процедура применима, если может быть выяв-
лено соотношение между единицами различных шкал,
। которое устанавливается па основе анализа статистиче-
ских данных, а в случае их отсутствия — с помощью оп-
роса специалистов.
Таким образом, основными условиями, необхо-
димыми для возникновения задачи выбо-
р а, являются следующие [16]:
198
—	должен существовать субъект /, связанный с не-
которой средой N, перед которым возникает задача.
Внешняя среда определяется значением неуправляемых
переменных Yi\
—	в распоряжении этого субъекта должно быть не-
сколько (по крайней мере две) реализуемых стратегий
С1; С2,..., Сп-,
—	должен существовать по крайней мере один ре-
зультат (цель), к которому стремится субъект, прини-
мающий решение. Результат возникает как следствие
принятой стратегии;
—	каждой реализуемой стратегии должна соответст-
вовать некоторая вероятность достижения цели Pi. Веро-
ятности, которые ставятся в соответствие различным
стратегиям, не должны быть для них одинаковыми, по-
скольку в противном случае будет безразлично, какую из
стратегий выбрать. Ясно также, что, кроме этих четырех
условий, для возникновения задачи выбора нужно, чтобы
субъект, принимающий решение, не знал априори, какая
из стратегий является наилучшей (с точки зрения при-
нятого критерия эффективности).
Ситуации, возникающие при выборе решений, удобно
представлять в виде таблиц, называемых матрицами
оценки (платежными матрицами). В этих таблицах каж-
дый столбец определяет возможный результат, а каждая
строка — возможную стратегию (табл. 52).
Таблица 52
Представление задачи выбора с помощью матрицы оценки
Стратегия	Результат			
	01	02		0„
с.				
С2				
				
Ст.				
При выборе в ситуациях риска и неопределенности,
кроме оценки взаимовлияния результатов и стратегий, не-
обходимо учитывать вероятность получения каждого ре-
зультата при каждой стратегии.
199
Оценки вероятностей в таких случаях могут рассмат-
риваться, например, как веса, позволяющие упорядочить
возможные результаты по их относительной значимости.
Приписывание вероятностных оценок (весов) с целью вы-
бора в условиях неопределенности основано па предполо-
жении о возможности оценки правдоподобия достижения
того или иного результата (события). Если событие рас-
сматривается как невозможное, то ему можно приписать
вес, равный нулю, если же оно рассматривается как
вполне достоверное, то ему приписывается вес, равный
единице. Для событий возможных, но не вполне достовер-
ных, вес может быть представлен числом между 0 и 1.
Таким образом, вероятностная оценка, полученная
в ситуации неопределенности, зависит от степени правдо-
подобия информации, имеющейся в момент принятия ре-
шения [7].
Так, например, если необходимо выбрать одну ид воз-
можных стратегий Сь Сг, ..., Сп, дающих взаимоисклю-
чающие результаты в п возможных последствиях этого
решения, то суммарное взвешенное произведение каждо-
го результата на вероятность его осуществления может
служить критерием для оценки эффективности стратегий
и для рационального выбора.
Рассмотрим абстрактную задачу. Допустим, что су-
ществуют две цели О] и 0% и что возможны две страте-
гии их достижения Ci и С2. Предположим, что установлен
критерий и нам удалось на основе имеющейся информа-
ции оценить эффективность каждой из этих стратегий по .
шкале от 0 до 1 в отношении каждой из целей.
Представим полученные результаты в виде матрицы
оценки (табл. 53).
Таблица 53
Пример матрицы оценки
Необходимо выбрать одну
из стратегий. Какая из них в
данном случае является наи-
лучшей? Очевидно, что, не
зная хотя бы относительной
важности (значимости) целей,
получить ответ на поставлен-
ный вопрос нельзя.
Представим, что относи-
тельную значимость целей
можно измерить по шкале от
О до 1 и что при измерении установлено: значимость
цели О{ равна 0,3, а значимость цели Ог — 0,7.
Тогда оказывается возможным «взвесить» эффектив-
Стратегия	Цель	
	0,	О2
с,	0,8	0,4
с2	0,2	0,6.
200
ность каждой стратегии по отношению к каждой цели
с учетом их относительной значимости. Для этого оценки
в табл. 53 нужно перемножить на относительную значи-
мость целей и полученные произведения суммировать
для каждой из стратегий, как это показано в табл. 54.
Таблица 54
Оценка стратегий
Стратегии	Цели		Эффективность
	о.	О2	
С1	0,3-0,8 = 0,24	0,7-0,4 = 0,28	0,52
С2	0,3-0,2 = 0,06	0,7-0,6 = 0,42	0,48
Сумма, полученная в крайнем правом столбце
табл. 54, является общей эффективностью (ожидаемой
ценностью) и может служить основой для выбора наилуч-
шей стратегии с учетом относительной значимости целей.
Таким образом, здесь предполагается, что принимающий
решение выберет стратегию с наиболее высокой суммой
взвешенной средней оценки.
Напомним, что сумма значений переменной, взятых
с весами, равными их вероятностям для случайной ве-
личины X, которая может принимать конечное число зна-
чений Xi, Х2,..., хп с соответствующими значениями ве-
роятностей Рь А, • • •, Рп, есть математическое ожидание
случайной величины, которое рассчитывается по формуле
Е(^) = Х/’Л-	(48>
*=i
Использование математического ожидания в качестве
критерия для оценки эффективности стратегии более пра-
вомерно в ситуациях риска, т. е. в условиях, когда имеет-
ся достаточная информация о прошлом для того, чтобы
можно было рассчитать вероятности возможных исходов
решения в будущем или, как их иногда называют, ожи-
даемые значения эффективности.
Однако уместно поставить вопрос о- том, всегда ли
сумма взвешенных средних (математическое ожидание)
может служить критерием эффективности стратегий.
Предположим, что нам необходимо выбрать один из
возможных вариантов плана исходя из того, что наиболее
201
рациональным из них является вариант, дающий в ре-
зультате наибольшую прибыль. Поскольку нет достаточ-
но достоверной информации о прибыли, то представим,
что мы можем иметь лишь ряд оценок, характеризующий
распределение вероятности ожидаемой прибыли.
Пусть величина прибыли, которую предполагается по-
лучить при использовании возможных вариантов плана,
характеризуется распределениями вероятностей, показан-
ными на рис. 16.
Рис. 16. Вероятность н прибыль при различных вариантах
решений
Ясно, что само по себе сравнение различных распреде-
лений — дело довольно сложное. Но как только оказы-
вается возможным охарактеризовать распределения ве-
роятностей средними значениями Pi, Р2 и Рз, такое
сравнение становится непосредственно выполнимым.
Однако здесь необходимо сделать важное замечание.
Ориентируясь лишь на средние значения прибыли, мы не
принимали во внимание возможность потерь. Но как
только мы начнем их учитывать, порядок предпочтений,
определяемый значениями D3, D2 и Dit не будет уже
бесспорным. Если варианты D\ и D2 не влекут за собой
потерь, то вариант D3, хотя и может принести наиболь-
шую прибыль, в то же время влечет за собой риск убыт-
ков.
Рассмотрим теперь пример, в котором распределение
вероятностей получено на основании оценки экспертами
предполагаемого выигрыша и убытка.
На рис. 17 иллюстрируется методика анализа системы
выигрыш — потери, причем сравниваются два плана:
А и В [33]. Выигрыш определяется в данном примере
применительно только к одной цели — прибыли в буду-
202
щем году в миллионах долларов. Соответственно может
случиться, что план А принесет убыток в сумме
2 млн. дол. Если случится наихудшее при плане В, то
год закончится без прибыли и убытка. С другой стороны,
при плане А не исключается возможность прибыли в сум-
ме 3 млн. дол., в то время как план В имеет верхнюю
границу прибыли лишь на уровне 1 млн. дол.
Рис. 17. Сопоставление выигрыша и потерь при на-
личии единственной цели:
план А — математическое ожидание выигрыша 1,2,
максимальные потерн — 2,0
план В — математическое ожидание выигрыша 0,7,
максимальные потери — 0,0
Мы видим, что каждый уровень прибыли связан
с фактором риска. Риск наиболее удобно измерять веро-
ятностью. Если установлено, что вероятность данного со-
бытия равна единице, то риска нет. Если вероятность
равна нулю, соответствующее ей событие невозможно.
Таким образом, шкала вероятностей показывает все си-
туации — от невозможной до достоверной.
Каждый план может иметь свою собственную харак-
теристику распределения риска. В- приведенном примере
функция, описывающая распределение вероятностей,
представлена не кривой, а ступенчатой линией (как
дискретная функция). Надо заметить, что сумма вероят-
ностей, соответствующая одному и тому же плану,
должна равняться единице. Это логично, так как после
осуществления одного из планов какой-либо уровень вы-
игрыша обязательно возникнет. Для плана А предусмот-
рены шесть таких уровней выигрыша. Вероятность, что
один из них будет иметь место, равна единице. Следова-
203
тельно, единице равна и сумма вероятностей всех шести
уровней. Итак, для плана А уровень выигрыша -2 —1 0 +1 +2 +3	вероятность 0,1 0,1 0,1 0,2 0,2 0,3
2=1,0
Умножив каждый из возможных выигрышей на со-
ответствующую вероятность и сложив полученные про-
изведения, получим средний ожидаемый уровень выигры-
ша для каждого плана.
Для плана Л: [(—0,2) + (—0,1)+0 + 0,2+ 0,4+ 0,9] =
= + 1,2.
Для плана В: [0 + 0,7]=+ 0,7.
Заметим, что план А имеет значительно больший
ожидаемый выигрыш, чем план В. Но в двух из десяти
возможных результатов его осуществление приводит
к тон или иной сумме убытка, тогда как план В свободен
от опасности такого рода. Какой образ действий был бы
разумным?
Очевидно, в таком случае мы не можем руководство-
ваться лишь результатами сравнения средних (математи-
ческих ожиданий), поскольку даже возможность получе-
ния очень высокой прибыли иногда не может заставить
пойти на риск больших убытков.
Можно представить четыре возможные ситуации вы-
бора. Предположим, что сравниваются две системы А
и В, причем стоимость используется как критерий оцен-
ки. На рис. 18 показаны случаи, в которых оценки стои-
мости систем выражены в виде распределений вероятно-
сти, отражающих неопределенность каждой оценки.
В случае I принимающий решение не испытывает ни-
каких затруднений, так как все возможные стоимости для
системы А будут ниже, чем для системы В. Средняя
оценка (или математическое ожидание) может быть кри-
терием выбора.
Ситуация в случае II несколько иная: имеется некото-
рая вероятность того, что действительная стоимость си-
стемы А будет выше, чем системы В. Если эта вероят-
ность мала, то принимающий решение будет по-прежнему
выбирать систему А. Однако, когда «перекрытие» значи-
204
тельно, сравнение по средней оценке уже не будет доста-
точно обоснованным критерием для выбора системы.
В случае III обе средние оценки одинаковы, но распре-
деление стоимости для системы В имеет больший диапа-
зон. В этом случае основную роль в процессе выбора бу-
дет играть отношение человека, принимающего решение,
к риску и неопределенности. Если он предпочитает умень-
шить риск, то выберет систему А. Однако если прини-
мающий решение хочет риск-
нуть для того, чтобы получить
более дешевую систему, то он
должен предпочесть систе-
му В.
Случай IV представляет
собой более сложную ситуа-
цию: предполагаемая стои-
мость системы В не только ни-
же, но значительно в меньшей
степени определенна, чем для
системы А. Если в этом слу-
чае принимающий решение
использует лишь среднюю
оценку, то наиболее вероятно,
что он выберет наименее
предпочтительный вариант.
Таким образом, шкала
объективных значений ожи-
Рнс. 18. Влияние неопре-
деленности оценки стои-
даемых прибылей и стоимо-
стей, когда в качестве крите-
рия используется математиче- мости на выбор решения
ское ожидание, не всегда яв-
ляется наиболее подходящей для выбора наиболее пред-
почтительного решения. Вместе с тем, если существует
какая-то другая функция, с помощью которой можно
было бы выразить предпочтения принимающего решения
при выборе вариантов не только в отношении ожидае-
мой прибыли, но и возможных убытков, математиче-
ское ожидание такой функции могло бы служить крите-
рием выбора наиболее предпочтительного решения [43].
Покажем, как используется такой подход при реше-
нии практических задач. В работе [44] описан алгоритм
анализа возможных последствий выбора технико-эконо-
мических решений. Практические результаты применения
этого подхода вылились в существенную экономию вре-
мени при решении комплексных хозяйственных проблем
205
и позволили повысить надежность принимаемых реше-
ний.
Процедура оценки решений состоит в следующем.
Разрабатывается перечень всех обозримых положитель-
ных последствий реализации каждого варианта решения
и формируется подмножество или множество пре-
имуществ (эффектов), упорядоченное по их предпочти-
тельности (наибольшему преимуществу присваивается
первый ранг). Таким же образом формируется и множе-
ство недостатков (потерь) для каждого варианта.
Из множества положительных последствий (пре-
имуществ) выделяется подмножество, элементы которо-
го могут быть приведены к единому скалярному показа-
телю, в частности к стоимостному, затем подмножество,
элементы которого могут быть упорядочены по предпоч-
тительности, и, наконец, подмножество, элементы которо-
го несопоставимы. То же самое делается с множеством
отрицательных последствий (недостатков).
Далее вычисляется количественная оценка тех послед-
ствий реализации решения, для которых такой подсчет
можно осуществить, и определяется вероятность каждого
из этих последствий. Затем рассчитывается математиче-
ское ожидание полученных оценок. По количественным
оценкам устанавливается общий эффект реализации, рав-
ный сумме оценок всех ожидаемых преимуществ за выче-
том суммы оценок всех ожидаемых недостатков с учетом
вероятности их осуществления.
Следующий шаг — упорядочение по предпочтитель-
ности компонентов векторов последствий, которые не мо-
гут быть количественно оценены. С этой целью путем
сравнений попарно компонентов вектора преимуществ
и компонентов вектора недостаков каждой альтернативы
отыскиваются такие пары, в которых преимущество
уравновешивается недостатком; эти пары исключаются
из дальнейшего рассмотрения. Затем находят «эквива-
лентности», т. е. функции соответствия между каждым
оставшимся преимуществом (недостатком) и некоторой
определяемой экспертами комбинацией элементов векто-
ра недостатков (преимуществ). После такого упорядо-
чения у каждой сопоставляемой альтернативы остается,
как правило, небольшой перечень не поддающихся пря-
мому сопоставлению преимуществ и недостатков. Учет их
значений — дело экспертов и того, кто принимает ре-
шение.
Сопоставить альтернативы по качественным показаге-
206
лям можно следующими способами: придать каждому
преимуществу и недостатку вес путем экспертной оценки,
выявив предпочтительную альтернативу по суммарной
взвешенной оценке; определить нормативные требования
для каждого качественного показателя и вычислить сред-
неквадратическое отклонение всех прогнозируемых по-
следствий от норматива. Если при этом каждому требо-
ванию будет придан вес, то - альтернативы будут сопо-
ставляться по средневзвешенному отклонению.
Количественная оценка эффекта от реализации аль-
тернативы At вычисляется по формуле
k	i
/?(Л;) = Vfly . Р(а0) ~	* P{di}),	(49)
/=1	/=1
где «^-—преимущества этой альтернативы; бц— ее не-
достатки; Р(ац) и P(dn) —ожидаемые вероятности осу-
ществления ац и dij.
. Последовательность выбора наиболее предпочтитель-
ного решения по данной методике представлена на
рис. 19.
Качественное преимущество той или иной альтернати-
вы учитывается в виде весового коэффициента k количе-
ственной оценки. Ниже приводится словесное описание
содержания каждого блока модели применительно
к описанной процедуре подготовки решения.
Блок определения проблем
1.	Перечислить все проблемы, как очевидные, так
и подразумеваемые. Определить границы рассмотрения
каждой проблемы.
2.	Расставить проблемы в соответствии со сложностью
их решения.
3.	Установить отправные моменты для разрешения
срочных проблем.
4.	Установить иерархию проблем: главные (первич-
ные) и побочные (вторичные) проблемы.
5.	Провести частичный анализ одной-двух срочных
проблем.
6.	Провести частичный анализ всех главных проблем.
7.	Разрешить по возможности главные проблемы.
8.	Если нахождение решения главных проблем задер-
живается сверх срока, установленного для решения сроч-
ной проблемы, решить срочную проблему раньше.
9.	Если более срочная проблема разрешена, убедить-
ся, что полученное решение является частью ожидаемого
решения главной проблемы.
207
Блок сбора фактов
1.	Используя имеющиеся факты, провести первона-
чальный анализ ситуации.
Рис. 19. Схема выбора альтернативы в ситуации риска
2.	На основе этого анализа, используя личный опыт,
произвести первоначальный выбор проблемы для реше-
ния.
208
3.	Составить перечень необходимого дополнительного
фактического материала.
4.	Используя соответствующие методы научного ана-
лиза, подобрать фактический материал в заданное время
и при установленных расходах.
5.	Перепроверить правильность определения пробле-
мы и, если надо, повторить шаги 3, 4.
6.	Используя дополнительные факты, составить опи-
сание ситуации по возможности в хронологическом по-
рядке.
7.	Если нужно, исследовать дополнительные факты,
с тем чтобы максимально возможно заполнить пробелы.
8.	Передать описание ситуации специалисту, не имею-
щему непосредственного отношения к ней, с тем чтобы
установить, чего недостает для анализа.
9.	Исследовать дополнительные факты, которых по-
требовал привлеченный специалист.
10.	Если даже отведенное для решения проблемы вре-
мя ограничено, попытаться все же получить те факты, ко-
торые необходимы для того, чтобы закончить анализ си-
туации.
Блок выбора альтернативы
Разработать не менее трех и не более семи альтерна-
тив, для чего выбрать: а) две крайние альтернативы;
б) еще одну альтернативу где-либо поблизости от сере-
дины всего спектра альтернатив; в) дополнительные две
альтернативы между отобранными ранее альтернати-
вами.
Блок оценки последствий решения
1.	Подготовить столько специальных бланков для за-
писи хода анализа, сколько имеется альтернатив (фор-
ма 1) .
2.	Записать существо альтернатив на верхнем краю
бланка.
3.	Перечислить преимущества первой альтернативы,
записывая возникающие при этом идеи.
4.	Использовать групповое обсуждение, стремясь по-
лучить максимальное количество идей о преимуществах
альтернативы с самых различных точек зрения (экономи-
ческой, социальной, психологической, охраны окружаю-
щей среды, перспективы, престижа, условий труда, но-
визны, использования для решения других вопросов или
устранения узких мест в других областях и т. п.).
‘/28—73
209
5.	При перечислении преимуществ не пытаться судить
об их качестве. Задача состоит в получении возможно
большего перечня для последующего анализа.
6.	Провести аналогичную процедуру (шаги 3—5) по
недостаткам первой альтернативы.
7.	Повторить процесс перечисления преимуществ и не-
достатков для каждой последующей альтернативы.
8.	Вернуться к первой альтернативе и, начиная с нее,
повторить весь процесс для всех альтернатив.
9.	Отложить работу и через некоторое время еще раз
повторить процесс.
Блок оценки преимуществ и недостатков каждой аль-
тернативы.
1.	Рассмотреть перечень преимуществ и недостатков.
Все ли в нем ясно изложено? Все ли имеет отношение
к проблеме?
2.	Проверить, не являются ли: а) недостаток одной
альтернативы также недостатком некоторых других;
б) преимущество одной альтернативы также преимущест-
вом некоторых других; в) преимущество одной альтерна-
тивы одновременно недостатком другой или нескольких
других альтернатив; г) недостаток одной альтернативы
одновременно достоинством другой или нескольких дру-
гих альтернатив.
3.	Исключить несущественные преимущества и недо-
статки из перечня.
4.	Установить денежную оценку «эффективности»
каждого преимущества и недостатка: а) для простейших
позиций; б) для позиций средней трудности; в) для
наиболее трудных позиций со ссылкой па ранее произве-
денные оценки. Там где только возможно, использовать
аналитические методы для определения оценки. Устано-
вить оценки для каждого пункта преимуществ и недостат-
ков исходя из 100%-ной вероятности их появления.
5.	Переписать на отдельные листы преимущества и не-
достатки каждой альтернативы в порядке их важности.
6.	Оценить вероятность появления каждого преиму-
щества и недостатка.
7.	Вычислить математическое ожидание появления
каждого преимущества и каждого недостатка, для чего
перемножить денежную оценку при 100%-ной вероятно-
сти на вероятность появления каждого преимущества
и недостатка. Сравнить сумму приведенных (ожидаемых)
210
затрат и преимуществ для каждой альтернативы. Свести
весь полученный материал в таблицы.
8.	Тщательно изучить характер оставшихся пре-
имуществ и недостатков, не поддающихся количествен-
ному сопоставлению.
9.	Группируя и сравнивая оставшиеся для качествен-
ного сопоставления преимущества и недостатки каждой
альтернативы, исключить из рассмотрения максимальное
количество взаимно уравновешивающихся элементов.
10.	В зависимости от характера проблемы установить
правила выбора, определения весов и оценки пре-
имуществ и недостатков, оставшихся для качественного
сопоставления. Определить результирующий весовой ко-
эффициент для каждой альтернативы.
11.	Определить способ объединения качественных оце-
нок с количественными и сделать выбор альтернативы
для реализации. Перепроверить еще раз весь ход реше-
ния.
12.	Изложить письменно весь ход решения и аргумен-
тацию (записка,отчет).
После составления ведомости преимуществ и недо-
статков (см. форму 1) заполняется ведомость выбора
лучшей альтернативы (см. форму 2).
Форма 1
Ведомость оценки эффективности альтернативы
Наименование проблемы_________________________________________
Альтернатива__________________________________________________
Единица измерения эффективности 
Предполагаемые преимущества	Оценка при Р— 1	Ожидаемая вероятность появления преимуществ Р(а^	Ожидаемая эффектив- ность преимуществ
«1 аь			
Итого по альтерна- тиве 7г8*			211
Продолженш
Предполагаемые недостатки	Оценка при	Ожидаемая вероятность появления недостатков	Ожидаем ые потери
rfl d2 di"			
Итого и о альтерна- тиве			
Ф <1 р м а 2
Ведомость для выбора лучшей альтернативы
Наименование проблемы________
Единица измерения эффективности
Наименование альтернативы	Суммарная оценка всех преимуществ	Суммарная оценка всех недостатков	Эффективность
				
			
Рассмотрим примеры практического применения это-
го Подхода [44].
В свое время возникла необходимость найти наиболее
дешевый источник получения исходного материала для
известкования кислых почв в Эстонской ССР. Возникло
несколько вариантов решения: воспользоваться таким
традиционным материалом, как молотый гипс, завозя
его из соседней республики (AJ; расширить известковые
заводы в республике и построить специальные цехи по
производству молотой извести (Д2); воспользоваться от-
ходами тепловых электростанций, работающих на сланце
и выбрасывающих в отвалы несколько миллионов тонн
тонкодисперсной золы, содержащей до 30% извести (Аз);
подождать, пока в стране вопрос будет решен в центра-
лизованном порядке (А4).
Приведем перечень наиболее существенных пре-
имуществ и недостатков вариантов Ai — А<.
212 ’
К преимуществам At можно отнести следующие мо-
менты: отсутствие необходимости в капитальных вложе-
ниях на создание, мощностей по производству материала
(ап); материал испытан на практике в течение многих
лет и есть опыт его применения (а12); приемлема макси-
мальная дальность перевозки (ai3); имеются механизмы
для внесения материалов в почву (а14); установлены це-
ны и тарифы на применение материала для нужд сель-
ского хозяйства (а15); при необходимости можно расши-
рить производство материала, и это должен осуществить
другой экономический район за счет своих капитальных
вложений («is). Этот вариант имеет два серьезных недо-
статка: в перспективе мощности по производству молото-
го гипса могут не покрыть потребности республики (</ц);
в условиях дефицита материала могут возникнуть труд-
ности с его распределением (rf]2).
Преимущества А2 сводятся к возможности полного
известкования почв на базе производимого в республике
материала (a2i). Слабости этого варианта состоят в боль-
шом объеме капитальных вложений №1), недостаточной
мощности строительных организаций-для сооружения це-
хов по производству молотой извести в короткие сроки
(с?2г); затягивании решения и потере возможностей повы-
шения урожая (б?2з); недостаточной заинтересованно-
сти и ограниченных капитальных вложениях подотрасли,
производящей вяжущие материалы (d24).
Альтернатива А3 имеет следующие преимущества: ма-
териал представляет собой отходы производства (а31);
материал, кроме извести, содержит некоторые полезные
микроэлементы (аз2); при положительном решении во-
проса материал и метод его применения могут быть ис-
пользованы далеко за пределами республики (а3з); ко-
роткие расстояния перевозки (034); небольшие первона-
чальные затраты (035)- Среди недостатков можно на-
звать: необходимость капитальных вложений в отрасль
энергетики для удовлетворения потребности сельского хо-
зяйства (б?31); риск, связанный с неизвестными побочны-
ми явлениями при применении нового материала (rf32);
отсутствие разработанной технологии внесения мате-
риала в почву — неопределенность (d33); отсутствие ясно-
сти в вопросе'О том, как организовать массовый отбор
сухой золы с электростанций без серьезного нарушения
их работы — риск (d34); ведомственный подход ряда ор-
ганизаций к решению проблемы (</35) -
Преимущество Л4— отсутствие затрат (a4i), а недо-
8-78
213
статки — неопределенность в решении вопроса централи-
зованным порядком (б?41) и ежегодная потеря возможно-
сти получения дополнительного урожая в объеме
175 тыс. т зерна в год (di2).
Сопоставление вариантов показало, что, несмотря на
кажущуюся легкость реализации вариантов At и А4, ва-
риант Д3 многократно превзошел все.варианты по эффек-
тивности затрат.
Таким образом, правильно организованная работа
группы экспертов позволила восполнить недостаток
имеющейся информации и выбрать наилучшее решение.
В результате активного воздействия на ускорение реали-
зации решения вся проблема была успешно разрешена,
и в короткое время получен эффект, равный приросту
урожая порядка 5 ц с гектара (около 175 тыс. т в год).
Рассмотрим еще один пример, характеризующий ра-
циональность подобного подхода к выбору наиболее
предпочтительного варианта хозяйственного решения.
В связи с наличием на электростанциях Эстонской
ССР дешевого материала для известкования кислых
почв (сланцевая зола) возникла задача погрузки и до-
ставки нескольких миллионов тонн этого материала по
железной дороге в ряд областей и республик. Сложив-
шаяся ситуация характеризовалась следующим: отсутст-
вовал способ отбора золы без запыления территории
ГРЭС, технический проект строительства предусматри-
вал большие затраты, существовала настоятельная необ-
ходимость в короткий срок решить вопрос отправки золы
в ряд областей и республик.
Не излагая ход анализа проблемы, приведем лишь по-
лученные от экспертов оценки альтернатив.
Альтернатива А] — производить отгрузку золы в же-
лезнодорожные цистерны непосредственно из-под котлов
ГРЭС. Ее преимущества — отсутствие необходимости
в дополнительных капитальных вложениях (ai); отсутст-
вие помех для работы действующей ГРЭС во время
строительства узла отгрузки золы (а2); возможность не-
медленно начать отгрузку золы (а3). Недостатки —
использование только 25% пригодной для сельского хо-
зяйства золы (cfi); запыление помещений ГРЭС в недопу-
стимых размерах, которое отодвинет начало строительст-
ва, но не исключает его необходимости (d2); сдвиг даты
начала строительства, не исключающий его необходимо-
сти (4з)-
Альтернатива А2 — осуществить строительство по
214
проекту, предложенному энергетиками, с затратой
19 млн. руб. Ее преимущества — немедленное начало ра-
бот («1); наличие подрядной организации, ведущей ра-
боты по завершению строительства ГРЭС (а2); полное
использование всей золы для сельского хозяйства (аз).
Недостатки — значительные затраты на строительство
(rfi); возможная затяжка строительства из-за высокой
стоимости (af2); большие амортизационные отчисления,
из-за которых повышается себестоимость производства
электроэнергии (ds).
Альтернатива Аз — воспользоваться новыми принци-
пами для решения проблемы. Спроектировать заново
все устройство. Преимущества этой альтернативы — со-
кращение расходов в 2 раза (ai) и сроков строительства
на год (аг); применение более надежных устройств (а3).
Недостатки — потеря времени на перепроектирование,
бросовые проектные работы (di); затраты на строитель-
ство (d2); необходимость выделения для отрасли обору-
дования, обычно здесь не применяющегося, длительность
согласования вопроса (d3) (численной оценки этот недо-
статок не имеет).
Сведем данные по оценке альтернатив (с учетом за-
трат, а также сельскохозяйственной эффективности за
10 лет) в табл. 55 и 56.
Таблица 55
Оценка преимуществ альтернатив
Альтер- натива	Преимущество		Оценка при млн. руб.	Ожидаемая вероятность осуществления	Ожидаемая эффектив- ность, млн. руб.
	Л п «3		12	0,8	л 9,6
	Итого по	Ai			9,6
Аг	fl’l «2 а3		36	0,8	28,8
	Итого по	Аг			28,8
8*
215
Продолжение табл. 55
Альтернатива	Преимущество	Оценка при Р=\, млн. руб.	, Ожидаемая вероятность осуществле- ния	Ожидаемая эффектив- ность, млн. руб.
						
	а2	36	0,8	28,8
Аз		—	—	
	Итого по Л3			28,8
Таблица 56
Оценка недостатков альтернатив
Альтер- натива	Недостаток		Оценка при Р—1, млн. руб.	Ожидаемая вероятность осуществление	Ожидаемая эффектив- ность, млн. руб.
л.	di	13,0 d2	1,0 dg	—			0,9 1,0 1,0	11,9 1,0
	Итого по А,				12,9
Л2	dt	19,0 d2	6,0 d3	—			1,0 0,5	19,0 3,0
	Итого по Л2				22,0
 Л	И т с	dt ‘ ^2	6 9	0,3 1,0	1,8 9,0
		ГО ПО Лз			10,8
Сводная ведомость по трем альтернативам приведена
в табл. 57.
Была избрана и реализована альтернатива А3, обе-
спечивающая экономию затрат в расчете на 10-летний
период в сумме 18 млн. руб.
216
Таблица 57
Оценка ожидаемого эффекта
при различных способах отгрузки золы
Альтернатива	Оценка преимуществ, млн. руб.	Оценка недостатков, мли. руб.	Конечный эффект, млн. руб.
Аг	9,6	12,9	-3,3
а2	28,8	22,0	4-6,8
А3	28,8	10,8	4-18,0
Приведенный пример интересен тем, что поиск лучше-
го решения был осуществлен силами специалистов, имею-
щих только общее представление о топливном и зольном
хозяйстве ГРЭС, но зато не обремененных привычными
для этой области решениями и знающих, как решаются
аналогичные вопросы о применении пневматического
и трубопроводного транспорта в цементной, мукомоль-
ной промышленности и в морских портах при погрузке
сыпучих материалов.
5.3.	ЭКСПЕРТНЫЕ ОЦЕНКИ ПРИ ВЫБОРЕ
МНОГОКРИТЕРИАЛЬНЫХ РЕШЕНИЙ
Многокритериальность, наряду с неопределен-
ностью, является одной из важнейших причин, вызываю-
щих необходимость применения экспертных методов при
выборе наиболее предпочтительного решения. Особен-
ность такого выбора состоит в том, что приходится ис-
пользовать различные подходы к обобщению разнород-
ных критериев и различные правила выбора наиболее
предпочтительной альтернативы в зависимости от суще-
ства проблемы и предпочтений лица, принимающего ре-
шение..
При системном подходе к решению многокритериаль-
ных (векторных) задач стремятся обеспечить надлежа-
щую организацию процесса принятия решения, включаю-
щего в себя следущие этапы:
—	составление перечня допустимых вариантов реше-
ния;
—	составление перечня критериев, которые должны
учитываться при оценке каждого варианта;
—	разработку оценочных шкал для всех критериев;
—	формирование оценок всех вариантов решений по
каждому критерию;
217
—	выявление структуры предпочтений лица, прини-
мающего решение;
—	формирование решающего правила;
—	оценку предпочтительности альтернатив на основе
решающего правила принятия решения.
В последние годы появилось много публикаций, по-
священных многокритериальным решениям, однако число
Рис. 20. Взаимосвязь факторов, определяющих -выбор экспери-
ментальных установок
работ, свидетельствующих о практическом использовании
предлагаемых методов, пока еще не велико. В связи
с этим покажем лишь несколько апробированных подхо-
дов к выбору таких решений, рассмотрение которых до-
статочно полно иллюстрирует процесс оценки и выбора
альтернатив по комплексу технико-экономических крите-
риев.
Рассмотрим методику выбора экспериментальных
установок, необходимых для проведения научных иссле-
дований, испытания моделей и образцов новой техни-
ки [45]. Такие установки должны создаваться заблаговре-
218
менно, за несколько лет до начала разработки новой тех-
ники, причем их эффективность оценивается по несколь-
ким критериям.
Взаимосвязь факторов, определяющих выбор устано-
вок, показана на рис. 20.
Работа по формированию, сбору и математической об-
работке информации, полученной от экспертов, состоит
в этом случае из пяти этапов. На первом специально со-
зданная комиссия из ведущих специалистов и ученых
разрабатывает анкеты, включающие перечень вопросов
по видам перспективной техники, направлениям исследо-
ваний и перспективным экспериментальным установкам.
Анкеты рассылаются широкому кругу специалистов
в данной области для дополнения и уточнения. С по-
мощью этой же комиссии осуществляется выбор экспер-
тов из числа наиболее квалифицированных работников.
На втором этапе экспертам предлагается заполнить три
матрицы (табл. 58—60).
Таблица 58
Матрица 1. Оценка видов перспективной техники
Эксперт	Вид перспективной техники (0				Суммар- ная оценка
	1	2		а	
1	Лц			Ala	1,00
2	Л21	-^22			1,00
т	, Ami			^та	1,00
Средняя								
оценка	Лг	А?		Аа	
Таблица 59
Матрица 2. Оценка основных направлений исследований
Основное направ- ление исследова- ний (/>	Экс- перт («)	Вид перспективной техники (/)				Суммарная оценка по всем видам техники	
		1	2		а	В	^скор
1	1 2 т	Вп	В12		В1а	Bl	В1 скор
219
Продолжение табл. 59
Основное направление исследований (/)	Экс- перт (и)	Вид перспективной техники (0				Суммарная оценка по всем видам техники	
		1	2		а	В	^с«ор
2	1 2 m	В21	со | to	«	...	со | to !	О	в.	Вгскор
							
k	1 2 m			...	Bka	Bk	Bk скор
Суммарная оценка всех направлений исследований		100	100	• • .	100	100	100
Таблица 60
Матрица 3, Оценка перспективных экспериментальных установок
Экспериментальная установка (у)	Экс- перт («)	Основное направление исследования (/)				Суммарная оценка установки	
		1	2		k	С	г ''скор
1	1 2 m	Си	Cl2		Cife	С1	£1 скор
2	1 2 m	С21	С22	•..	Сай-	С2	С 2 скор
					...		
220
Продолжение табл. 60
важность перспективной техники, разработка которой
требует создания новых экспериментальных установок.
При этом суммарная оценка всех видов техники должна
быть равна единице, а оценка каждого из них должна со-
ставлять определенную долю единицы (два знака после
запятой) в зависимости от его относительной важности.
В матрице 2 нужно дать оценку основным направлениям
исследований в зависимости от их важности для создания
того или иного вида техники при условии, что сумма всех
оценок для каждого вида техники равна 100. В матрице 3
надо дать оценку важности основных экспериментальных
установок с точки зрения обеспечения каждого из на-
правлений научных исследований. Если эксперименталь-
ная установка имеет принципиально важное значение, ей
присваивается балл 2, если опа необходима, но не имеет
важного значения — балл 1, если не нужна — балл 0.
На третьем этапе после заполнения матриц 1, 2, 3 про-
изводится математическая обработка полученных данных
и выявляется взаимосвязь между матрицами. Рассмот-
рим некоторые особенности этого этапа.
По данным матрицы 1 суммарная оценка Aj для i-ro
вида техники, присвоенная m экспертами, определяется
как средняя арифметическая оценок Ami:
тп
^Ami
—.
m
Таким образом, обработка данных матрицы 1 позво-
ляет установить относительную важность каждого вида
перспективной техники.
В соответствии со схемой рис. 20 оценки, которые да-
221
ли эксперты основным направлениям исследований в мат-
рице 2, скорректированы с учетом оценок важности каж-
дого вида новой техники. Так, если Аг — оценка важности
i-ro вида техники, а Вц — оценка важности /-го направ-
ления исследования для t-ro вида техники, то скорректи-
рованная оценка Bj скор важности /-го направления иссле-
дования по i видам техники
^/скор У,	-
i => I
Выбор экспериментальных установок определяется
их важностью для перспективной техники и основных на-
правлений исследований, поэтому оценки матрицы 3 кор-
ректируются с учетом скорректированных оценок матри-
цы 2. Так, если оценка у-й экспериментальной установки
для /-го направления исследования Cyj, то скорректиро-
ванная оценка важности экспериментальной установки
до k направлениям исследований равна:
Зная ориентировочную стоимость каждой эксперимен-
тальной установки и оценивая предполагаемые бюджет-
ные ограничения на перспективный период, можно вы-
брать из перечня установок наиболее предпочтительные,
т. е. такие, которые получили наибольшую скорректиро-
ванную оценку и могут быть созданы с учетом имеющих-
ся финансовых возможностей.
На четвертом этапе осуществляется выбор вариантов
исполнения перспективных установок. Технико-экономи-
 ческие критерии эффективности их создания и примене-
ния подразделены на три группы: 1) эксплуатационные
(соответствие, надежность, отдача); 2) экономические
(стоимость создания, расходы, экономическая эффектив-
ность эксплуатации); 3) технический успех (техническая
осуществимость, развитие, чувствительность).
В табл. 61 представлены критерии выбора и их опре-
деление.
Суммарная оценка эффективности рассматриваемых
вариантов технического исполнения базируется на ком-
плексе технико-экономических критериев. При определе-
. нии количественных оценок по каждому из / критери-
ев должны быть максимально использованы статистиче-
ские данные. При суммировании по каждому критерию
222
Таблица 61
Критерии выбора
Группы критериев	Критерии	Определение критерия
1. Эксплуа- тацион- ные	Соответствие Надежность Отдача	Вероятность обеспечения запроекти- рованных выходных параметров при эксплуатации установки Вероятность обеспечения безотказной работы при сохранении первоначаль- ных технических характеристик в те- чение определенного времени Объем информации, полученной за ка- лендарный период
2. Экономи- ческие	Стоимость со- здания Расходы	Затраты на строительство установки Планируемые расходы на исследова- ние н разработку установки
	Экономическая эффективность эксплуатации	Отношение объема информации к за- тратам на ее получение за период эксплуатации установки
3. Техниче-	Техническая	Вероятность создания установки с
скин ус-	осуществи-	заданными характеристиками к тре-
пех	мость Развитие Чувствитель- ность	буемому сроку Вероятность дальнейшего улучшения технических характеристик установки Степень изменения выходных пара- метров при изменении входа
можно применять относительные величины. Это позво-
ляет установить примерные границы эффективности ва-
риантов. Вначале проводится оценка q групп критериев
по е вариантам так, чтобы сумма оценок «весов» всех
групп критериев была равна единице (табл. 62).
Таблица 62
Оценка групп критериев по вариантам
Группы критериев	Вариант		установки	
	1	2		е
1	Dn	D12		D\e
2	Du			D.y.
q		Dqz		Dqe
Суммарная оценка	1	1		1
223
Относительное значение каждого из f критериев опре-
деляется с помощью экспертных оценок. Значение каждо-
го критерия Sfe (матрица 2, табл. 63) определялось как
Таблица 63
Абсолютные значения (матрица 1), относительные (матрица 2)
и относительные взвешенные (матрица 3) оценки критериев
Критерии	Матрица 1				Матрица 2				Матрица 3			
	Вариант установки				Вариант установки				Вариант установки			
	1	2		е	I	2		е	I	2		e
1 2	Rn /?21		...	Rle	Sil *$21	*512 *$22		*$2^	3'11 $21	22	...	S'i&
7	Rjl	Я/2	...		S/1	S/2				S/2	...	S fe
Суммарная оценка			—		.—.	100	100		100	S'l	S't		s e
средневзвешенная оценка, исчисляемая перемножением
«веса» Dge каждой группы критериев на оценку в баллах,
установленную экспертами для каждого из f критериев.
Суммарное количество баллов всех критериев было при-
нято равным 100.
Пятый этап выбора варианта установок заключается
в математической обработке оценок и принятии решения.
Для сопоставления вариантов по нескольким критериям
абсолютные величины критериев (матрица 1) привб-.
дятся к относительным взвешенным оценкам S'fe (матри-
ца 3). Значения критериев взвешиваются методом линей-
ной интерполяции. Для этого варианту, имеющему
наибольшую абсолютную величину критерия (Д/ешах),
присваивается оценка, равная значению критерия S'fe
(матрица 2); варианту с наименьшей абсолютной вели-
чиной критерия присваивается оценка, равная 0.
Скорректированные оценки для остальных (промежу-
точных) вариантов S'je определяются по формуле
S’, ,_ Smax(R/e ' Ят1п)	(50)
fe Rfe max ^?min
где Smaj—.максимальная оценка; Rmax — максимальное
~~а(Тсблютцое значение показателя; Дюш — минимальное
224
абсолютное значение показателя; /?/е — абсолютное зна-
чение показателя, для которого вычисляется скорректи-
рованная оценка.
Оценки S'fe проверяются на чувствительность, под ко-
торой понимается степень изменения результатов в зави-
симости от изменения исходных данных. Рассматривают-
ся технические характеристики, стоимостные величины .
и дополнительные ограничения. Диапазон отклонений i
«на выходе» в зависимости от изменений «на входе» ха-
рактеризует обоснованность расчетов; высокая степень
чувствительности на выходе при малых изменениях на
входе говорит о неустойчивости используемой модели.
На основании анализа чувствительности оценок, полу-
ченных в каждом варианте, принималось решение о вы-
боре наиболее предпочтительной экспериментальной
установки.
Методика обеспечивает комплексную технико-эконо-
мическую оценку основных факторов, оказывающих
влияние на создание и эксплуатацию перспективных си-
стем. Рассмотренная методика может быть использована
также и при решении некоторых других проблем разви-
тия науки и техники.
Экспертные оценки могут быть применены для взаим-
ной увязки нескольких критериев с целью получения
комплексной оценки «качества» альтернативных си-
стем [46].
Наилучшим методом количественной оценки общего
критерия, с помощью которого можно выбрать наиболее
предпочтительную систему, было бы определение всех
важных для каждой конкретной альтернативной системы
технико-экономических параметров и непосредственное
сопоставление их. Однако из-за наличия нескольких аль-
тернативных систем и ряда критериев, подлежащих
оценке, а также ограничений по времени, при выборе
наиболее предпочтительной системы был применен стан-
дартный список критериев, который включал: 1) стои-
мость; 2) гибкость (возможность , использования систе-
мы); 3) технические требования; 4) надежность; 5) риск
по времени (невыполнения намеченных сроков); 6) тех-
нический риск.
Аналитическое определение комплексного критерия
системы весьма затруднительно, поэтому он определялся
на основе экспертных оценок, полученных от группы, со-
стоящей из семи руководителей проектов. Методика, ис-
225
пользованная при этом, представляла собой модифициро-
ванный метод Дельфы.
При установлении оценок бралась комбинация не-
скольких методов обработки данных, полученных от
экспертов. Прежде всего было произведено ранжирова-
ние критериев. С этой целью для каждой из трех альтер-
нативных систем каждого эксперта установили числен-
ные ранги критериев: 1) для самого важного критерия;
2) для критерия, следующего по важности, и т. д. Затем
экспертов просили выполнить серию последовательных
сравнений, т. е. решить, является ли критерий, которому
оп присвоил первый ранг, более важным, чем все осталь-
ные критерии, вместе взятые (в комбинации); затем про-
извести ту же операцию по отношению ко второму крите-
рию и т. д. После этого результаты ранжирования ком-
бинировались, определялась их корреляция и устанавли-
валось множество «истинных» рангов. Полученные резуль-
таты оценки обсуждались экспертами с тем, чтобы вы-
явить наиболее значительные расхождения и необходи-
мость проведения второго тура ранжирования. Наконец,
экспертам сообщали окончательные ранги критериев
и просили оценить их, т. е. дать каждому численное зна-
чение между 0 и 1,0 в зависимости от важности, причем
самый важный критерий принимался за 1,0. С этой целью
семь множеств ранжировок усреднялись, а затем сравни-
вались с множеством взвешенных факторов, полученных
из первоначальных ранжировок.
Рассмотрим процедуру анализа комплексного крите-
рия систем подробнее.
Основные этапы экспертной оценки следующие. Преж- '
де всего определялись истинные ранги системы. С этой
целью отдельные ранжировки полученные от семи
экспертов, табулировались для трех альтернативных ва-
риантов системы — А, В и С. Пример табулирования
ранжировок приведен в табл. 64.
Средняя сумма рангов'дляЦсритериев при т экспер-
тах рассчитывается так: гг3-=/п(|г1+ 1)/2 = 24,5. В табли-
це также показаны значения отклонения от среднего S
(см. формулу (29)).
Коэффициент конкордации рассчитывался по формуле
W = ----—------= 0,706 (для системы А),
где т = 1 — число экспертов; и=6 — число критериев;
5 = 605,5 — сумма квадратов отклонений.
226
Таблица 64
Ранжирование системы А
Связанные факторы (критерии)	Эксперт							Сумма рангов	<U о к t. с-	Квадрат откло- нения	Истин- ный ранг
	1	2	3	4	5	6	7		о П °—.		
									Отк ине сред (24,1		
Стоимость	1	4	2	4	3	5	2	21	-3,5	12 1/4	3
Г ибкость Технические ха	6	5	6	5	5	6	5	38	13,5	182 1/4	6
рактеристики	2	2	1	2	1	2	1	11	-13,5	182 1/4	1 2'
Надежность	3	1	3	3	2	1	3	16	—8,5	72 1/4	
Риск по времени	5	6	5	6	6	3	6	37	12,5	156 1/4	5
Технический риск	4	3	4	1	4	4	4	24	—0,5	1/4 605,5	4
Значения рангов для каждого t-ro критерия склады-
7
вались и на основании суммы оценивался истин-
7=1
ный ранг по всем п критериям. Естественно, что самую
маленькую сумму получили критерии самого высокого
ранга. Если две суммы были равны между собой, соот-
ветствующие два критерия ранжировались на основе
сравнения суммы квадратов отдельных рангов, назначен-
ных для них. Окончательные ранги проверялись на значи-
мость с помощью оценки их корреляции или анализа
согласованности мнений экспертов. Эти ранжировки, их
средние и оценки критерия обсуждались на совещании
группы экспертов.
Затем проводился второй тур экспертизы. Сравнение
результатов двух туров приведено в табл. 65.
Таблица 65
Результаты двух туров оценки систем
Фактор (критерий)	Система					
	А		В		С	
	1-й тур	2-й тур	1-й тур	2-й тур	1-й тур	2-й тур
1. Стоимость	3	4	3	3	4	4
2. Гибкость	6	6	2	2 •	6	6
3. Характеристики	1	1	1	1	1	1
4. Надежность	2	2	4	4	2	2
5. Риск во времени	5	5	6	6	5	5
6. Технический риск	4	3	5	5	3	3
Коэффициент конкорда- ции	0,706	0,858	0,780	0,874	0,396	0.746
227
Из таблицы видно, что коэффициенты конкордации
во втором туре во всех случаях увеличились. Окончатель-
ные ранги остались теми же, за исключением небольшого
смещения между стоимостью и риском для системы А.
Это не так существенно, поскольку эти два фактора
в обоих турах рассматривались как взаимосвязанные.
После второго тура проводилась нормализация полу-
ченных оценок. Для этого преобразованные (переверну-
тые) ранги суммировались по каждому критерию; эта
сумма, деленная на сумму рангов по всем п критериям
и т экспертам, и представляла собою взвешенный фак-
тор. Результаты деления весов факторов на самый боль-
шой из них принимались за нормализованные веса. Окон-
чательные результаты этих преобразований для каждой
из трех альтернативных систем показаны в табл. 66.
Таблица 66
Взвешенные и нормализованные факторы
Фактор (критерий)	Преобразованный ранг			
	после первого тура		после второго тура	
	доля от полного	нормали- зованный	доля от полного	нормали- зованный
		Система А		
1	0,259	1,0	0,283	1,0
2	0,224	0,87	0,238	0,84
3	0,190	0,73	0,178	0,63
4	0,170	0,67	0,147	0,52
5	0,082	0,32	0,099	0,35
6	0,075	0,29	0,055	0,19
		Система В		
1	0,265	1,0	0,282	1,0
2	0,218	0,82	0,232	0,82
3	0,211	0,80	0,189	0,67
4	0,177	0,72	0,166	0,65
5	0,109	0,44	0,126	0,49
6	0,095	0,39	0,046	0,18
		Система С		
1	0,245	1,0	0,255	1,0
2	0,197	0,80	0,218	0,86
3 •	0,177	0,72	0,189	0,74
4	0,177	0,72	0,166	0,65
.	5	0,109	0,44	0,126	0,49
6	0,095	0,39	0,046	0,18
228
Из последовательных сравнений ффакторов, которые
делались в первом туре, не было получедено существенных
результатов, поскольку ответ экспертов в на подавляющее
большинство вопросов был отрицате;ельным. В связи
с этим была сделана вторая попытка прсроизвести последо-
вательные сравнения: эти результаты^ можно было бы
использовать для проверки согласованнсюсти и состоятель-
ности оценок. С этой целью ранжировкой, полученные от
семи экспертов для трех систем, были «табулированы, как
показано в табл. 67. Значения для каждого из критериев
	Эксперт			
тор				
(кри- терий)	I	2	3	4
1	1,0	1,0	1,0	1,0
2	0,9	0,9	0,8	0,6
3	0,7	0,7	0,6	0,3
4	0,5	0,65	0,3	0,2
5	0,4	0,6	0,2	0,15
6	0,2	0,4	0,1	0,1
Сравнена критериев
Таблица- 67
'—			о Сумма весов (2)	д 7	Стан- дарт- ное от- клонение (<П
5	6	7			
1,0	1,0	1,0	j 7,0	1,0		-
0,9	0,9	0,9	5,9	0,843	0,105
0,7	0,6	0,8	4,4	0,629	0,148
0,5	0,6	0,7	3,65	0,521	0,131
0,4	0,3	0,4	2,45	0,350	0,139
0,1	0,3	0,2	1,35	1,193	0,115
складывались и делились па чтобы получить среднее
значение, которое использ°валось в каччестве взвешиваю-
щего фактора.
Для определения инди®ВДУальных овтклонении назна-
ченные экспертами величины рангов сравнивались со
средним значением. РасСматРивалосв стандартное от-
клонение ст для каждого критерия. В результате были
получены взвешенные оценки, которые  нормализовыва-
лись и затем сравнивались с оценками, полученными ме-
тодом «перевернутых» рангов (табл. 66). Результаты
сравнения оценок, полученных двумя этими методами,
имели хорошую сходимость-
Так, сравнение показало, чт0 на^эта пе ранжирования
критерии «стоимость», «технический риск» и «гибкость»
были расположены немного ниже по накале оценок для
системы А, «стоимость» и «надежность» — немного ниже
для В, а «гибкость» — существенно ниже для С. Все дру-
гие критерии оказались в пределах 10/о-ного расхож-
дения.
Полученные результаты хорошо согласуются с оцен-
ками, определенными мет0Д°м последовательных сравне-
229.
ний, поскольку нет ни одного критерия, оценки которого
были бы выше, чем сумма для всех четырех взвешенных
факторов из перечисленных в табл. 64.
После установления взаимоувязанных критериев
и определения взвешенных оценок был разработан метод
определения комплексной оценки «качества» систе-
мы — /Сс.
В начальной стадии исследования испытывалась мо-
дель, представляющая собой мультипликационно-экспо-
ненциальное уравнение вида
где п — число рассматриваемых критериев; wit Wj —
взвешенные оценки критериев; Д-, f, — ценностные меры
.	. £w,
критериев t и /; ц1 —соответствует предпочтительным
критериям, a fj/ —непредпочтительным.
Выбор по.максимуму Кс возможен, когда значения ft
и fj соответствуют высоким уровням данного признака.
При использовании комплексного критерия такого ви-
да значения отдельных критериев могут быть больше
единицы, поскольку приходится оперировать с относи-
тельными величинами. Когда некоторым критериям за-
даны нулевые значения (например, «нулевой риск»),
Кс стремится либо к бесконечности, либо к нулю, что
приводит к исключению из рассмотрения всех других кри-
териев. Поэтому эту модель нельзя считать подходящей
для получения комплексной оценки альтернатив.
Далее были испытаны модели вида
Р	п—р
1=\	1=1
и
Р	п—р
<=1	7 = 1
Если какой-либо критерий имеет пулевое значение, то
при использовании этих моделей он исключается из рас-
смотрения, причем это не влияет на оценку оставшихся
критериев. Такие модели лучше предыдущей, так как они
обеспечивают получение взвешенных коэффициентов
230
(в виде процентов от общего), которые берутся непос-
редственно с учетом соответствующих весов, назначен-
ных экспертами.
Проблемой при использовании моделей такого вида
является то, что Кс может принимать отрицательные
значения, причем оптимальному выбору соответствует
оценка с наименьшим отрицательным числом. В таких
случаях приходится «выбрать наихудшее из плохого».
Следующая модель (она и была выбрана) представи-
ла собой аддитивную взвешенную оценку вида
п	п
=	2^ = 1,о,	(51)
i=i	i=i
где fj приводятся в соответствии с fi путем преобразова-
ния или нормализации по минимальному значению, а не
по максимальному значению взаимовлияющих критериев.
Например, значения критерия «надежность», данные
вначале в виде количества отказов системы (непредпоч-
тительный признак), были преобразованы так, чтобы по-
лучить среднее время между отказами.
В этой модели высокие значения критериев соответст-
вуют наиболее предпочтительным условиям. Для отдель-
ных случаев, которые возникали при нулевой оценке кри-
терия, они не преобразовывались, а вычитались из общей
оценки, как и в предыдущей модели. Оптимальная систе-
ма соответствовала максимальному значению К.с- В моде-
ли этого -типа желательно иметь независимые критерии,
иначе неявно взвешенные коэффициенты могут войти
в общую оценку. В данном исследовании критерии были
независимыми. Этого, конечно, может и не быть, когда,
например, во имя экономии на издержках надежность си-
стемы должна быть снижена.
Для того чтобы оценивать и выбирать варианты си-
стемы с помощью количественного анализа, необходимо
иметь численные значения критериев fi. Значения ft оп-
ределялись для всех вариантов данной системы с по-
мощью эксперта, наиболее । компетентного в отношении
этой системы. Наиболее высокие оценки были получены
для стоимости, надежности (частота отказов) и харак-
теристик, зависящих от особенностей системы. Стоимость
и надежность были преобразованы, а затем нормализо-
ваны по максимальным значениям; при этом максималь-
ному значению давалась оценка 1,0. При предваритель-
231
ном оценивании значения характеристик были также нор-
мализованы по максимуму.
Контрольными правилами для ранжирования харак-
теристик были: 1) назначение оценки 9,0 для факторов,
которые слабо удовлетворяют требуемым характеристи-
кам; 2) назначение оценки 10 для факторов, которые
лучше всего представляют группу; 3) оценка других при-
емлемых альтернатив пропорционально в диапазоне от 9,0
до 10,0. Применение этой методики упрощает взвешива-
ние характеристик. Численные расхождения между аль-
тернативами при этом малы и слабо влияют на выбор си-
стемы в целом.
Учитывая наличие неопределенности при вычислении
оценок критериев и их весов, следует с осторожностью
использовать их точечные значения при выборе наиболее
предпочтительного решения. В ситуациях, когда имеется
возможность оценить функции распределения этих вели-
чин, задача выбора предпочтительной альтернативы уп-
рощается. Однако вследствие сложности расчета таких
функций приходится ограничиваться получением 'онеч-
ных точек диапазона распределений. Даже и в этом слу-
чае сравнение всех возможных вариантов требует значи-
тельных усилий и затрат времени. Поэтому в данной ме-
тодике использовался компромиссный подход, при кото-
ром номинальные точечные оценки для критериев и их ве-
сов проверялись на чувствительность. С этой целью они
варьировались в пределах ± 10%, но так, чтобы их сумма
для каждого критерия была равна единице (табл. 68).
Табл и ц а 68
Проверка на чувствительность оценок
Номер критерия	Номинальная оценка (ранг)	Минимакс	Максимин
1	1	0,9	1,1
2	2	1,1	0,9
3	3	0,9	1,1
4	4	1,1	0,9
5	5	0,9	1,1
6	6	1,1	0,9
Столбец таблицы «минимакс» формировался так, чтобы
оценки веса для первого (наиболее важного), третьего
и пятого критериев (в порядке их ранжирования) были
232
минимальными (w—10% w)- Столбец «максимин» фор-
мировался таким образом, чтобы первый, третий и пятый
критерии получили максимальные оценки (к>+10% w).
В результате было получено два новых ряда оценок,
причем в отдельных случаях менялся порядок ранжиро-
вания. Эти изменения рассматривались экспертами,
и окончательное решение о предпочтительности альтерна-
тив зависело от величины комплексной оценки, от содер-
жательного смысла и важности того или иного критерия.
Хотя показанный подход к комплексной оценке каче-
ства альтернатив с помощью экспертов не универсален,
применение его значительно облегчает процесс приня-
тия многокритериальных решений.
Другим направлением оценки многокритериальных
решений в технико-экономических задачах, включающих
неопределенность, являются расчеты так называемой
аддитивной функции полезности. Эти расчеты основаны
на ряде аксиом предпочтения, которые устанавливают
(в формальном математическом смысле) способность
(и возможность) индивида ставить в соответствие каж-
дой альтернативе некоторое число (полезность) и строить
соответствующие функции. Достоинством такого подхо-
да является его относительная простота. К сожалению,
вопрос о том, имеется ли возможность построить адди-
тивную функцию в том или ином конкретном случае, ча-
сто остается открытым. По существу, все утверждения,
касающиеся существования функции полезности в каж-
дом случае, связаны с возможностями перехода от каче-
ственного сравнения объектов к их количественным оцен-
кам [47].
5.4. ДЕРЕВЬЯ РЕШЕНИЙ ПРИ ВЫБОРЕ
НАПРАВЛЕНИЙ ИССЛЕДОВАНИЙ
И РАЗРАБОТОК.
При долгосрочном планировании научных ис-
следований и опытно-конструкторских разработок
(НИОКР) особое значение имеет установление связей
между различными этапами и компонентами работ,
а также учет предполагаемого влияния внешних условий,
имеющих существенное значение для хода процессов
НИОКР. Задача заключается также в обеспечении си-
стемного анализа с целью выбора вариантов тематики
и сочетаний этапов НИОКР, которые должны быть
9-73
233
комплексом эффективных компонентов, образующих,
однако, при их сочетании единый процесс и систему.
При решении такой задачи, как правило, возникает
множество альтернатив и ограничений, требующих по-
стоянных увязок, оценок вероятности успеха и выработки
компромиссных решений. Следует учитывать также воз-
можность того, что в определенные моменты времени
в будущем процесс НИОКР может развиваться не в од-
ном, а в нескольких направлениях и что проблема выбора
возникает здесь неоднократно.
Часто случается, что какой-то из двух или нескольких
этапов работы может быть начат после достижения опре-
деленного результата на предыдущих этапах, но развитие
работ на большинстве из этих этапов зависит от того, ка-
ков ход работы на одном из них — основном. В некото-
рый момент времени может оказаться, что необходимо
ориентироваться на последующие этапы работы и, если
ход НИОКР здесь не удовлетворяет заданным требова-
ниям, вернуться назад и развивать все остальные работы
в другом направлении.
Планируя НИОКР, следует учитывать ограничения
во времени и ресурсах, которые также не всегда можно
оценить однозначно. В этих условиях постановка пробле-
мы планирования НИОКР может быть следующей: с ка-
кой степенью вероятности в достижении успеха процесс
НИОКР будет иметь положительный результат и на ка-
кие затраты времени и средств можно рассчитывать?
Осуществляя выбор тематики НИОКР и анализируя
возможные варианты планового развития работ, часто
приходится «переступать» границу области «точных» зна-
ний и ориентироваться на вероятностные оценки, полу-
ченные от экспертов. Надежность таких оценок растет
при ограничении размеров решаемой задачи или раз-
биении ее на подзадачи и последующем решении их по
частям.
Известный метод последовательного расчленения
основных целей на элементы и задачи, обеспечивающие
достижение этих целей, позволяет создать систему
«взвешенных» связей, которая называется деревом целей.
Для успешного применения этого метода необходимы
входные данные трех основных видов:
—	четко определенные цели, задачи, системы и их
компоненты на всех уровнях;
—	взаимосвязанные критерии для измерения относи-
тельной важности составляющих на каждом уровне;
234
— числовые оценки значимости по критериям каж-
дого уровня.
При наличии таких данных дерево целей может слу-
жить основой для выбора наиболее предпочтительных
вариантов НИОКР, а также для оценки состояния разра-
батываемых систем и их взаимосвязей.
Следует отметить, что взаимосвязь задач в дереве це-
лей устанавливается безотносительно от вероятности
промежуточных исходов и возможных вариантов реше-
ний; при этом не учитывается, что исключение или добав-
ление нескольких промежуточных звеньев оказывает
влияние на программу работ в целом.
Другая серьезная трудность связана с необходи-
мостью численной оценки и синтеза различных техниче-
ских, временных и стоимостных характеристик альтерна-
тив, что плохо обеспечивается при использовании прин-
ципа дерева целей.
Для ликвидации некоторых из этих трудностей при
выборе НИОКР может быть использован принцип раз-
ветвляющегося дерева, ориентированного не на
цели, а на процесс. Ориентация на процесс обеспе-
чивает анализ динамики последовательных во времени
этапов программы НИОКР с учетом вероятностных исхо-
дов каждого из этапов. При разработке новой техники
такие этапы программы могут быть представлены в виде
цепи событий, которые произойдут с момента зарожде-
ния идеи до момента создания образцов нового техниче-
ского устройства.
Принцип разбиения программ на отдельные этапы
широко используется в известных методах сетевого пла-
нирования. Вместе с тем построение сетевых графиков
‘основано на предположении, что каждое действие (рабо-
та) между двумя результатами (событиями) является
единственным и что переход от одной работы к другой
безусловен, т. е. предполагается, что все события реали-
зуются с вероятностью, равной 1.
Однако в практической деятельности и особенно в на-
учных исследованиях и при разработке новой техники
значительная часть работ является качественно новой
и недостаточно определенной в отношении технического
осуществления, затрат и сроков. Кроме того, при выпол-
нении работ возможны различные варианты сочетаний
и переходов между промежуточными этапами. Так, при
выполнении исследовательской работы или научного
эксперимента ученый не всегда может заранее устано-
9*
235
вить, приведут ли они к желаемому результату. Более
того, в ряде случаев нельзя достаточно определенно
представить, каков будет и сам результат. В процессе
проектирования сложного технического устройства всег-
да существует возможность использования различных
конструктивных схем, причем вероятность того, что каж-
дая из этих схем обеспечит получение устройства с ожи-
даемыми техническими характеристиками к требуемым
срокам, также не равна единице.
Аналогичные ситуации возникают при анализе вари-
антов долгосрочных планов, вероятность осуществления
каждого из которых зависит от вероятности выполнения
различных этапов работ, их сочетаний и вариантов внеш-
них условий.
Во всех таких случаях возникает сложная логическая
ситуация, когда каждая работа является случайной ве-
личиной, а наступление каждого из ожидаемых событий
сети зависит от вероятности осуществления предыдущих
событий и от внешних условий.
Анализ таких ситуаций может быть выполнен с по-
мощью деревьев решений, обеспечивающих моде-
лирование сложных ситуаций, возникающих при выборе
направлений научных исследований, вариантов разрабо-
ток и капитальных вложений. Дерево решений включает
в себя варианты действий, а также возможные события
и результаты действий, на которые оказывают влияние
случайности и неконтролируемые нами факторы. Естест-
венно, что результаты различных вариантов решений
основаны на информации, имеющейся у нас в момент
принятия решения. Несмотря на то что какие-то из этих
событий не будут реализованы, принимая решение о вы-
боре, необходимо дать оценку вероятности их свершения.
Такие оценки могут быть суммированы, что позволяет
рассчитать условную вероятность достижения каждого
из возможных результатов. Эти результаты при анализе
проблем научно-технического прогресса могут быть вы-
ражены в виде ожидаемой величины затрат на осуществ-
ление каждого из действий или возможных результатов,
которые будут получены от каждого из вариантов
НИОКР.
Помимо этого, с помощью такого дерева в сложной
цепи решений можно учитывать фактор времени и за-
траты, анализируя дерево, начиная с последнего из ре-
шений в направлении, обратном течению времени, вплоть
до исходного решения и оценивая относительную важ-
236
ность каждого узла дерева как разницу между ожи-
даемыми затратами на его достижение и предполагаемы-
ми результатами.
Принципы стохастических сетевых моделей, положен-
ные в основу деревьев решений, разработаны С. Элмагра-
би [48], Г. Эйснером [49].
Ветви таких деревьев являются дугами (работами)
сети с двумя или несколькими конечными узлами (собы-
тиями). Узлы — это состояния, в которых возникает воз-
можность выбора как вследствие действий лица, прини-
мающего решение, так и из-за влияния внешних, некон-
тролируемых факторов («природы»). В схемах деревьев
решений квадратами обозначаются узлы, где выбор про-
изводит принимающий решение, а кружками — узлы,
в которых выбор зависит от влияния внешних условий.
Рассмотрим теперь схему дерева решений для выбора
вариантов капиталовложений [50] и оценим возможности
ее применения для анализа и выбора направления
НИОКР.
Использование такой модели, обладающей значитель-
но более расширенной логической схемой, чем сетевой
график, обеспечивает моделирование процесса выбора
с помощью метода последовательных приближений. Мо-
дель позволяет учитывать неопределенность не только
в смысле времени выполнения работ, но и в отношении
случайности их появления и завершения. Применение
итеративного процесса, положенного в основу расчетов
при анализе дерева решения, позволяет установить чис-
ленные оценки вероятности успеха возможных исходов.
Последовательность процедуры выбора наиболее
предпочтительных альтернатив НИОКР с помощью де-
рева решения может быть представлена в виде следую-
щих основных этапов:
1)	анализ проблемы, т. е. установление возможных
вариантов решений, которые могут быть приняты, и фак-
торов, которые могут оказать влияние на результаты
решений;
2)	оценка вероятности каждого из событий сети
и расчет суммарной вероятности каждого исхода;
3)	распределение затрат по видам работ и оценка
стоимости «задержки»;
4)	последовательная переоценка событий с учетом
предварительных результатов.
Предположим, что необходимо решить проблему усо-
вершенствования какого-либо технического устройства.
237
Это можно сделать двумя способами: либо заменив один
из его агрегатов на уже имеющийся, но более совершен-
ный, либо выполнив исследовательскую работу с целью
более обоснованного решения проблемы в целом. Пред-
ставим, что при помощи специалистов, исходя из опыта
подобных работ, можно оценить вероятность успеха каж-
дого из возможных этапов на каждом из альтернативных
путей решения проблемы.
Анализируя цепь событий, которые могут возникнуть
в процессе осуществления каждой из альтернатив, мож-
но составить, например, дерево решений такого вида
(рис. 21).
Рис. 21. Структура дерева решений. Возможны исходы:
1 — проблема решена, небольшие задержки и перерасходы,
проект завершен; 2 — проблема решена, дополнительные за-
траты и задержки, проект завершен; 3, 5 — проект завершен;
4 — проблема решена, большой перерасход и задержки, проект
завершен
Здесь узлы, т. е. точки принятия решений (контроли-
руемые события), обозначены квадратами, а точки воз-
никновения проблем (неконтролируемые, случайные со-
бытия) — кружками.
Установив вероятности этапов на каждом из пяти пу-
тей решения проблемы, можно рассчитать условные ве-
238
роятности осуществления каждого из возможных исхо-
дов. Так, условная вероятность исхода 1 будет равна
Р1-Р5 = 0,4-0,2 = 0,08, вероятность исхода 2 — PfP6=
= 0,4-0,8 = 0,32, а вероятность исхода 3 — 0,6. Суммар-
ная вероятность альтернативы, связанной с проведением
исследовательских работ, равна 0,08 + 0,324-0,6=1,0.
Аналогично суммарная вероятность альтернативы, свя-
занной с заменой одного из агрегатов более совершен-
ным, также равна единице (Рз + Л} = 0,5 + 0,5= 1).
Следует обратить внимание на то, что, кроме расчета
вероятностей каждого из исходов, можно установить вре-
мя, необходимое для осуществления каждого из процес-
сов, и затраты на его выполнение. Поскольку конечный
результат в каждом случае одинаков, величины затрат
и времени выполнения могут служить основой для при-
нятия решения о выборе. Полные ожидаемые затраты мо-
гут быть рассчитаны как сумма стоимости работ по каж-
дому из вариантов плюс стоимость эффекта задержки.
Так, пользуясь деревом, показанным на схеме рис. 21,
можно отметить, что проведение исследований уменьши-
ло бы вероятность задержек, связанных с дополнитель-
ными затратами средств и времени, с 0,5 по 0,32.
В случаях когда можно оценить предполагаемую при-
быль, все затраты и поступления (или убытки) дисконти-
руются и умножаются на вероятность успеха альтерна-
тивной ветви дерева решений [51], что позволяет устано-
вить ожидаемую «цену» альтернативного решения.
Общий процесс рассуждений, обеспечивающих анализ
и выбор предпочтительных альтернатив с помощью де-
рева решений, показан на рис. 22.
Пусть xh Xz,... ,хп есть цены решений исходов
S, (2), s2 (2),..., sn (2), а <7, — выигрыш, полученнный
при решении k. Примем также, что Гц есть выигрыш при
решении k и выборе «природой» состояния sj. Обозначим
через гкц вероятность выбора «природой» состояния sj
при условии сознательного выбора решения k.
Тогда ожидаемая цена исходного узла (|) при усло-
вии выбора равна:
п
<7? + £ PJ (гик + Xj).
Необходимо выбрать k так, чтобы максимизировать
это выражение.
239
Обозначим прибыль; полученную при решении k и со-
стоянии Sj, через g, тогда
xi + g — max
7=1	7=1
Это уравнение можно решить итеративным
относительно g и х. Поскольку выражение
методом
7=1
не зависит от значений х, его можно вычислить в начале
Рис. 22. Дерево решений при выборе НИОКР
этого процесса. Если обозначить это выражение как Rth,
то предыдущее уравнение примет вид
x( + g = max Ri^^P^Xj .
/=i
Решение этого уравнения может быть осуществлено
пошагово.
1.	Предполагаем, что для каждого i известно значение
k. Тогда получаем линейные уравнения типа
хг + ^=^+2Л;-Ч-
/=1
Принимая %1 = 0, решаем уравнения относительно
Х2,.. ., Хп и g.
240
2.	Проверяем полученные значения, вычисляя при
каждом возможном выборе выражения
5 Рцкх}
для значений х, найденных в шаге 1.
3.	Для каждого i определяем значение, максимизи-
рующее Vih. Если эти значения совпадают с принятыми
в шаге 1, то решение, принятое в этом шаге, верно.
В противном случае возвращаемся к шагу 1 и произво-
дим расчеты, используя значения k, найденные в шаге 3.
Найденные таким способом значения k, максимизи-
рующие Vik, определяют предпочтительные решения.
Итак, принципы, лежащие в основе анализа, который
опирается на дерево решений, сводятся к следующему:
1)	цена любого узла, где выбор производит «приро-
да», зависит только от будущих событий и не зависит от
ранее принятых решений;
2)	в любом узле, где решение принимается нами, вы-
бор заключается в переходе к наиболее «прибыльному»
непосредственно следующему за ним узлу, а цена такого
узла определяется ценой последующего за вычетом за-
трат на переход к этому последующему;
3)	производя анализ, начиная с последнего по време-
ни в направлении, обратном течению времени, можно пе-
ресматривать первоначально установленные оценки и с
помощью метода последовательных приближений нахо-
дить наиболее предпочтительные.
Таким образом, дерево решений — достаточно пер-
спективный инструмент анализа структуры решений, свя-
занных с выбором предпочтительного курса действий при
планировании НИОКР. Преимуществом этого подхода
является возможность сочетания аналитических методов
с экспертными оценками и логическим описанием струк-
туры возможных результатов решений.
Основная сложность использования метода заклю-
чается в обеспечении надежности оценок вероятности
успеха перспективных работ и событий, а также оценок,
предполагаемых результатов и затрат. Уточнить оценки
можно с помощью анализа чувствительности, путем
варьирования значений вероятностей успеха на различ-
ных этапах выполнения программ НИОКР и анализа из-
менения окончательных результатов. Недостаточно ре-
шенной проблемой здесь является зависимость вероятно-
сти успеха от затрат на каждом из этапов.
241
Использование дерева решений предполагает, что
каждый из возможных конечных результатов имеет цен-
ность, не меняющуюся во времени. Известно, что в про-
цессе выполнения НИОКР это условие не всегда соблю-
дается, поскольку могут возникать события, не преду-
смотренные ранее. Дальнейшее развитие этого метода
в целях более надежного анализа решений может быть
основано на использовании теории игр и методов модели-
рования, позволяющих уточнять априорные оценки [52].
Вместе с этим общий подход, основанный на расшире-
нии исходной логики сети в сочетании с вероятностными
оценками контролируемых и неконтролируемых событий
на каждом этапе выполнения работ и с итеративным про-
цессом анализа этой сети, представляется уже сейчас
весьма плодотворным и перспективным при использова-
нии его для выбора, планирования и контроля программ
разработки сложных систем.
* * *
Экспертные методы непрерывно развиваются и со-
вершенствуются. Основные направления этого развития
определяются рядом факторов, в числе которых можно
указать на стремление расширить области применения,
повысить степень использования математических мето-
дов и электронно-вычислительной техники, а также изы-
скать пути устранения выявляющихся недостатков.
Особое значение представляет вопрос о точности
и надежности рекомендаций, основанных на экспертных
оценках, поскольку этим в конечном счете определяются
их полезность и применимость. Следует критически от-
носиться к излишне оптимистическим высказываниям
о точности и надежности того или иного метода. Равным
образом практика не подтверждает и негативное отно-
шение к возможности использования вероятностных оце-
нок экспертов в самых различных областях управления.
Многие исследователи отмечают, что точность
экспертных оценок существенно зависит от содержания
и формы вопросников, а также подбора экспертов. Кро-
ме того, на точность получаемых результатов оказы-
вают влияние область применения, метод группировки
суждений и наличие статистических данных о качестве
рекомендаций, полученных с помощью данного метода
в прошлом.
Установлено, что сходимость оценок отдельных
экспертов не всегда можно принимать за показатель точ-
242
ности опроса, поскольку субъективное понимание иссле-
дуемой проблемы не всегда соответствует ее реальной
сущности. Отсутствие ясности в отношении причин со-
гласованности оценок (как и причин их расхождения)
нередко приводит к неправильным выводам и решениям.
В тоже время подавление индивидуальности или попыт-
ки сблизить точки зрения путем явного или скрытого по-
ощрения экспертов, суждения которых совпадают с мне-
нием авторитетов или большинства, приводит к сниже-
нию достоверности результатов экспертизы.
Следует также подчеркнуть, что использование мате-
матических методов и ЭВМ само по себе не вносит ко-
ренных изменений в субъективный характер оценок, по-
лучаемых от экспертов. Вместе с тем упорядочение'
и анализ этих оценок позволяют обобщить суждения
специалистов и выявить информацию, содержащуюся в.
них в скрытом виде. Поэтому, применяя экспертные ме-
тоды при выборе наиболее предпочтительных альтерна-
тив, надо использовать их как инструмент подготовки,
а не как механизм принятия решений.
Заканчивая рассмотрение математико-статистических
методов экспертных оценок, следует отметить, что, не-
смотря на успехи, достигнутые в последние годы в раз-
работке и практическом использовании экспертных мето-
дов, имеется ряд проблем и задач, требующих дальней-
ших методологических исследований и практической про-
верки. Можно указать на необходимость совершенство-
вания системы отбора экспертов, повышения надежности
характеристик группового мнения, разработки методов
проверки обоснованности оценок, исследования скрытых
причин, снижающих достоверность экспертных оценок,
и ряд других.
Однако уже и сегодня экспертные оценки в сочетании
с другими математико-статистическими методами яв-
ляются важным инструментом совершенствования управ-
ления народным хозяйством.
ПРИЛОЖЕНИЯ*
Приложение 1
Статистические таблицы
Табл и ц а П.1
Вероятность того, что данная величина S
(для т) будет достигнута или превышена
	п					и		
S								
	1	о	8	9		6	7	10
0	0,625	0,592	0,548	0,540	1	0,500	0,500	0,500
2	0,375	0,408	0,452	0,460	3	0,360	0,386	0,431
4	0,167	0,242	0,360	0,381	5	0,235	0,281	0,364
6	0,042	0,117	0,274	0,306	7	0,136	0,191	0,300
8		0,042	0,199	0,238	9	0,068	0,119	0,242
10		0,0083	0,138	0,179	11	0,028	0,068	0,190
12			0,089	0,130	13	0,0083	0,035	0,146
14			0,054	0,090	15	0,0014	0,015	0,108
16			0,031	0,060	17		0,0054	0,078
18			0,016	0,038	19		0,0014	0,054
20			0,0071	0,022	21		0,00020	0,036
22			0,0028	0,012	23			0,023
24			0,00087	0,0063	25			0,014
26			0,00019	0,0029	27			0,0083
28			0,000025	0,0012	29			0,0046
30				0,00043	31			0,0023
32				0,00012	33			0,0011
34				0,000025	35			0,00047
36				0,0000028	37			0,00018
38					39			0,000058
					41			0,000015
					43			0,0000028
					45			0,00000028
* Таблицы, включенные в приложения, разработаны М. Кеиделлом; при-
водятся по работе Н. С. Дьяковой и Г. К- Круга [29].
244
CM
Таблиц а П.2
Вероятность возникновения данной (или меньшей) величины S (d2) (для (?)
п
4		5 1		6		7		8		9		10	
	р	S(d2) 1	р	S(d!)	Р	Sid1)	р	S(d’)	р	S(d!)	р	Sid1)	р
													
10	0,542	20	0,525	34	0,500	56	0,518	84	0,512	120	0,509	164	0,500
8	0,458	18	0,475	32	0,460	54	0,482	82	0,488	118	0,491	162	0,486
6	0,375	16	0,392	30	0,401	52	0,453	80	0,467	116	0,474	160	0,473
4	0,208	14	0,342	28	0,357	50	0,420	78	0,411	114	0,455	158	0,459
2	0,167	12	0,258	26	0,320	48	0,391	76	0,420	112	0,440	156	0,446
0	0,042	10	0,225	24	0,282	46	0,357	74	0,397	ПО	0,422	154	0,433
		8	0,175	22	0,249	41	0,331	72	0,376	108	0,405	152	0,419
		6	0,117	20	0,210	42	0,297	70	0,352	106	0,388	150	0,406
		4	0,067	18	0,178	40	0,278	68	0,332	104	0,372	148	0,393
		2	0,042	16	0,149	38	0,249	66	0,310	102	0,354	146	0,379
		0	0,0083	14	0,121	36	0,222	64	0,201	100	0,339	144	0,367
				12	0,088	34	0,198	62	0,268	98	0,322	142	0,354
				10	0,068	32	0,177	60	0,250	96	0,307	140	0,341
				8	0,051	30	0,151	58	0,231	94	0,290	138	0,328
				6	0,029	28	0,133	56	0,214	92	0,276	136	0,316
				4	0,017	26	0,118	54	0,195	90	0,260	134	0,304
				2	0,0083	24	0,100	52	0,180	88	0,247	132	0,292
				0	0,0014	22	0,083	50	0,163	86	0,231	130	0,280
						20	0,069	48	0,150	84	0,218	128	0,268
						18	0,055	46	0,134	82	0,205	126	0,257
						16	0,044	44	0,122	80	0,193	124	0,246
						14	0,033	42	0,108	78	0,179	122	0,235
						12	0,024	40	0,098	76	0,168	120	0,224
						10	0,017	38	0,085	74	0,156	118	0,214
246
n
4		5		6		7	
S(d2)	р	S(d2)	р	S(d=)	р	S(d2)	Р
						8	0,012
						6	0,0062
						4	0,0034
-						2	0,0014
						0	0,00020
Продолжение табл. П.2
8		9		10	
S(d2)	Р	S(d2)	р	S(d2)	р
36	0,076	72	0,146	116	0,203
34	0,066	70	0,0135	114	0,193
32	0,057	68	0,125	112	0,184
30	0,048	66	0,0115	ПО	0,174
28	0,042	64	0,106	108	0,165
26	0,035	62	0,097	106	0,156
24	0,029	60	0,089	104	0,148
22	0,023	58	0,081	102	0,139
20	0,018	56	0,074	100	0,132
18	0,014	54	0,066	98	0,124
16	0,110	52	0,060	96	0,116
14	0,0077	50	0,054	94	0,109
12	0,0054	48	0,048	92	0,102
Ю	0,0036	46	0,043	90	0,096
8	0,0023	44	0,038	88	0,089
6	0,0011	42	0,033	86	0,083
4	0,00057	40	0,029	84	0,077
2	0,00020	38	0,025	82	0,072
0	0,000025	36	0,022	80	0,067
		34	0,018	78	0,062
		32	0,016	76	0,057
		30	0,013	74	0,052
		28	0,011	72	0,048
		26	0,0086	70	0,044
		24	0,0069	68	0,040

Продолжение табл. П.2
22	0,0054	66	0,037
20	0,0041	64	0,033
18	0,0030	62	0,030
16	0,0022	60	0,027
14	0,0015	58	0,025
12	0,0010	56	0,022
10	0,00066	54	0,019
8	0,00037	52	0,017
6	0,00018	50	0,015
4	0,000083	48	0,013
2	0,000025	46	0,012
0	0,0000028	44	0,010
		42	0,0087
		40	0,0075
		38	0,0073
		36	0,0053
		34	0,0044
		32	0,0036
		30	0,0029
		28	0,0024
		26	0,0019
		24	0,0014
		22	0,0011
		20	0,00080
Продолжение табл. П.2
248
п
4		5		6		7		8		9		10	
-S(d2)	р	S(d!) |	р	S(d2)	р	S(rf2)	р	S(d2)	р	S(<P)	р	S(d2)	Р
												18	0,00057
												16	0,00040
												14	0,00027
												12	0,00017
												10	0,00010
												8	0,000054
												6	0,000025
												4	0,000010
												2	0,0000028
												0	0,00000028
( п(п?—1) \
Примечание к табл. П.2. Для оценки значимости отрицательной корреляции (когда S(d2) =S'(d2)>—1---------)
\	6	/
в силу симметричности распределения S(d2) табл. П.2 используется следующим образом: значение Р. (вероятно-
сти возникновения данной (или большей) величины S'(d2) находится из табл. П.2 для величины S(d2)=2---’—
б
— S'(d2), где S'(d2)—значение S(d2), полученное при расчете коэффициента р, значимость которого оцени-
вается (см. пример ниже).
	Пример	
п	4	в	6	7
" 1	4	5	6 1
п(п2—1) 1	20	40	70
3 1			
112
8	|	9	10
168	j	240	| 330
Например, для п = 7 и S'(d2) ='60; S(d2) — 112— 60 = 52. Тогда из табл, II.2: Р52 = 0,453.
Т а б л и ц-а- П:3а
Коэффициент конкордации.
Вероятность того, что данная величина S будет достигнута
или превышена (для п = 3)
S	т												
	2	3	4	5	6	7		8		9		10	
о	1,000	1,000	1,000	1,000	1,000		1,000		1,000		1,000		1,000
2	0,833	0,944	0,931	0,954	0,956		0,964		0,967		0,971		0,971
6	0,500	0,528	0,653	0,691	0,740		0,768		0,794		0,814		0,830
8	0,167	0,361	0,431	0,522	0,570		0,620		0,654		0,685		0,710
14		0,194	0,273	0,367	0,430		0,486		0,531		0,569		0,601
18		0,028	0,125	0,182	0,252		0,305		0,355		0,398		0,436
24			0,069	0,124	0,184		0,237		0,285		0,328		0,368
26			0,042	0,093	0,142		0,192		0,236		0,278		0,316
32			0,0046	0,039	0,072		0,112		0,149		0,187		0,222
38				0,024	0,052		0,085		0,120		0,154		0,187
42				0,0085	0,029		0,051		0,079		0,107		0,135
s	m				
	2	3	4	5	6
50 54 56 62 72 74 78 86 96 98 104 114 122 126 128 134 146 150 152 158 162 168 182 200				0,00077	0,012 0,0081 0,0055 0,0017 0,00013
Продолжение табл. П.За
7	8	9	10
0,027	0,047	0,069	0,092
0,021	0,038	0,057	0,078
0,016	0,030	0,018	0,066
0,0084	0,018	0,031	0,046
0,0036	0,0099	0,019	0,030
0,0027	0,0080	0,016	0,026
0,0012	0,0048	0,010	0,018
0,06032	0,0024	0,0060	0,012
0,00032	0,0011	0,0035	0,0075
0,000021	0,00086 0,00026 0,000061 0,000061 0,000061 0,0000036	0,0029 0,0013 0,00066 0,00035 0,00020 0,000097 0,000054 0,000011 0,000011 0,000011 0,000011 0,0000060	0,0063 0,0034 О,ОО2о 0,0013 0,00083 0,00051 0,00037 0,00018 0,00011 0,000085 0,000044 0,000020 0,000011 0,0000021 0,000000099
Таблица П.Зб
Коэффициент конкордации.
Вероятность того, что данная величина S
будет достигнута или превышена (для п—4)
S	т		S	т—5
	3	5		
1	1,000	1,000	61	0,055
3	0,958	0,975	. 65	0,044
5	0,910	0,944	67	0,034
9	0,727	0,857	69	0,031
11	0,608	0,771	73	0,023
13	0,524	0,709	75	0,020
17	0,446	0,652	77	0,017
19	0,342	0,561	81	0,012
21	0,300	0,521	83	0,0087
25	0,207	0,445	85	0,0067
27	0,175	0,408	89	0,0055
29	0,148	0,372	91	0,0031
33	0,075	0,298	93	0,0023
35	0,054	0,260	97	0,0018
37	0,033	0,226	99	0,0016
41	0,017	0,210	101	0,0014
43	0,0017	0,162	105	0,00064
45	0,0017	0,141	107	0,00033
49		0,123	109	0,00021
51		0,107	113	0,00014
53		0,093	117	0,000048
57		0,075	125	0,0000030
59		0,067		
251
Таблица П.Зв
Коэффициент конкордации.
Вероятность того, что данная величина S будет достигнута
или превышена (для м=4)
S	т			S	m=Q
	2	4	6		
0	1,000	1,000	1,000	82	0,035
2	0,958	0,992	0,996	84	0,032
4	0,833	0,928	0,957	86	0,029
6	0,792	0,900	0,940	88	0,023
8	0,625	0,800	0,874	90	0,022
10	0,542	0,751	0,844	94	0,017
12	0,458	0,677	0,789	96	0,014
14	0,375	0,649	0,772	98	0,013
16	0,208	0,524	0,679	100	0,010
18	0,167	0,508	0,668	102	0,0096
20	0,042	0,432	0,609	104	0,0085
22		0,389	0,574	106	0,0073
24		0,355	0,541	108	0,0061
26		0,324	0,512	НО	0,0057
30		0,242	0,431	114	0,0040
32		0,200	0,386	116	0,0033
34		0,190	0,375	118	0,0028
36		0,158	0,338	120	0,0023
38		0,141	0,317	122	0,0020
40		0,105	0,270	126	0,0015
42		0,094	0,256	128	0,00090
44		0,077	0,230	130	0,00087
46		0,068	0,218	132	0,00073
48		0,054	0,197	134	0,00065
50		0,052	0,194	136	0,00040
52		0,036	0,163	138	0,00036
54		0,033	0,155	140	0,00028
56		0,019	0,127	144	0,00024
58		0,014	0,114	146	0,00022
62		0,012	6,108	148	0,00012
64		0,0069	0,089	150	0,000095
66		0,0062	0,083	152	0,000062
68		0,0027	0,073	154	0,000046
70		0,0027	0,066	158	0,000024
72		0,0016	0,060	160	0,000016
74		0,00094	0,056	162	0,000012
76		0,00094	0,043	164	0 ,0000080
78		0,00094	0,041	170	0,0000024
< 80		0,000072	0,037	180	0,00000013
.'252
Таблица П.Зг
Коэффициент конкордации.
Вероятность того, что данная величина 5 будет достигнута
или превышена (для п=5)
S	j	S	
0	1,000	44	0,236
2	1,00	46	0,213
4	0,988	48	0,172
6	0,972	50	0,163
8	0,941	52	0,127
10	0,914	54	0,117
12	0,845	56	0,096
14	0,831	58	0,080
16	0,768	60	0,063
18	0,720	62	0,056
20	0,682	64	0,045 '
22	0,619	66’	0.038
24	0,595	68	0,028
26	0,559	70	0,026
28	0,493	72	0,017
30	0,475	74	0,015
32	0,432	76	0,0078
34	0,406	78	0,0053
36	0,347	80	0,0040
38	0,326	82	0,0028
40	0,291	86	0,00090
-42	' 0,253	90	0,000069
253
Таблица П.4
Коэффициент конкордации.
Точки значимости для 5%-ного и 1%-иого уровней значимости
т	п	л-3
	3	4	5	6	7	т	S
5%-ный уровень значимости
3			64,4	103,9	157,3	9	54,0
4		19,5	88,4	143,3	217,0	12	71,9
5		62,6	112,3	182,4	276,2	14	83,8
6		75,7	136,1	221,4	335,2	16	95,8
8	48,1	101,7	183,7	299,0	453,1	18	107,7
10	60,0	127,8	231,2	376,7	571,0		
15	89,8	192,9	34,8	570,5	864,9		
20	119,7	258,0	468,5	764,4	1158,7		
		1%-ный уровень значимости					/
3			75,6	122,8	185,6	9	75,9
4		61,4	109,3	176,2	265,0	12	103,5
5		80,5	142,8	229,4	343,8	14	121,9
6		99,6	176,1	282,4	422,6	16	140,2
8	66,8	137,4	242,7	388,3	579,9	18	158,6
10	85,1	175,3	309,1	494,0	737,0		
15	131,0	269,8	475,2	758,2	1129,5		
20	177,0	364,2	641,2	1022,2	1521,9		
Приложение 2
Программа обработки экспертных оценок
(на языке Алгол-60)
В программе для всех экспертов и при последователь-
ном исключении из их числа одного эксперта подсчитываются сум-
марный ранг «принципов» (направлений развития), суммарные ран-
ги и суммарные веса признаков; находятся максимальный и мини-
мальный суммарные ранги проблем; нормируются оценки проблем;
рассчитываются суммарные взвешенные ранги по всем проблемам,
коэффициенты согласия для каждой проблемы с учетом повторения
ранжировок; производится проверка справедливости нуль-гипотез.
Вводятся следующие данные: число проблем, число экспертов,
число принципов, число уровней значимости и таблицы распределе-
ния статистик, матрицы ранжировок принципов по каждой пробле-
ме, матрица весов проблем.
В программе приняты следующие условные обозначения:
М — число экспертов; //— число принципов; К — число проб-
лем; X — матрица рангов принципов (исходные данные по каждой
проблеме); У—матрица рангов проблем (исходные данные); V —
веса проблем (исходные данные); VS — вес наименее важной проб-
лемы; VA — вес наиболее важной проблемы; FS— ранг наименее
важной проблемы; УА— ранг наиболее важной проблемы; VG —
суммарный вес проблем; VN—нормированный вес проблем; VQ —
суммарные ранги проблем; А—сумма VQ по всем проблемам; 0~
матрица суммарных рангов принципов; UY — суммарный взвешен-
ный ранг; F — статистики Фишера и Пирсона; W— коэффициент
согласия; Р\—таблица распределения статистики Фишера; Р2—
таблица распределения статистики Пирсона; Т — число повторений
каждого ранга в ранжировке /-го эксперта; Т1 — суммирование оди-
наковых рангов для одного эксперта по всем принципам; TS — чис-
ло повторений ранжировок принципов для всех экспертов; Р—но-
мер наименее важной проблемы; R — номер наиболее важной проб-
лемы; fl— сигнал правильности (1) или ложности (0) нуль-гипо-
тезы; (Н—1)—номер эксперта, мнение которого исключается; Q —
номер проблемы; I— иомер эксперта; II — иомер принципа; £>1 —
число уровней значимости результатов в таблицах Р1 и Р2.
255
ПРОГРАММА
BEGIN INTEGER О.О1.О4.О5Л77ХММ.ЛН.ЯЗЛ4Лl.N2.A'3.Q.L:
REAL C.D2.D3:
A5: P0042(K.M.N.D1):
BEGIN REAL ARRAY У.У[1:М1Х}У$.УХИ2[1:М + 1.1:К].УЛ.
yS.A.VA.V5[l:M+l].[/V[l:M+l.l:JV].F.^[lX.l:Al+l].
X[l:M.l:A].Pl[l:3.1:5.1:6].P2[l:20.1:3].U[l:Af + l.l:A]:
INTEGER ARRAY Т[1:МЛХ].П[1:М].Я1.Я2[1:К].
rS[lX.l:M+l].S[lX].P./?[l:M+l].Fl[lX.l:M+l.l:Pl]:
H3:=MXN:H4:=H3+N:
FOR Q:=l STEP 1 UNTIL К DO
BEGIN //1[Q]:=(Q—1)=W3+1:W2[Q]:=H3=K+1+(Q—1)=Я4
END:
P0042(Pl.P2):
Р0042(У. V):
P1041(K):
P1041 (AT):
P1041(JV):
P1041 (DI):
Р1041(У):
P1041 (V) :
FOR Q: = l STEP 1 UNTIL К DO
BEGIN P0042(X):
P1041 (X):
PO146 (Л[1.1]. 1.Я 1 [QJ.W3.TRU E):
FOR /:=1 STEP 1 UNTIL N DO
BEGIN D[l./]:=0:
FOR Z: = l STEP 1 UNTIL M DO
FOR H =\ STEP 1 UNTIL M DO
Z/[D+1.Z]: = Z/[1J]—X[HJ]
END:
P1041(U):
256
/’0146(t/[l.l].l.H2[Q].H4.TRUE)
END.
FOR Q: = l STEP 1 UNTIL К DO
BEGIN yQ[l.Q]: = VQ[l.Q]:=Q:
FOR /: = 1 STEP 1 UNTIL M DO
BEGIN yQ[l.Q]: = yQ[l.Q]+y[J.Q]:
VQ[1.Q]: = VQ[1.Q]+ V[J.Q]
END:
FOR H:=l STEP 1 UNTIL M DO
BEGIN yQ[tf+l.Q]: = yQ[l.Q]-y[tf.Q]:
END
END:
FOR Я:=1 STEP 1 UNTIL M + l DO
BEGIN УД[Я]: = У5[Я]: = У0[Я.1]:
У5[Я]: = VA[H]: =	1 ]: P[Z/J:=Я[Я]: = 1
IF K=1 THEN GO TO A4:
FOR Q:=2 STEP 1 UNTIL К DO
BEGIN IF yS[H]<yQ[//.Q] THEN
BEGIN yS[H]: = yQ[W.Q]:P[H]:=Q:
VS[tf]:=VQ[tf.Q]
END;
IF УД[Я]>УО[Я.О] THEN
BEGIN y4[tf]: = yQ[tf.Q]:/?[tf]: = Q:
VA[W]: = VQ[W.Q]
END
END.
A4:
END:
FOR ff: = l STEP 1 UNTIL M+l DO
BEGIN А[Я]:=0:
FOR Q:=l STEP 1 UNTIL A DO А[//]:=А[Я]-+
FOR Q:=l STEP 1 UNTIL К DO
END.
FOR Я:=1 STEP 1 UNTIL M+l DO
FOR Z:=l STEP 1 UNTIL N DO
BEGIN {/]/[H7];=0;
FOR Q:=l STEP 1 UNTIL К DO
BEGIN P0146(U[l.l].l.M2[Q].H4.FALSE):
UV[H.l]: = UV[H.I]+ VN[H.Q]XU[H.I]
END
END:
FOR Q:=l STEP 1 UNTIL К DO
BEGIN fS[Q.l]:=O:
FOR J.= 1 STEP 1 UNTIL M DO
BEGIN T1[J]:=O:
FOR Z: = l STEP 1 UNTIL N DO S[Z]:=Q:
FOR /:= 1 STEP 1 UNTIL N DO
BEGIN r[J.Z]:=O:
FOR Z:=l STEP 1 UNTIL N DO
BEGIN IF Z=S[Z] THEN GO TO Al:
P0146(A[l.l].l.tfl[Q].tf3.FALSE):
D2:=Z[J./]+.01: D4: = ENT1ER(D2) :
D3:=X[/.Z]+.O1: D5:= ENTIER(D3):
IF D4=D5 THEN
BEGIN 7[J./]:=n/.Z]+l: S[Z]:=2
END:
Al:
END:
7V./]: = 7IZ./]f3—TV-/]:
Г1[Т]: = Г1[Т]+ф./]
END:
TS[Q.l]:=TS[Q.l]+n[T]
END:
FOR H: = l STEP 1 UNTIL M DO
TS[Q.H+l]:=TS[Q.l]—T1[H]:
PO146 (L7[ 1.1 ]. 1 ,//2[Q]. H 4. FALSE):
FOR H: = l STEP 1 UNTIL M +1 DO
BEGIN ir[Q./T]: = O:
IF H=1 THEN Л11:==Л1 ELSE M1: = M— 1:
FOR Z; = l STEP 1 UNTIL N DO
1F[QJT]: =	(U[H.I]-M1X (A'+l)/2) \2:
UT[Q.W]:= 12X VV'[Q-Af]/
({Nyi-N) X M1 f 2—M1X TSIQ.A]):
A1:=A— 1:
IF .V-<7 THEN GO TO A2 ELSE
BEGIN F[Q.T/]:=M1XW1X W2.tf]:A’3:=Al—6:
FOR D: = l STEP 1 UNTIL D\ DO
BEGIN C: = P2[A3.D]: F1[Q.H.D]: = 1F
F[Q.H]>C THEN 1 ELSE 0
END
END:
GO TO A3:
A2: А2:=(Л11—1)XA1:A3:=A1:
F[Q.H]:=(Afl-l)xVn<?H]/(l-WTQ-W]):
IF F[Q.//] = 0 THEN GO TO A6:
258
F[Q.H]=.5XLN(F[Q.H]):
GO TO A7:
46: f[Q.P]:=0:
47: FOR D:=l STEP 1 UNTIL Pl DO
BEGIN IF A2<20 THEN C: = P1[D.1.A3]:
JF N2>20 AND A’2<30 THEN C:=P1[D.2.N3]:
IF N2>30 AND A'2<40 THEN С:=Р1[Р.ЗЛЗ]:
IF N2>40 AND A2<60 THEN C:=P1[D.4.A3]:
IF N2^60 THEN C;=P1[D.5.N3]:
F1[Q.H.O]: = IF F[Q.ff]^C THEN 1 ELSE 0
END.
A3:
END
END:
/’1041 (YQ):
P1041(VQ):
Р1041(У5.Р.УА.Р):
P1041 (VS.V4):
P1041(VN):
P1041(t/V):
P1041 (IF):
P1041 (fl):
GO TO AS
END
END
ЛИТЕРАТУРА
1.	Федоренко Н. П. Оптимизация экономики. М., Наука, 1977.
2.	Радемахер Г., Теплиц О. Числа и фигуры. М., Физматгиз,
1962.
3.	Гнеденко Б. В., Коваленко И. Н. Применение теории
массового обслуживания к задачам больших систем. — В кн.:
Большие системы. Теория, методология, моделирование. М., Нау-
ка, 1971.
4.	Массе П. Критерии и методы оптимального определения ка-
питаловложений. М., Статистика, 1971.
5.	Чернов Г., Мозес Л. Элементарная теория статистических
решений. М., Сов. радио, 1962.
6.	Льюис Р., Райфа X. Игры и решения. М., ИЛ, 1961.
7.	Savage L. The Foundations of statistics. N. Y., John Wiley, 1954.
8.	Моррис У. Наука об управлении. Байесовский подход. М.,
Мир, 1971.
9.	A m а г a R., L i р i п s k i A. Some Views on Use of Expert ludge-
ment. — Technological Forecasting and Social Change, 1972, № 3.
10.	Май минас E. 3. Процессы планирования в экономике: ин-
формационный аспект. Вильнюс, Миитис, 1967.
11.	Кравченко Т. К. Процесс принятия плановых решений (ин-
формационные модели). М., Экономика, 1974.
12.	Макаров И. М., Озерной В. М., Ястребов А. П. Выбор
принципа построения сложной системы автоматического управ-
ления на основе экспертных оценок. — Автоматика и телемехани-
ка, 1971, № 1.
13.	Роз и и Б. Б., Журавель Н. М., Берсенева Г. Т. Ранжи-
ровка факторов мартеновского производства по материалам ан-
кетного опроса экспертов. — р кп.: Вопросы экономико-статис-
тического моделирования и прогнозирования в промышленности.
Новосибирск, 1970.
14.	Б е к л е ш е в В. К., 3 а в л и н П. Н. Нормирование труда в НИИ
и КБ. М., Экономика, 1973.
15.	Черч мен У„ Акоф Р., Арноф Л. Введение в исследование
операций. М., Наука, 1968.
16.	Акоф Р., Сасиени М. Основы исследований операций. М.,
Мир, 1971.
17.	Беше л ев С. Д., Гурвич Ф. Г. Экспертные оценки. М., Нау-
ка, 1973.
18.	Дэвид Г. Метод парных сравнений. М., Статистика, 1978.
19.	Математические методы в современной буржуазной социологии.
М., Прогресс, 1966.
20.	Найтингейл М. Формальное определение ценности призна-
ков.— В кн.: Статистическое измерение качественных характе-
ристик. М., Статистика, 1972.
21.	Миркин Б. Г. Проблема группового выбора. М., Наука, 1974.
260
22.	Мартино Дж. Технологическое прогнозирование. М., Про-
гресс, 1977.
23.	Гурвич Ф. Г. Экспертиза. Некоторые методологические вопро-
сы.— Вестник АН СССР, 1978, № 1.
24.	D а 1 к е у N. The Delphi Method: ап Experimental Study of Group
Opinion. Rand Memo EM—5888—PR, 1969.
25.	The Delphi Method, Techniques and Application, By ed. A Linsto-
nead and M. Turoff, Addison Westley Publishing Company, Jnc.
Massachusetts, 1975.
26.	Розин Б. Б. Применение методов многомерной классификации
при анализе результатов экспертного опроса. — В кн.: Статисти-
ческие методы анализа экспертных оценок. М., Наука, 1977.
27.	Ч у е в Ю. В., Михайлов Ю. Б. Прогнозирование в военном
деле. М., Воениздат, 1975.
28.	К е п d а 11 М. Rank Correlation Methods, L., 1955.
29.	Дьякова Ы. С., Круг Г. К- Ранговая корреляция. М., ОКБА
Минхимпром, 1966, вып. 3.
30.	Д ь я к о в а Н. С. Опыт применения метода ранговой корреля-
ции при исследовании сложного производственного процесса. —
В кн.: Планирование эксперимента. М., Наука, 1966.
31.	Гмошинский В. Г., Фл иорент Г. И. Теоретические основы
инженерного прогнозирования. М., Наука, 1973.
32.	Добров Г. М., Ершов Ю. В., Левин Е. И., Смир-
нов Л. П. Экспертные оценки в научно-техническом прогнози-
ровании. Киев, Наукова думка, 1974.
33.	Старр М. Управление производством. М., Прогресс, 1968.
34.	Helmer О. The Systematic Use of Expert Judgement on Opera-
tion Research. Proceeding of 3-th IFORS Conference. Oslo, 1963.
35.	Эдельгауз Г. E. Надежность и точность расчетов эффектив-
ности технического прогресса. — В кн.: Проблемы статистики
технического прогресса в промышленности. М., Наука, 1971.
36.	Теория прогнозирования и принятия решений/Под ред. С. А.
Саркисяна. М., Высшая школа, 1977.
37.	Gordon Т., Hayword Н. Initial Experiments with the Gross-
Impact Matrics Method of Forecasting. — Futures, 1968, v. 1, № 2.
38.	Gordon T., Becker H. The Gross-Impact Matrix Approach to
Technology Assesment. — Research Management, 1972, v. XV, № 4.
39.	Dupperinl. C., GodetM. SMIC—74—A Method for Contrac-
ting and Ranking Scenarios. — Futures, 1975, № 4.
40.	Godet M. Scenarios of Air Transport Development to 1990 by
SMIC—74. — Technological Forecasting and Social Change, 1976,
№ 3.
41.	Бешелев С. Д. Об одном методе совершенствования эксперт-
ной информации. — Экономика и математические методы, 1974,
т. X, № 1.
42.	Р у а Б. Проблемы и методы принятия решений в задачах со
многими целевыми функциями. — В кн.: Вопросы анализа и про-
цедуры принятия решений. М., Мир, 1976.
43.	Нейман Дж., Моргенштерн О. Теория игр и экономиче-
ское поведение. М., Наука, 1970.
44.	Венд ел ин А. Г. Подготовка и принятие управленческого ре-
шения. М„ Экономика, 1977.
45.	Бешелев С. Д., Карпова И. В. Выбор перспективной тех-
ники с помощью метода экспертных оценок. — Экономика и ма-
тематические методы, 1972, т. VIII, вып. 1.
46.	Goodwin A. Method for Evolution of Subsystem Alternative
261
Design. — IEEE Transaction on Engineering Management, 1972,
v. EM—19, № 1.
47.	Фиш берн П. Теория полезности для принятия решений. М.,
Наука, 1978.
48.	Е 1 m a g h г а b у S. An Algebra for the Analysis of Generalized
Activity Networks. — Management Science, 1964, № 3.
49.	E i s п e r H. A Generalized Network Approach to the Planning and
Scheduling of a Research Program. — Operation Research, 1962,
№ 1.
50.	Magee J. Decision Tress for Decision Making. — Haward Busi-
ness Review, 1964, July—August.
51.	Flinn R., Turban E. Decision Free Analysis for Industrial Re-
search. — Research Management, 1970, № 1.
52.	Райфа Г. Анализ решений. М„ Наука, 1977.
ОГЛАВЛЕНИЕ
Введение ....................................................3
Глава 1. Предпосылки и методологические основы использо-
вания экспертных методов...............................5
1.1.	Рациональные решения и математико-статистиче-
ские методы...........................................5
1.2.	Неопределенность и	вероятность.................12
1.3.	Эксперты и уровень	неопределенности ....	19
Глава 2. Методы обработки информации, получаемой от
экспертов.............................................33
2.1.	Формализация информации и шкалы	....	33
2.2.	Ранжирование и оценка....................39
2.3.	Метод последовательных сравнений	....	58
2.4.	Метод парных сравнений...................64
Глава 3. Принципы групповой экспертизы...............82
3.1.	Некоторые особенности групповых	оценок	...	82
3.2.	Подготовка экспертизы....................88
3.3.	Отбор экспертов..........................96
3.4.	Метод Дельфы............................100
Глава 4. Проверка согласованности и достоверности
экспертных оценок....................................114
'	4.1. Анализ согласованности ответов экспертов .	. Н4
4.2.	Конкордация....................................135
4.3.	Проблемы повышения достоверности экспертных
оценок............................................152
4.4.	Метод взаимовлияний..........................170
Глава 5.	Экспертные методы при подготовке	решений	.	.	186
5.1.	Проблемы выбора предпочтительных	решений	.	186
5.2.	Оценка эффективности альтернатив.............195
5.3.	Экспертные оценки при выборе многокритериаль-
ных решений.........................................217	•
5.4.	Деревья решений при выборе направлений исследо-
ваний	и	разработок............................233
Приложения	.........................................244
Литература.................................................260
Семен Давидович Бешелев, Фридрих Георгиевич Гурвич
МАТЕМАТИКО-СТАТИСТИЧЕСКИЕ МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК
Зав. редакцией Р. А. Казьмина
Редактор К- С. Исаева. Мл. редактор О. Ф. Морозова
Техн, редактор Г. А. Полякова
Корректоры Г. В. Хлопцева, М. А. Синяговская
Худ. редактор Э. А. Смирнов
ИБ № 781
Сдано в набор 24.12.79	Подписано в печать 29.04.80
А10725. Формат 84X108V32- Бум. тип. № 2—3. Гарнитура
«Литературная». Печать высокая. П. л. 8,25. Усл. п. л. 13,86
Уч.-изд. л. 13,67. Тираж 10500 экз. Заказ 78. Цена 1 р. 10 к.
Издательство «Статистика», Москва, ул. Кирова, 39.
Великолукская городская типография управления издательств,
полиграфии и книжной торговли Псковского облисполкома,
г. Великие Луки, ул. Полиграфистов, 78/12