к.т.н. Д.А. Абдрахимов, к.т.н. А.И. Иоффин, независимые эксперты
УНИВЕРСАЛЬНАЯ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКАЯ СИСТЕМА
ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ "ОЦЕНКА и ВЫБОР":
ОТ ПРОБЛЕМАТИКИ К КОНЦЕПЦИИ ПОСТРОЕНИЯ И ПРИМЕНЕНИЯ
статья для журнала "Научно-техническая информация" №1 1999.
Излагается точка зрения авторов на основные проблемы, возникающие при решении задач многокритериального анализа, и вытекающие из этих проблем требования к универсальным программным средствам и информационно-аналитическим технологиям поддержки принятия решений (ППР).
Излагаются способы выполнения этих требований, реализованные авторами в универсальной информационно-аналитической системе поддержки принятия решений (СППР) «ОЦЕНКА и ВЫБОР».
ТРАКТОВКА ПОНЯТИЯ СППР
В последнее время различные авторы к СППР зачастую относят любые программные средства, применяемые в процессе подготовки и принятия решений. Например, информационно-поисковые и аналитические системы, основанные на методах статистики и оптимизации, OLAP и Data Mining, математического моделирования и логического вывода в базах знаний, финансово-бухгалтерской оценки предприятий и проектов, и даже адресные и правовые информационно-поисковые системы.
В данной статье авторы, придерживающиеся традиционных взглядов, под СППР понимают программные средства (ПС) и информационно-аналитические технологии (ИАТ) оценки принимаемых решений. При этом предполагается, что СППР используются на финальных этапах принятия решений, когда определены альтернативы (варианты) и их характеристики, а все вышеперечисленные методы используются на более ранних этапах, т.е. при формировании перечня и информационном описании характеристик принимаемых решений.
Любые оценки решений возможны только при зафиксированных целях решения задачи в конкретной ситуации. Описания целей и ситуаций (и вытекающие из них оценки предпочтений) всегда субъективны и поэтому требуют извлечения и обработки субъективных мнений (руководителей, экспертов, потребителей, избирателей и т.п.). А поскольку применения программных средств и специальных информационно-аналитических технологий требуют только сложные решения, далее рассматриваются только ПС и ИАТ многокритериальной экспертной оценки принимаемых решений. При этом в целях решения задач сравнения и выбора наилучших альтернативных вариантов решений (либо для распределения ресурсов среди неальтернативных вариантов) становится очевидной «родовая» способность СППР формировать рейтинги и ранжировки этих вариантов.
При разработке универсальных СППР авторы исповедуют следующий принцип творческого уяснения задач (формулировка А. Холла [1]): «число возможных решений возрастает вместе с общностью и широтой формулировки и убывает с ростом ограничений и запретов в ней». Поэтому с целью повышения степени общности предлагаемых рассуждений и результатов авторы далее рассматривают любые оцениваемые решения, как универсальные анализируемые объекты, характеризующиеся наборами количественных и качественных характеристик (показателей). Это позволит облегчить восприятие возможностей применения СППР в различных областях знаний. Здесь имеются в виду возможности применения СППР не только в целях прямого сравнения вариантов решений А, Б, В…, но и при решении таких задач, как, к примеру:
- стратегическое планирование, распределение ресурсов [2];
- построение рейтингов;
- инвестиционный анализ;
- определение победителей конкурсов и тендеров, включая конкурсные закупки продукции, работ и услуг;
- тестирование, подбор и расстановка кадров [3];
- оценка технического уровня и конкурентоспособности [4, 5], расчет конкурентных цен;
- анализ социально-политической, криминальной и т.п. ситуации в регионах [6, 7];
- оценка рисков кредитования и расчет лимитов кредитования;
- и т.п. …
Более подробно с взглядами авторов на место СППР в типологии ПС и ИАТ можно ознакомиться в работе [2].
ФОРМА ДАЛЬНЕЙШЕГО ИЗЛОЖЕНИЯ
Исходя из поставленных целей формирования концепции построения универсальных СППР, авторы в дальнейшем материале рассматривают проблемы, возникающие при решении задач многокритериальной экспертной оценки (далее проблемы обозначаются П1, П2, …). Для каждой проблемы указываются возможные пути решения и вытекающие из них требования к «идеальной» универсальной СППР (далее эти требования к свойствам, используемым методам и технологическим приемам обозначаются Т1, Т2, …). В качестве иллюстрации приводятся функциональные возможности, реализованные в разработанной авторами универсальной информационно-аналитической программной системе (ИАС) поддержки принятия решений «ОЦЕНКА и ВЫБОР» (указанные функциональные возможности ИАС далее обозначаются Р1, Р2, …).
ПРОБЛЕМЫ ПРОСТОТЫ ОСВОЕНИЯ И ПРИМЕНЕНИЯ (П1)
Одной из основных проблем решения задач многокритериальной оценки и выбора является возможность применения соответствующих апробированных ПС и ИАТ не только профессиональными системными аналитиками, но и широким кругом прикладных специалистов. Как правило, лицо (или лица) принимающее решение (ЛПР) не владеет профессиональными ИАТ ППР (П1.1), а если и владеет, то нуждается в средствах автоматизации процедур извлечения и обработки экспертной информации (П1.2). Кроме того, даже в случае привлечения к решению задачи квалифицированных консультантов, ЛПР будет доверять полученным результатам и рекомендациям только в том случае, если они получены интуитивно понятными ему методами (П1.3).
Из необходимости решения указанных проблем со всей очевидностью следуют такие требование к СППР, как:
- отчуждаемость, т.е. возможность использования СППР без прямого участия разработчиков (Т1.1);
- использование «интуитивного» интерфейса, ориентированного на непрофессионала в области ИАТ ППР (Т1.2);
- использование интуитивно понятных методов и технологий ППР (Т1.3);
- взаимодействия с ЛПР и экспертами на понятном им «языке» (Т1.4).
При разработке ИАС «ОЦЕНКА и ВЫБОР», первые версии которой поступили на апробацию Пользователей в 1997 г., авторы учли трудности освоения и практического использования различными специалистами предыдущей разработки - ИАС “Pilot”/DOS (Ó 1989 - 1997). Поэтому в соответствии с вышеизложенными требованиями в ИАС «ОЦЕНКА и ВЫБОР» реализованы:
- графический интерфейс Windows (более 100 окон) (Р1.1);· стандартный инсталлятор (Р1.2);
- 2 демонстрационно-обучающих информационно-методических наполнения системы (подбор и расстановка кадров; сравнение и конкурсный выбор инвестиционных проектов) (Р1.3);
- встроенная справочная подсистема стандарта Windows (130 Кбайт) (Р1.4);
- документация системы (более 200 стр., 160 из которых отведено иллюстрированному пособию «Изучаем систему за экраном компьютера») (Р1.5);
- полный послепродажный сервис (обучение, консультации, помощь в решении конкретных задач, обновление версий через Internet) (Р1.6).
Использованные авторами пути выполнения требования Т1.3 и Т1.4 излагаются ниже по тексту (см. П3).
ПРОБЛЕМЫ УНИВЕРСАЛЬНОСТИ (П2)
Использование СППР для решения конкретной задачи требует определенных затрат ресурсов на ее приобретение и освоение, либо на создание собственными силами. Эти затраты безусловно окупятся только при решении особо сложной задачи с высокой ценой последствий от принятия неправильных решений (П2).
Представляется очевидным, что указанная проблема обеспечения эффективности затрат ресурсов может быть решена путем приобретения или создания универсальной СППР (Т2), способной решать в различных предметных областях знаний (Т2.1) различные типы задач многокритериальной оценки (Т2.2), либо решать повторяющиеся задачи в изменяющихся условиях (Т2.3).
Отметим, что универсальные СППР относительно дешевы (а простейшие – и вовсе бесплатны) и основные затраты обычно приходятся на оплату или обучение квалифицированных системных аналитиков. И если затраты на СППР и специалистов уже произведены, представляется очевидной целесообразность их использования и для решения оперативно-тактических задач, и прежде всего - при решении повторяющихся задач в изменяющихся условиях. Затратив один раз средства на обучение и приобретение программного обеспечения, можно превратить свой собственный информационно-аналитический отдел в центр постепенного внедрения ПС и ИАТ ППР практически во всех остальных подразделениях организации.
Для обеспечения универсальности ИАС «ОЦЕНКА и ВЫБОР» в ней реализованы следующие возможности. Требование Т2.3 (сохранение всех данных по каждой решаемой задаче для повторного использования и редактирования) обеспечивается наличием в ИАС встроенных средств:
-
создания и ведения баз данных с 8 типами количественных и качественных показателей объектов с возможностью экспорта/импорта данных в формате Excel (Р2.1);
-
создания и ведения базы методик анализа (Р2.2) (в каждой методике для очередной задачи задается или редактируется ранее введенная иерархия анализируемых показателей, а также требования и предпочтения к этим показателям - их относительные приоритеты и абсолютные ценности значений);
-
ведения каталога ранее решавшихся задач со средствами их редактирования (Р2.3).
Требование Т2.1 (возможность настройки на работу в любой предметной области) обеспечивается наличием в ИАС встроенных средств:
-
создания и ведения каталога «приложений», т.е. относительно самостоятельных подсистем, в каждой из которых можно создавать базы данных и методик для конкретной предметной области, «приложения» могут передаваться от одного Пользователя ИАС другому (Р2.4);
-
создания и ведения в каждом приложении собственного каталога показателей для данной предметной области (Р2.5);
-
создания и ведения в каждом приложении собственного каталога словесных шкал (применяются для создания показателей типа «классификатор») для данной предметной области (Р2.6);
-
создания и ведения в каждом приложении собственного каталога видов объектов для данной предметной области (Р2.7).
Таким образом, ИАС «ОЦЕНКА и ВЫБОР» фактически является универсальным программным инструментом, при помощи которого можно быстро и без использования языков программирования создавать прикладные СППР путем настройки базовой оболочки на нужные предметные области.
Требование Т2.2 (решение различных типов задач многокритериальной оценки) обеспечивается наличием в ИАС возможностей работы как с количественными, так и с качественными, как с абсолютными так и с относительными оценками анализируемых объектов. Работа с относительными оценками в ИАС осуществляется на основе метода анализа иерархий и позволяет решать задачи распределения ресурсов (Р2.8). Работа с абсолютными оценками в ИАС осуществляется на основе коэффициентов и функций ценности Фишберна и позволяет решать задачи оценки степени соответствия анализируемых объектов комплексу предъявляемых требований и предпочтений (Р2.9). Отметим, что последнее обстоятельство позволяет системе получать многокритериальные оценки как для очень большого числа анализируемых объектов, так и для единственного объекта.
МЕТОДОЛОГИЧЕСКИЕ ПРОБЛЕМЫ (П3)
Основной проблемой принятия сложных решений является значительное превышение объема информации о сравниваемых альтернативах над возможностями человеческого мозга по ее оперативной обработке. Психологами установлено, что в такой ситуации люди выделяют лишь несколько ключевых оценочных критериев, а об остальных «забывают». При принятии ответственных задач многокритериального анализа, когда цена принятия неправильных решений исключительно высока, исключение из учета даже части существенных критериев представляется недопустимым (П3.1).
В качестве средства решения указанной проблемы методология системного анализа предлагает декомпозиционно-агрегативный подход к решению многокритериальных задач. Декомпозиция сложных задач традиционно осуществляется путем формирования иерархии критериев на этапе постановки задачи, а агрегирование – путем калькулирования (как правило, на базе взвешенного суммирования) оценок, полученных на различных уровнях иерархии критериев с учетом их относительной приоритетности. Исходя из этого можно утверждать, что с информационно-аналитической точки зрения основной задачей СППР является предоставление возможности описания иерархий критериев (Т3.1) и агрегирование оценок, полученных на разных уровнях указанной иерархии (Т3.2).
Любое агрегирование нерегулярной информации сопровождается ее потерями и методологическими искажениями, что является источником опасности принятия неправильных решений (П3.2). Отметим, что здесь единственным исключением в части методологических искажений является отображение множества анализируемых объектов на ранговую шкалу на основе метода доминантного анализа Парето. Однако, к сожалению, этот метод «не работает» при наличии недоминируемых объектов и не позволяет получать неискаженные результаты на шкале отношений, что не позволяет решать задачи распределения ресурсов.
В качестве средства решения проблемы П3.2 может являться требование к применяемым ИАТ об использовании пошагового агрегирования с обязательным контролем аналитика за информацией, теряемой на каждом шаге (Т3.3). При этом для решения сложных задач число используемых уровней иерархии не должно ограничиваться возможностями СППР (Т3.4).
Для решения указанных методологических проблем в ИАС «ОЦЕНКА и ВЫБОР» реализованы следующие функциональные возможности.
Требования Т3.1 и Т3.4 обеспечиваются возможностью описания трехуровневых иерархий показателей для одного цикла анализа (Р3.1), записи полученных результатов в базу данных и их использования в качестве показателей нижних уровней иерархии на последующих циклах анализа (Р3.2). Число используемых показателей нижнего уровня иерархии практически не ограничено. На среднем уровне иерархии число обобщенных показателей – не более 7 (в соответствии с типовым объемом оперативной памяти человека).
Требования Т3.2 и Т3.3 обеспечиваются возможностями получения результирующих многокритериальных оценок одновременно (параллельно) методами линейной свертки (метод взвешенного суммирования) и методом «идеальной точки» (метод TOPSIS) (Р3.3).
Для каждого уровня иерархии показателей приводятся результаты доминантного анализа Парето (Р3.4). Этот вид анализа проводится как на полном множестве характеристик объектов, так и на подмножестве "наиболее важных" показателей. Это подмножество формируется системой автоматически после ввода или вычисления весовых коэффициентов приоритетности, а затем предлагается лицу, готовящему решение, для возможной корректировки.
Представляется целесообразным указать, что при выборе методов агрегирования информации авторы также руководствовались вышеизложенными требованиями Т1.3 и Т.1.4, обусловленных проблемами П1.1 – П1.3. При этом авторы рекомендуют Пользователям ИАС «ОЦЕНКА и ВЫБОР» при обработке экспертных оценок использовать результаты, полученные методом линейной свертки (с учетом результатов доминантного анализа), поскольку этот метод характеризуется относительной простотой интерпретации как экспертами, так и лицом принимающим окончательное решение или заказчиком. Нельзя не отметить, что иногда приходится слышать о получении этим методом результатов, противоречащих здравому смыслу. Но здесь представляется очевидным, что это - не недостаток метода, а результат нарушения правил и пределов его применимости. Известно, что использовать взвешенное суммирование допустимо только при соблюдении условий аддитивной независимости локальных критериев по предпочтениям. А при решении реальных задач нечасто приходится сталкиваться с абсолютной независимостью критериев и поэтому приходится искать компромисс между доступными при решении задачи информационно-технологическими ресурсами и достоверностью получаемых результатов. И если вынужденное применение (с уведомлением экспертов) слабо коррелированных частных критериев бывает продуктивным, то априорное применение взвешенного суммирования сильно коррелированных оценок эффекта и затрат ресурсов является одним из основных источников методологических ошибок и поэтому в подавляющем большинстве случаев представляется принципиально недопустимым.
ПРОБЛЕМЫ ИЗВЛЕЧЕНИЯ И ОБОБЩЕНИЯ ЭКСПЕРТНОЙ ИНФОРМАЦИИ (П4)
При формировании многокритериальных оценок степени соответствия анализируемых объектов предъявляемым требованиям и предпочтениям, существует проблема корректного извлечения субъективной экспертной информации (П4.1). При этом должно учитываться, что по типу восприятия и обработки информации разные эксперты относятся к различным личностно-психологическим группам (П4.2). Кроме того, при решении сложных задач обычно невозможно найти эксперта, способного дать оценки по всем аспектам решаемой проблемы и поэтому приходится извлекать мнения группы экспертов (П4.3).
Для решения проблем П4.1и П4.2 к СППР должны быть предъявлены требования обеспечения возможностей извлечения из экспертов:
-
собственно экспертных оценок анализируемых объектов по различным показателям (Т4.1);
-
предъявляемых требований и предпочтений к значениям и соотношениям значений характеристик анализируемых объектов (Т4.2).
При этом следует также иметь в виду существование требования Т.1.4 (взаимодействие с экспертами на понятном им «языке»), обусловленного вышеупомянутыми проблемами П1.1 – П1.3.
Из П4.3 вытекает требование к СППР обеспечения обобщения мнений группы экспертов (Т4.3).Выполнение требования Т4.1 обеспечивается наличием в ИАС «ОЦЕНКА и ВЫБОР» возможностей:
-
прямого ввода с клавиатуры как абсолютных, так и относительных числовых оценок анализируемых объектов в базу данных (Р4.1);
-
выбора словесных оценок на задаваемых словесных шкалах (Р4.2);
-
вычисления системой относительных оценок анализируемых объектов по частным критериям в результате диалоговой процедуры парных сравнений [8], не требующей работы с числовой информацией (Р4.3).
Отметим, что результаты парных сравнений сопровождаются оценками последовательности суждений эксперта, что позволяет контролировать «качество» его работы и обеспечить требуемую достоверность результатов анализа.
Выполнение требования Т4.2 обеспечивается наличием в ИАС возможностей:
-
прямого ввода коэффициентов ценности качественных показателей и функций ценности значений количественных показателей анализируемых объектов (Р4.4); при вводе узловых точек функций ценности Фишберна в помощь эксперту предлагается специальная словесная шкала;
-
прямого ввода с клавиатуры, либо вычисления системой относительных весовых коэффициентов показателей анализируемых объектов в результате диалоговой процедуры парных сравнений [8], не требующей работы с числовой информацией (Р4.5).
Выполнение требования Т4.3 обеспечивается наличием в ИАС возможностей:
-
ведения списка экспертов, участвующих в решении текущей задачи (Р4.6);
-
усреднения группы мнений до 10 экспертов из указанного списка с оценками степени согласованности их мнений (коэффициента конкордации мнений в группе и коэффициентов экстравагантности мнения каждого эксперта, результаты сопоставления полученной ранжировки с медианой Кемени) и с возможностью изменения состава группы по результатам оценки согласованности (Р4.7);
-
взвешенного суммирования мнений неограниченного числа экспертов, разбитых на подгруппы, но без оценок степени согласованности (Р4.8).
Здесь следует отметить, что авторы не рекомендуют Пользователям ИАС без настойчивых требований Заказчика использовать функцию Р4.8, поскольку попытки рационального назначения весовых коэффициентов мнениям экспертов могут приводить к существенным этико-психологическим проблемам. А попытки оценивать экспертов по «анкетным» характеристикам (опыт работы, должность, число публикаций, …), по мнению авторов, могут оказаться существенным тормозом в поиске и оценке принципиально новых решений в современных динамично изменяющихся условиях. Более продуктивным представляется использование функции Р4.7, результаты которой следует рассматривать, как исходные данные для проведения специальных эвристических процедур согласования мнений группы экспертов.
ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИЕ ПРОБЛЕМЫ (П5)
При применении СППР возникают проблемы, связанные с обрабатываемой информацией. Здесь представляется целесообразным прежде всего отметить две следующих проблемы.
В классическом методе анализа иерархий извлечение предпочтений характеризуется катастрофическим ростом числа парных сравнений при росте числа сравниваемых объектов или показателей. Указанное обстоятельство является существенным ограничением размерности задач, которые могут быть решены с использованием указанной технологии (П5.1). Отсюда вытекает требование к СППР предусмотреть наличие средств подавления числа парных сравнений (Т5.1).
В ИАС «ОЦЕНКА и ВЫБОР» эта проблема решается путем автоматического перехода на сокращенную процедуру парных сравнений при числе сравниваемых объектов или показателей N большем 8 (на одном уровне иерархии) (Р5.1). Указанная возможность обеспечивает переход от квадратичного роста числа парных сравнений по мере роста числа N к росту линейному.
Еще одна информационная проблема связана с тем, что на практике при решения реальных задач многокритериального анализа с абсолютными оценками объектов сразу и полностью получить всю информацию по всем показателям для большого числа объектов обычно не удается. Это приводит к трудностям заполнения "конкурентного листа" - т.е. сравнительной таблицы всех анализируемых характеристик всех объектов на одинаковых шкалах измерения (П5.2). Отсюда следует желательность наличия в СППР средств обработки неполных массивов исходных данных (Т5.2).
Для решения указанной проблемы в СППР "ОЦЕНКА и ВЫБОР" предусмотрена возможность автоматического синтеза недостающей информации с выдачей информации о степени достоверности полученных результатов на экран и в протокол анализа (Р5.2). При этом в качестве обучающей выборки используются соответствующие показатели объектов – конкурентов. Полученные при этом результаты могут рассматриваться только в качестве предварительных результатов. После рассмотрения дополнительной информации Пользователь ИАС может отказаться от затрат времени и средств на поиск недостающих данных о малозначительных характеристиках явно неконкурентоспособных объектов (когда это допустимо по смыслу задачи), либо удвоить усилия на поиск недостающих данных о важнейших характеристиках объектов, имеющих шансы на успех.
ПРОБЛЕМЫ ПРЕДСТАВЛЕНИЯ РЕЗУЛЬТАТОВ (П6)
В конце раздела П3 уже упоминалось, что взвешенное суммирование по априорной схеме сильно коррелированных оценок эффекта и затрат, по мнению авторов, является основным источником получения результатов, противоречащих здравому смыслу (П6). В качестве средства решения этой проблемы авторы рассматривают предъявление к универсальным СППР требования раздельного учета показателей, относящихся к системным категориям «выгоды» (эффект, качество, прибыль,…) и «издержки» (затраты ресурсов всех видов) (Т6).
Данное требование в ИАС «ОЦЕНКА и ВЫБОР» обеспечивается возможностями:
-
разнесения показателей выгод и затрат по разным ветвям иерархии оценок (Р6.1);
-
наглядного представления результатов анализа в виде точек на плоскости типа «выгоды – издержки» (наряду с традиционной табличной формой представления результатов) (Р6.2).
Авторы полагают, что такое представление результатов можно рассматривать, как результат агрегирования информации об анализируемых объектах до объема, воспринимаемого человеком при принятии решений. Поэтому представляется принципиально важным проводить финальные технологические операции по многокритериальной оценке и выбору наилучших анализируемых объектов после предъявления указанной плоскости лицу, принимающему решение. При решении задач многокритериального анализа ЛПР обычно способен без затруднений отобрать на плоскости нужный объект или расставить объекты на ранговой шкале. Отметим, что ИАС «ОЦЕНКА и ВЫБОР» имеет возможности формирования относительных итоговых оценок объектов на шкале отношений (Р6.3).
Также отметим, что ИАС позволяет выводить на плоскость любые пары показателей различных уровней иерархии, что позволяет зрительно выявлять зависимые показатели и принимать соответствующие меры по повышению достоверности получаемых результатов (Р6.4).
ЗАКЛЮЧЕНИЕ
В заключение представляется целесообразным еще раз подчеркнуть, что, по мнению авторов, основной проблемой принятия сложных решений является значительное превышение объема информации об анализируемых объектах над возможностями человеческого мозга по ее оперативной обработке.
С информационно-аналитической точки зрения основной задачей универсальных программных средств и информационно-аналитических технологий поддержки принятия решений является агрегирование указанной информации до объемов и формы представления, воспринимаемых лицом, принимающим решение.
Основным требованием к СППР является минимизация неконтролируемых потерь и методологических искажений агрегируемой информации.
Основным способом реализации указанного требования является поэтапное человеко-машинное агрегирование информации об анализируемых объектах.
В информационно-аналитической системе поддержки принятия решений «ОЦЕНКА и ВЫБОР» процедура поэтапного человеко-машинного агрегирования информации в общем случае может быть представлена последовательностью следующих этапов:
-
фильтрация анализируемых объектов по области допустимых значений показателей;
-
доминантный анализ Парето с целью исключения доминируемых и выделения доминирующих объектов;
-
грубая ранжировка на основе метода Фишберна (с использованием абсолютных оценок);
-
определение относительной приоритетности объектов методом анализа иерархий Саати;
-
представление результатов на плоскости типа «выгоды – издержки» и их предъявление лицу, принимающему итоговые решения;
-
проведение специальных технологических операций по итоговому выбору наилучшего анализируемого объекта (решения), либо по итоговому определению относительных приоритетов анализируемых объектов.
С особенностями интерфейса ИАС «ОЦЕНКА и ВЫБОР» можно познакомиться в [9].
СПИСОК ЛИТЕРАТУРЫ
1. Холл А.Д. Опыт методологии для системотехники. Пер. с англ. Под ред. Г.Н. Поварова. М., «Сов. Радио», 1975.
2. Абдрахимов Д.А., Иоффин А.И. Информационно-аналитические технологии и выбор решений // Банковские технологии. – 1997. - №4. С.24-27.
3. Краснова В. Не так страшен interface, как «интерпрофиль» // Эксперт. – 1995. - №4. – С. 46-53.
4. Семенов С., Харчев В., Иоффин А. Оценка технического уровня оружия – важный фактор его развития // Военный парад. – 1995. - №1. – С. 87-89, 174-176.
5. Иоффин А.И. Системы поддержки принятия решений // Мир ПК. – 1993. - №5. – С. 47-57.
6. Белкин С.В., Воронин В.В., Наумов А.И. Основные элементы методического и программного обеспечения АРМ аналитика в службе общественных отношений администрации Московской области // НТИ. Сер.1. – 1994. - №4. – С.19-25.
7. Иоффина О. Компьютер помогает принимать верные решения // Врач. – 1996. - №12. - С.29-31.
8. Саати Т. Принятие решений. Метод анализа иерархий: Пер. с англ. – М.: «Радио и связь», 1993. – 320 с.
9. Информационно-аналитическая система «ОЦЕНКА и ВЫБОР» // СОФТЕЛЬ: Сто компьютерных программ для бизнеса (каталог 1997-98). – М.: «Хамтек Паблишер». – 1997. – С. 156-165.
Создать закладку (0) | Просмотров: 2213
Только зарегистрированные пользователи могут оставлять коментарии. Пожалуйста авторизуйтесь или зарегистрируйтесь. |