Дамир Абдрахимов, к.т.н.,
ведущий научный сотрудник ГосНИИ "Аэронавигация",
преподаватель Института госзакупок ГУ-ВШЭ

ПРОГУЛКИ СРЕДИ "ГРАБЛЕЙ"

О ТЕХНОЛОГИЧЕСКИХ ПРОБЛЕМАХ ПОДВЕДЕНИЯ ИТОГОВ КОНКУРСОВ НА ПРИМЕРЕ РАССМОТРЕНИЯ ПРОЕКТА "МЕТОДИЧЕСКИХ РЕКОМЕНДАЦИЙ ПО БАЛЛЬНОЙ ОЦЕНКЕ КОНКУРСНЫХ ЗАЯВОК И КВАЛИФИКАЦИИ ПОСТАВЩИКОВ ..."

В "КТ" за апрель 1999 г. был опубликован проект "Методических рекомендаций по балльной оценке конкурсных заявок и квалификации поставщиков, участвующих в конкурсах на закупку товаров для государственных нужд" (далее - Проект). Автор данной статьи уже высказывал мнение о том, что "даже простейшие балльно-весовые методы таят в себе подводные камни, способные привести к катастрофическим последствиям при неквалифицированном применении" ("КТ" за март 1999, стр. 36). Рассматриваемый Проект содержит такие "камни", но это не означает, что предложенные в нем подходы совсем непригодны. Просто при их использовании необходимо четко представлять себе возможные последствия и, соответственно, использовать только там, где эти последствия приемлемы для госзаказчика.

Очень хорошо, что рекомендации Проекта уже отнесены его разработчиками только к закупке товаров и не распространяются на закупки работ и услуг (последние обычно являются более сложными объектами закупок). Но и товары бывают разные. При конкурсных закупках стандартных товаров нет смысла "стрелять из пушек по воробьям". А при закупках сложных, дорогих, наукоемких и инновационных товаров (например, тиражируемого программного обеспечения, технических комплексов и систем, прежде всего - в сфере национальной безопасности и обороны), а уж тем более при закупке работ и услуг (прежде всего - НИОКР) высокая цена ошибочных решений заставляет задумываться о корректности применяемых подходов. Поэтому Проект является прекрасным дидактическим примером для обучения организаторов конкурсных закупок сложной продукции. Они должны четко представлять себе, какие способы определения победителей и в каких случаях им использовать нельзя. В качестве аналогии отметим, что если каменотес может вполне обойтись и без знания тонких особенностей технологии обработки камня, то огранщику за испорченное сырье, возможно, придется расплачиваться всю жизнь...

С этой точки зрения будет правильнее вести разговор не о "подводных камнях" или "минах", встречающихся в Проекте. Скорее всего, это - "грабли". На грабли (включая ручку) могут наступить 100 человек. У 5 из них грабли "поднимутся", а ударят только одного, но зато больно. Так дело обстоит и с методами, предлагаемыми Проектом. При закупках сложной продукции их использование просто опасно. Еще более опасно заранее назначать и публиковать в конкурсной документации все (!) параметры методики подведения итогов конкурса. К примеру, в случае полного использования рекомендаций Проекта в конкретном конкурсе автор (как и всякий другой специалист по информационно-аналитическим технологиям) теоретически мог бы, пойдя на труднодоказуемое нарушение правил, так составить конкурсные предложения любого поставщика относительно конкурентоспособной сложной продукции, что его победа будет обеспечена независимо от реальных предпочтений конкурсной комиссии. Разумеется, если какой-нибудь другой поставщик не воспользуется услугами такого же специалиста.

* * *

Прежде всего отметим, что достоинством Проекта является впервые предусматриваемая в наших документах возможность ранжировки поставщиков по комплексной оценке их квалификации (правда в Проекте не говорится, как использовать эту ранжировку в практике госзакупок). При организации закупок сложной продукции ранжирование поставщиков по квалификации крайне необходимо, поскольку здесь (например, при заказе разработки межотраслевых нормативно-методических материалов) степень квалификации поставщика несоизмеримо важнее цены, сроков или условий платежа.

1. Критерии оценки анализируемых объектов

Августовский экономический кризис 1998 г. заставил внести в Проект дополнительные рекомендации по финансовым критериям. Очень полезно. Но обычно соответствующие оценки носят расчетный характер. Поэтому заказчики нуждаются в рекомендациях по практическому формированию таких оценок. Здесь надо было хотя бы сделать отсылку на уже существующие нормативно-методические материалы такого рода.

Для простых видов продукции перечни критериев заданы ГОСТами. Но для сложных видов продукции госзаказчики будут вынуждены формировать перечни критериев оценки заявок и поставщиков самостоятельно. Поэтому заказчики в первую очередь нуждаются в ознакомлении с базовыми принципами и правилами методологически корректного формирования систем критериев оценки конкурсных заявок, чего в Проекте, к сожалению, нет.

2. Шкала экспертных оценок

В Проекте в качестве шкалы оценки анализируемых объектов (конкурсных заявок и Поставщиков) использована 10-балльная шкала. При этом начало диапазона оценок зачем-то смещено в единицу (а не находится в нулевой точке). На практике это означает, что при анализе результатов конкурса нельзя будет считать, что заявка с оценкой, к примеру, 3 балла в два раза предпочтительней заявки с оценкой 1,5 балла по любому частному или итоговому показателю. Это затруднит сопоставление прироста качества и цены при сравнении конкурсных заявок.

Но для большинства заказчиков отсчет от единицы будет опасен не этим. Читатели, не поленившиеся воспроизвести приведенный в п.4 Проекта пример в виде электронной таблицы, уже убедились, что после ввода рекомендованных в Проекте формул и исходных данных приведенные в примере результаты не получаются.

Дело в том, что в формулах (1) и (2) Проекта значения показателей (N) могут принимать и отрицательные, и нулевые значения. Однако в рассматриваемом примере вместо необходимых по смыслу нулевых значений показателя 3 для Поставщика №4 и показателя 5 для Поставщика № 2 стоят прочерки ("-"), которые в нарушение приведенных формул превратились в нулевые балльные оценки (напомним, что в проекте декларирована шкала от 1 до 10). Так нарушение формальных правил обработки информации превращается в "грабли". К чему это может привести - видно в этом же примере. Результаты конкурса из приведенного в Проекте примера приведены в строках 1 и 2 таблицы 1. Сопоставим их с приведенными в строках 3 и 4 аналогичными результатами, но полученными в случае замены в исходной электронной таблице знаков "-" на число "0".

Таблица 1

У нас изменились не только баллы, но и победитель! Задумайтесь о юридических последствиях ...

3. Способы получения критериальных оценок

Для количественной (здесь - балльной) оценки предпочтительности конкурсных предложений необходимо "перевести" (преобразовать) в новую числовую форму объективные количественные и качественные характеристики анализируемых объектов. При этом сам "перевод" должен отражать требования и предпочтения госзаказчика к значениям и соотношениям значений этих характеристик. Эти требования и предпочтения субъективны по своей природе и поэтому рекомендовать поиск объективных критериев оценки - пустое занятие.

3.1. Вербально-числовое преобразование

В приведенной в п.3.6 Проекта вербально-числовой шкале имеется словесная оценка "частичное соответствие конкурсной документации". Это означает, что в определении победителя конкурса сможет участвовать заявка, частично не соответствующая конкурсным условиям! Такое, конечно, недопустимо. Ведь используемая операция взвешенного суммирования обладает компенсаторным эффектом (когда низкие оценки "плохих" значений показателей компенсируются высокими оценками по остальным показателям). Так к победе в конкурсе может прорваться и поставщик, заявка которого имеет хотя бы одну неприемлемую для госзаказчика характеристику. Это "грабли", причем в такой формулировке - еще не самые опасные. Заглянем в ГОСТ [2]. Здесь все примеры шкал содержат словесные оценки типа "Очень плохое качество" или "Крайне нежелательный". И дело не в ошибочности шкал, а в области их применения. Такие оценки допустимы, к примеру, при решении задач сертификации, либо на отборочных этапах конкурсов. Но при вычислении итоговых оценок методом взвешенного суммирования шкалы с такими словесными оценками использовать нельзя.

3.2. Математическое преобразование

Для "перевода" количественных характеристик анализируемых объектов в числовые критериальные оценки в разделе 3 Проекта предложена формула линейной интерполяции, которая зависит только от значений объективных характеристик анализируемых объектов. У начинающего аналитика это может создать ложное мнение об объективности получаемых с ее помощью критериальных оценок. В действительности же, хотя получаемые оценки и не зависят от субъективных предпочтений госзаказчика, они полностью определяются субъективностью выбора рекомендуемого Проектом способа "перевода". Поэтому получаемые оценки анализируемых объектов все равно остаются экспертными. Разница лишь в том, что последствия применения формул такого типа зависят не от субъективности контролируемых заказчиком экспертов, а от квалификации аналитиков, рекомендующих всем одну и ту же формулу без учета специфики закупаемых товаров.

3.2.1. В рассматриваемой формуле предлагается использовать лучшие и худшие численные значения каждого из критериальных показателей среди заявок, поступивших на данный конкурс. Это типичные "грабли", очень часто встречающиеся в публикациях, "сдвинутых" от практики в сторону математики. Такой способ нормировки характеризуется зависимостью получаемых оценок предпочтительности конкурсных заявок от в общем случае непредсказуемых значений характеристик поступивших заявок. В частности, при определенных соотношениях аргументов здесь может возникнуть эффект перестановки рангов при добавлении, удалении или изменении характеристик одной из заявок. Покажем суть этого эффекта, используя пример из п.4 Проекта. Там в исходном варианте победителем является Поставщик № 3 (см. табл. 1). Если для Поставщика № 2 значение показателя 2 ("Количество выполненных контрактов") изменить с 5 на 50, то получатся результаты, представляемые ниже в таблице 2.

Таблица 2

Вновь сменился победитель! Им стал Поставщик № 4. В данном примере оказалось, что выбор победителя зависит не от предпочтений заказчика, а от непредсказуемого значения какой-то характеристики заявки, занявшей последнее место. И зачем нужен был конкурс? Дешевле было бы разыграть контракт обычной жеребьевкой.

3.2.2. В математической литературе часто приходится встречаться с методологически ошибочными попытками формирования критериальных оценок путем нормировки к максимальному и минимальному значениям характеристик в группе анализируемых объектов. В отличие от этого в Проекте в качестве базиса нормировки (интерполяции) используются "лучшие и худшие" значения. Это полезно хотя бы потому, что позволило заменить две формулы одной. Более того, здесь уже пройдена половина пути к использованию корректных способов "перевода" численных характеристик в оценки анализируемых объектов. Но, к сожалению, вторая половина оказалась не пройденной, и на пути непросвещенной публики остались лежать "грабли". Ориентируясь на приведенный в Проекте пример и рисунки неопытные заказчики могут однозначно интерпретировать "лучшие и худшие" значения показателя, как минимальное и максимальное. В этом случае (даже при правильном выборе базиса нормировки) формула будет работать, но только для случаев линейной зависимости предпочтительности конкурсных заявок (квалификации поставщиков) от численных значений их характеристик. Но вспомним такие явно нелинейные зависимости, как, к примеру, формулу сложных процентов или формулу дисконтирования разновременных доходов и расходов к единому моменту времени. Для всех случаев нелинейной зависимости оценок предпочтительности заявок от значений их характеристик предлагаемая Проектом формула - это "грабли". Как быть? Классическое решение проблемы - использование функций ценности.

4. Приоритеты критериальных оценок (весовые коэффициенты)

В пункте 3.9 Проекта приведена таблица ориентировочных коэффициентов весомости. Для того, чтобы у "начинающих" заказчиков сформировались представления о тенденциях изменения весов в зависимости от сложности закупаемой продукции здесь полезно напомнить, что Всемирный банк для весового коэффициента цены рекомендует использовать значения в диапазоне 0,6 - 0,9 только при закупке товаров. При закупке же услуг - "от 0,1 до 0,2, но ни при каких обстоятельствах не более 0,3". А при закупке информационно-вычислительных систем тот же Всемирный банк рекомендует ориентировочные соотношения весов показателей цены и качества от 9:1 (для обычных компьютеров) до 1:1 (для сложных информационных систем, поставляемых на условиях "под ключ", т.е. при высокой доле цены услуг в цене товара). И все это притом, что Всемирный банк не занимается финансированием закупок продукции для целей национальной обороны и безопасности. Для закупок такого рода рекомендуемое Проектом распределение приоритетов - это "грабли". Так можно закупать только стандартную продукцию "без претензий" к ее функциональным и эксплуатационным характеристикам.

В чем причина возникновения всех этих проблем? В Проекте вслед за ГОСТ [1] предлагается рассматривать веса, как оценки относительной значимости критериев (показателей). Но вот что об этом сказано, к примеру, в [3] с отсылкой на классику [4]: "Одним из наиболее распространенных заблуждений при поверхностном ознакомлении с результатами теории полезности является восприятие ... (bj), как ... коэффициентов значимости критериев. На самом деле ... (bj) отражает как относительную значимость критерия, так и интервал возможных изменений его значения". Ведь в формуле взвешенного суммирования взвешиваются по степени значимости не критерии, а оценки предпочтительности конкурсных заявок по соответствующим критериям. Поэтому назначать веса до изучения конкурсных заявок теоретически неправильно, а практически - просто опасно (см. п. 6).

5. Способы обобщения значений характеристик и обобщения критериальных оценок

5.1. В п. 1.3 Проекта сказано, что "метод балльной оценки (здесь завуалирован метод экспертной оценки - Д.А.) рекомендуется применять при невозможности использования других расчетных методов". По мнению автора, экспертные и расчетные методы находятся в ином отношении. По [1] расчетные методы определения качества продукции основываются на использовании теоретических и (или) эмпирических зависимостей показателей качества продукции от ее параметров. Если кто верит в существование теоретических зависимостей при обработке субъективных требований и предпочтений заказчиков (а без этого понятие качества - нонсенс) - пожалуйста. По мнению же автора, теоретические зависимости возможны только при обобщении нескольких частных числовых характеристик заявки в один показатель (например, при дисконтировании). Но в любом случае значения полученного комплексного показателя должны быть далее подвергнуты экспертной оценке.

А эмпирические зависимости очень важны при обобщении как значений характеристик, так и экспертных оценок. Прежде всего, здесь следует отметить зависимости, получаемые в результате количественных и качественных маркетинговых исследований потребительских предпочтений. Сюда же относятся зависимости, получаемые регрессионными методами (для нас - по результатам аналогичных конкурсов). Здесь важно помнить о допустимости применения эмпирических методов только на эволюционных этапах развития закупаемой продукции, так как появление революционных предложений приведет к непредсказуемым последствиям при подведении итогов конкурса. Поэтому инновационную продукцию так закупать нельзя (см. также п. 6).

5.2. В Проекте предлагается суммировать оценки конкурсных заявок по ценовым и неценовым критериям. Это "грабли", поскольку взвешенное суммирование зависимых величин приводит к искажениям результатов. И если при квалифицированном подходе еще можно сформировать иерархию достаточно независимых оценок качества, то суммировать их с ценовыми оценками очень опасно, поскольку они всегда зависимы даже для простой продукции. Субъективная функция приемлемости затрат для сложной и дорогой продукции обычно существенно нелинейна и в значительной степени зависит от полученных конкурсными заявками оценок качества (выгод). Поэтому, по мнению автора, при закупках сложной продукции итоговые результаты экспертной оценки неценовой предпочтительности конкурсных заявок должны быть представлены конкурсной комиссии отдельно от комплексных ценовых показателей и оценок, например, в виде плоскости типа "качество - дисконтированная цена". Пример такой плоскости, формируемый в универсальной информационно-аналитической системе поддержки принятия решений "Оценка и Выбор" (Ó Д. Абдрахимов и А. Иоффин) представлен на рисунке.

Анализ расположения точек на плоскости позволяет сразу исключить из рассмотрения неконкурентоспособные заявки (здесь это заявка ХЗ, которая хуже заявки РА и по качеству и по цене). Натуральная форма ценового показателя позволяет членам конкурсной комиссии полностью "задействовать" свои субъективные оценки степени приемлемости затрат и принять итоговое решение.

В п. 3.8 Проекта со ссылкой на ГОСТ[1] [2] среди процедур формирования весов упомянута процедура парных сравнений. Отметим, что эта процедура пригодна для оценки относительной предпочтительности не только критериальных оценок, но и собственно конкурсных заявок. В нижней части рисунка можно увидеть шкалу парных сравнений Т.Саати, которая позволяет организовать информационно-аналитическую поддержку выбора итогового решения членами конкурсной комиссии. В результате парных сравнений на данной шкале компьютер вычисляет окончательные оценки относительной предпочтительности конкурсных предложений (в %). Отметим, что эти оценки, помимо решения задачи определения победителя конкурса, являются готовым решением задачи распределения фиксированных ресурсов по различным направлениям исходя из их относительной предпочтительности ("бюджетная задача").

6. Априорный подход

Пункт 2.4 Проекта требует публиковать в конкурсной документации все элементы алгоритма выбора победителя. Выше в пп. 4 и 5 нами обосновывалась невозможность корректного определения элементов алгоритма до изучения конкурсных заявок. Ведь поставщик-профессионал может предложить на выбор заказчика ценные потребительские свойства товара, о существовании которых заказчик просто не знает. Поэтому заранее предусмотреть и опубликовать соответствующие критерии оценки и, тем более, относительные приоритеты госзаказчик принципиально не сможет. При организации закупок инновационной продукции это - "грабли". Что делать? Наши законодатели для наукоемкой продукции оставили только двухэтапную конкурсную процедуру без указания цен на первом этапе. Но какой психически нормальный заказчик включит в окончательные требования к закупаемой продукции предложенные на 1-ом этапе новые потребительские свойства, не зная, во сколько это ему обойдется? За рубежом для этого существуют конкурсные процедуры запроса предложений с возможностью ведения ценовых переговоров. Для наших госзаказчиков сложной продукции выходом (хотя бы частичным) является публикация в конкурсной документации только общих принципов подведения итогов конкурса и наиболее общих формулировок критериев верхних уровней иерархии.

ЗАКЛЮЧЕНИЕ

В предыдущих публикациях в "КТ" автор уже отмечал, что наши проблемы, проявляющиеся в области госзакупок сложной продукции, во многих случаях возникают из-за переноса на отечественную почву только самых простых международных конкурсных процедур и распространением сферы применения этих простых процедур на закупки сложной продукции. Предлагаемые в Проекте подходы к экспертной оценке конкурсных предложений и квалификации поставщиков при закупке товаров "страдают" той же болезнью - для "огранщиков" рекомендуются методы, пригодные только для "каменотесов".

В целом же экспертные методы, как и вся проблематика, связанная с формализацией человеческих суждений и предпочтений, требуют к себе очень осторожного и квалифицированного отношения. Отсюда - главная методическая рекомендация тем, кто хочет успешно использовать методы экспертной оценки. Больше решайте практических задач и больше читайте, но ничему не верьте на слово (данная публикация - не исключение). Проверяйте все на здравый смысл и соответствие практике.[2]

• 1. ГОСТ 15 467-79 (СТ СЭВ 3519-81). УПРАВЛЕНИЕ КАЧЕСТВОМ ПРОДУКЦИИ. Основные понятия. Термины и определения.
• 2. ГОСТ 23 554.0-79. Система управления качеством продукции. ЭКСПЕРТНЫЕ МЕТОДЫ ОЦЕНКИ КАЧЕСТВА ПРОМЫШЛЕННОЙ ПРОДУКЦИИ. Основные положения.
• 3. Борисов А.Н., Вилюмс Э.Р., Сукур Л.Я. ДИАЛОГОВЫЕ СИСТЕМЫ ПРИНЯТИЯ РЕШЕНИЙ НА БАЗЕ МИНИ-ЭВМ: Информационное, математическое и программное обеспечение. - Рига: Зинатне, 1986.
• 4. Кини Р.Л., Райфа Х. Принятие решений при многих критериях: замещения и предпочтения. - М.: Радио и связь, 1981.

[1] Данный ГОСТ (как и его собратья по экспертным методам) отменен, т.е. его применение не является обязательным.

[2] Дополнительные материалы автора по данной тематике можно найти в сети Интернет по адресу: Http://www.deol.ru/users/DecisionSupporter

Только зарегистрированные пользователи могут оставлять коментарии.
Пожалуйста авторизуйтесь или зарегистрируйтесь.