4. Проведение технической экспертизы

4.1. Критерии технической оценки предложений.

1. Для технической оценки предложений необходимо для каждого лота разработать систему критериев. Одним из условий получения достоверных оценок в обычных условиях является создание иерархической системы критериев. Число уровней иерархии критериев обычно не превышает 3-5. Чем меньше, тем лучше. Однако желательно, чтобы на каждом уровне иерархии число вложенных критериев не превышала 7 (среднестатистический объем оперативной памяти человека). Для нижних уровней иерархии это не более, чем пожелание. Чем выше уровень, тем к большим ошибкам обычно приводит невыполнение этого «пожелания».

Надо стремиться строить иерархию таким образом, чтобы на каждом уровне каждый критерий входил только в один обобщающий критерий (т.е. критерий более высокого уровня иерархии). Нарушение этого «пожелания» свидетельствует о зависимости критериев верхнего уровня, что приводит к ошибочным результатам взвешенного суммирования оценок по этим критериям. К сожалению, данное «пожелание» удается выполнить не всегда.

2. Вышеизложенное относится только к техническим критериям. Операция взвешенного суммирования не может давать правильных результатов при сложении зависимых величин. Технические и экономические оценки объектов одного вида обычно статистически зависимы. Как правило, чем предложение  лучше, тем оно и дороже[6]. . Поэтому взвешенное суммирование технических и экономических критериев недопустимо. Для определения победителей членами Конкурсной комиссии на основе сопоставления выгод (это, прежде всего, технические критерии) и издержек (прежде всего - экономические критерии) по каждому лоту можно предложить использовать специальные информационно-аналитические технологии представления результатов экспертизы в виде точек на плоскости «Неценовая предпочтительность - приведенная цена конкурсных заявок».

3. Для формулировки находящейся на верхнем (нулевом) уровне иерархии критериев итоговой оценки предпочтительности технических предложений участников конкурса можно взять, например, следующую формулировку: «итоговая оценка предпочтительности технических предложений участников конкурса».

На следующем (первом) уровне иерархии главное место должен занимать обобщенный критерий «Функциональные возможности и надежность оборудования». Наполнение этого критерия на третьем уровне иерархии для каждого лота следует брать из изложенных в ТЗ технических требований к функциональным характеристикам закупаемого оборудования. При формировании критериев, описывающих «целевое назначение» закупаемой продукции, не следует «зацикливаться» на технических параметрах. Следует помнить, что технические параметры есть только средство выражения главного в закупаемой продукции - потребительских свойств.

На этом же (первом) уровне должен быть обобщенный критерий «Надежность поставщика», причем, чем сложнее и «инновационнее» закупаемое оборудование, тем выше должна быть относительная значимость этого критерия. Можно сказать, что данный критерий носит в определенной степени «мультипликативный» характер. Только не в смысле необходимости перемножения оценок функциональных возможностей и надежности поставщика, а в смысле умножения на ноль любых обещаний замечательных функциональных характеристик за счет «нулевой» квалификации поставщика. Для производителей серийной техники это не особо важно. Но при закупках сложной инновационной техники (если в данном конкурсе есть такое оборудование и программное обеспечение) этот критерий имеет очень существенное значение. В качестве наполнения данного критерия можно рекомендовать использовать в качестве основы критерии, обычно применяемые на этапе квалификационного отбора.

Аналогично, для сложного оборудования и программного обеспечения на этом же первом уровне иерархии должен находиться критерий «Послепродажный сервис», поскольку самое замечательное оборудование от надежного поставщика невозможно заставить работать надежно и эффективно без соответствующего обучения персонала, гарантийного и послегарантийного обслуживания, обеспечения расходными материалами и ЗИПом и т.п. При этом для формирования «наполнения» этого критерия следует взять по возможности все требования по гарантийному и послегарантийному обслуживанию из ТЗ. Причем для импортных поставок сложной техники часто ключевое значение играет предоставление оперативного сервиса именно на русском языке.

При назначении оценок по каждому из критериев эксперты должны использовать одну и ту же шкалу. Для работы можно рекомендовать следующую шкалу абсолютных оценок:

В данном случае использована шакала оценок от 0 до 1. С тем же успехом в правую графу можно поставить и числа от 0 до 10, от 0 до 100 и т.д. Здесь важно, что нулевая оценка ставится за «Минимально приемлемо», т.е. за точное выполнение минимальных жестких требований ТЗ. Насчет максимальной оценки «Идеально» - чуть ниже.

Использование одной и той же линейной шкалы для всех критериев оценки конкурсных предложений позволит членам Конкурсной комиссии перевести обратно на русский язык полученные в виде чисел (от 0 до 1) итоговые оценки предпочтительности конкурсных заявок по всем техническим критериям. Главное здесь нигде не публиковать полученные численные оценки без использованной шкалы словесного перевода. А то некоторые могут испугаться оценок 0.0, полагая, что это нулевая ценность конкурсной заявки. На самом деле это означает, что поставщик оказался исключительно грамотным  и дал предложения, в точности соответствующие минимальным техническим требованиям конкурсной документации. Если бы гипотетический Заказчик при написании конкурсной документации совершенно точно знал, что ему нужно, то данная заявка (с итоговой технической оценкой 0.0), имела бы все возможности оказаться и самой дешевой (в силу вышеупомянутой  зависимости технических и экономических оценок объектов одного вида) и тем самым выиграть конкурс.

Отрицательных (неудовлетворительных) оценок на этой шкале быть не может (они соответствуют предложениям с неприемлемыми характеристиками, которые должны были быть отклонены на отборочном этапе оценочной стадии экспертизы).

Для занесения экспертных оценок заранее для каждого эксперта по каждому лоту готовится таблица «Критерии / Номера конкурсных заявок». В каждую ячейку таблицы эксперт (после поиска информации о содержащихся в данной заявке технических предложениях по данному критерию) заносит свою оценку, пользуясь вышеприведенной шкалой.

Любой эксперт может столкнуться со следующей ситуацией. Понятие «идеального» значения характеристики конкурсного предложения по конкретному критерию у эксперта существовало и до данного конкурса. Обычно оно основано на личном опыте эксперта и знакомстве с мировыми достижениями по публикациям. Может случиться, что какое-либо из конкурсных предложений будет содержать предложения, превышающие априорное понятие эксперта «Идеальное значение характеристики». Здесь возможны два подхода. В первом случае эксперт в процессе рассмотрения такой заявки корректирует свое понятие «идеально» для данного критерия, ставит данной заявке оценку 1.0, пропорционально уменьшает все оценки по данному критерию для ранее рассмотренных заявок и использует новое понятие «идеально» при рассмотрении последующих заявок. Во втором случае эксперт для такого предложения ставит оценку, превышающую 1.0.

Второй подход представляется более предпочтительным. Рассмотрим аналогию. Член приемной комиссии ВУЗа на экзамене по профильному предмету привычно ставит пятерки «обычным» абитуриентам-отличникам. И вдруг сталкивается с абитуриентом-вундеркиндом. Ставить «вундеркинду» пятерку, а всем остальным «отличникам» и прочим снижать оценки, к примеру, в 2 раза, наверное, не очень справедливо. Лучше «вундеркинду» поставить в ведомость оценку, например, 8 (на пятибалльной шкале). А дальше - все как обычно. Эта оценка поможет «вундеркинду» компенсировать не слишком хорошие, НО ПРИЕМЛЕМЫЕ (после отборочного этапа оценочной стадии) оценки по непрофильным предметам. Здесь важно отметить, что существует вероятность того, что при высоких оценках и по другим критериям («предметам») итоговая оценка также окажется выше 1.0. Поэтому при использовании второго подхода эксперт в своем заключении для Конкурсной комиссии должен обязательно оговорить, что оценка 1.0 для него соответствует априорному (до знакомства с заявками) понятию «Идеально» по данному критерию и обосновать уникальность конкурсной заявки-«вундеркинда».

Все вышеизложенное относится к т.н. «абсолютным» оценкам (пример - школьные оценки), которые позволяют с одинаковым успехом оценивать любое число заявок. На этой шкале может быть при необходимости оценена даже единственная заявка (пример - оценка целесообразности кредитования банком единственного проекта, при отсутствии проектов - конкурентов). Для оценки заявок могут также использоваться и т.н. «относительные» оценки, когда ставится задача оценить относительную предпочтительность заявок в конкретной группе путем распределения 100% среди конкурентов исходя из их относительной предпочтительности. Например, в семье после премии надо распределить 1000 рублей среди пяти детей пропорционально их успеваемости и поведению - здесь что пять одинаковых отличников, что пять одинаковых троечников все равно получат по 20% от общей суммы, зато если дети неодинаковы, распределение ресурсов произойдет гораздо точнее.

Второй метод основан на парных сравнениях заявок по каждому из критериев (в литературе - метод анализа иерархий Т.Саати[7]). Он более точен, позволяет контролировать последовательность суждений эксперта, однако технологически гораздо более сложен и без труда может использоваться только при применении специальных программных средств. По предыдущему опыту метод дает наилучшие результаты, когда число критериев на каждом уровне иерархии лежит в диапазоне от 3 до 7. В целом при экспертизе сложных проектов наиболее конструктивным представляется в случае большого числа заявок сначала использовать абсолютные оценки для предварительного выделения 4-6 наиболее конкурентоспособных альтернатив, а затем определить победителя с максимальной точностью путем использования относительных оценок.

Для получения более надежных оценок заявок по наиболее важным критериям (как абсолютных, так и относительных оценок) можно использовать одновременно нескольких экспертов с последующим усреднением результатов экспертизы. Оценки экспертов можно складывать с использованием весовых коэффициентов, отражающих квалификацию экспертов. Однако здесь обычно возникают серьезные морально-этические проблемы, поскольку назначать веса экспертам - серьезная задача. Только на научные звания, награды, публикации и т.п. здесь ориентироваться просто опасно. Существуют технологии усреднения мнения группы экспертов и дать оценки степени согласованности их оценок, с указанием степени рассогласованности каждого критерия, оценкой степень «экстравагантности» каждого эксперта (подробнее на сайте decisionsupporter.com). Следует помнить, что информационно-аналитические системы поддержки принятия решений как и любые другие машинные системы, не могут указать, мнение какого эксперта более правильное, однако дают богатый материал для проведения неформальных процедур повышения степени согласованности мнений группы экспертов.

Любой член Экспертного совета, имеющий особое мнение, отличное от обобщенного мнения других экспертов обязан довести это особое мнение до сведения группы информационно-методического и программно-технологического обеспечения для последующего обязательного доведения до сведения Конкурсной комиссии.

Экспертные оценки, а также их аргументированное обоснование представляются в письменном виде и на дискетах в согласованном формате.

На каждом уровне иерархии, внутри каждой группы критериев эксперты должны сформировать систему весовых коэффициентов, отражающих их мнение об относительной приоритетности (значимости) оценок по критериям (в примере про «вундеркинда» это является отражением степени «профильности» экзаменационного предмета. При работе с абсолютными оценками эксперты назначают веса самостоятельно. Желательно, чтобы их сумма в рамках каждой группы критериев на каждом уровне иерархии равнялась 1.0, хотя можно этого и не требовать (в этом случае группа информационно-аналитического сопровождения должна отнормировать полученные веса к сумме=1 самостоятельно).

Главное здесь следующее. Если посмотреть на формулу взвешенного суммирования, то станет очевидной ошибочность традиционного словосочетания «относительная значимость критерия. В формуле взвешиваются не критерии (словесные формулировки), а назначенные экспертами оценки по критериям. Отсюда следует, что:

• весовые коэффициенты могут обоснованно назначаться только после завершения оценки всех заявок по данной группе критериев в иерархии критериев;
• весовые коэффициенты должны назначать те же самые эксперты, которые давали оценки заявкам по этим критериям.

ВНИМАНИЕ! В публикации КТ последняя фраза попала по моему недосмотру. Она была написана для конкретного заказчика и учитывала особенности его конкретной организации экспертизы. В общем случае это положение является неправильным. Текст этого дефиса следует заменить на следующий: «весовые коэффициенты должны назначать эксперты, ответственные за формирование обобщенной оценки по данной группе критериев в иерархии критериев (в простейшем случае это руководитель подгруппы экспертов, ответственных за оценку по данной группе критериев, но для повышения надежности здесь дополнительно может быть привлечено несколько дополнительных экспертов более высокого уровня иерархии)».

После сбора и обобщения мнений экспертов группа информационно-методического и программно-технологического обеспечения работы экспертов представляет результаты обработки, а также оценки степени согласованности мнений экспертов Экспертному совету для окончательной корректировки и утверждения.

При формировании итоговых оценок и рекомендаций Конкурсной комиссии по выбору Поставщика для заключения государственного контракта, прежде всего по каждому лоту предпринимается попытка выявить наилучшую конкурсную заявку в результате доминантного (Паретовского) анализа экспертных оценок всех заявок по всем техническим, экономическим и юридическим критериям[8]. В качестве дополнительного средства анализа конкурсных проектов может использоваться доминантный анализ на подмножестве критериев, признанных Экспертным советом наиболее существенными (приоритетными).

После проведения доминантного анализа на основе оценок заявок экспертами по всем оценочным критериям Экспертным советом  должны быть получены и утверждены итоговые количественные экспертные оценки по техническим, экономическим и юридическим критериям по каждой из конкурсных заявок по каждому лоту.

При значительном числе оцениваемых заявок по решению Экспертного совета вычисление итоговых оценок по доминируемым заявкам может не производиться.

Экспертный совет формируют свои рекомендации по выбору лучшей заявки на основе рассмотрения анализируемых заявок в виде точек на плоскости "Итоговая неценовая предпочтительность (ось Y) - Итоговая ценовая предпочтительность (ось Х)". Это обусловлено тем, что сложение ценовых и неценовых оценок является одной из грубейших методологических ошибок. Оценки итоговой неценовой предпочтительности можно формировать путем суммирования итоговых технических и итоговых юридических экспертных оценок (технические оценки обычно на данном этапе экспертизы гораздо более значимы - все зависит от конкретных предложений участников конкурса). Обычно гораздо более предпочтительно на оси Х в качестве итоговых экспертных оценок ценовой предпочтительности заявок показывать приведенные к единому базису оценки и дисконтированные цены заявок по данному лоту. Здесь все зависит от того, что смогут насчитать экономисты. В конце концов, можно просто обойтись итоговыми ценами заявок.

Характер расположения этих точек на плоскости позволяет существенно облегчить выбор наилучшей заявки по наиболее приемлемому для Конкурсной комиссии соотношению ожидаемых выгод и издержек.

С позиций обеспечения интересов Заказчика Экспертный совет теоретически мог бы вместе с результатами экспертизы заявок рекомендовать Конкурсной комиссии конкретные организационные и технические решения по совершенствованию и удешевлению конкретных конкурсных заявок для использования в предконтрактных переговорах с победителями конкурса. Однако в явном виде это делать недопустимо, поскольку с позиций гражданского законодательства РФ конкурсная заявка есть оферта, а акцепт оферты должен быть безусловным. Это означает, что у Заказчика на предконтрактных переговорах не будет правовых оснований требовать внесения изменений в конкурсную заявку, а тем более - обуславливать признание заявки победившей выполнением каких-либо неоговоренных в конкурсной документации или в данной конкурсной заявке условий.

В итоге Экспертный совет формирует Заключение, содержащее многокритериальную экспертную оценку неценовой и ценовой предпочтительности конкурсных предложений Поставщиков, а также рекомендации Госзаказчику по выбору победителя (или победителей) конкурса для проведения переговоров о заключении госконтракта.

Д.А. Абдрахимов, к.т.н.

© Дамир Абдрахимов, к.т.н.

[1] Заявка с технико-коммерческими предложениями по нескольким лотам может отклоняться по одному лоту и продолжать участвовать в конкурсе по остальным лотам.

[2] Оценка квалификации проводится по каждому лоту отдельно. Поставщик может быть достаточно квалифицированным для поставок по одному лоту и недостаточно квалифицированным по другому лоту или совокупности всех лотов (например по такому часто употребимому критерию, как общий объем аналогичных контрактов за к-л прошлый период). К общему опыту работы, репутации, кадровым возможностям и т.п. это, естественно, в данном случае не относится.

[3] Следует избегать распространенной методологической ошибки - требования от участника наличия собственного высококвалифицированного персонала даже в тех случаях, когда участнику достаточно показать возможность его привлечения на время производства закупаемой продукции.

[4] Слово «голосование» использовано условно, как элемент часто слышимого по телевизору словосочетания из практики нашей Госдумы.

[5] Первая редакция документа называлась «Методические рекомендации по оценке эффективности инвестиционных проектов и их отбору для финансирования», и была утверждена Госстроем, Министерством экономики, Министерством финансов и Госкомпромом России 31.03.94.

[6] Строго говоря, эта зависимость имеет логистический характер. Она наблюдается на конкурентных рынках, находящихся на эволюционных этапах развития, т.е. когда никто из конкурентов не имеет преимуществ (организационно-технических решений, изобретений, «ноу-хау»), позволяющих существенно снизить издержки относительно среднеотраслевого уровня при достижении определенного уровня качества продукции.

[7] Более правильным представляется следующий перевод названия метода: «Метод иерархического анализа».

[8] По результатам доминантного анализа среди конкурсных заявок должны быть выделены: доминирующая, недоминируемые и доминируемые заявки.

Доминирующей (т.е. "Явным лидером") признается заявка, являющийся по мнению Экспертного совета нехудшей по всем оценочным критериям и лучшей хотя бы по одному из оценочных критериев (в случае наличия такой заявки - достаточно редкий случай, но мне известен конкурс, на котором одна фирма по большинству лотов представила технически лучшие и при этом наиболее дешевые предложения - и выиграла «с треском»).

Доминируемыми (т.е. "Аутсайдерами") признаются заявки, которые доминируются хотя бы одной другой заявкой, помимо "Явного лидера" (в случае его наличия). Остальные заявки признаются недоминируемыми.

Только зарегистрированные пользователи могут оставлять коментарии.
Пожалуйста авторизуйтесь или зарегистрируйтесь.