Customer index

Мета

Професіоналізація закупівель є однією з найважливіших задач, які дозволять зробити використання публічних коштів ефективнішим. Для цього, зокрема, треба мати змогу оцінити як окремого замовника, так і загальну динаміку закупівель. Проте в системі публічних закупівель налічується понад 40 000 замовників, і для об’єктивного аналізу такого масиву інформації неможливо застосувати класичні методи прямої оцінки процесів. Тож наразі замовникам і їхнім керівним органам складно об’єктивно оцінити якість організації закупівель, а також проаналізувати їхні слабкі сторони та сформувати дорожню карту для їхнього поліпшення.

Здебільшого замовники використовують один або декілька показників оцінки, такі як «економія» (у значенні різниці між очікуваною вартістю та вартістю переможця закупівель), середня кількість учасників та успішність закупівель (відсоток успішно завершених закупівель).

Водночас ці показники не дозволяють сформувати повноцінне розуміння того, наскільки ефективно відбуваються процеси. Окрім цього, вони можуть містити високі ризики необ’єктивності такої оцінки.

Наприклад, найпопулярнішим показником для визначення ефективності замовника є «економія», яку рахують як різницю між очікуваною вартістю та вартістю переможної пропозиції. Цей показник не завжди є об’єктивним параметром. Визначення очікуваної вартості залежить передусім від самого замовника і його мотивації. Тендер з високою економією не гарантує, що в ньому буде нижча ціна, порівняно з іншими закупівлями в інших замовників, в яких «економія» нижча.

Таким чином цей показник не є достатньо об’єктивним для того, щоб сформувати оцінку замовника.

Оскільки відсутній єдиний стандартизований підхід до оцінки, це не дозволяє зосередитися на основних проблемах закупівель і призводить до того, що ефективність використання публічних коштів системно не покращується.

Концепт

Для більш об'єктивної та комплексної оцінки замовників проєкт DOZORRO Transparency International Ukraine пропонує застосувати комплекс показників, які доповнюють та компенсують ризики один одного.

Як поведінка замовників впливає на показники в системі Prozorro

Розглянемо декілька сценаріїв, щоб побачити вплив поведінки замовника на певні показники та визначити зв’язок між ними.

Сценарій 1

Якщо замовник хоче укласти договір з певним постачальником за завищеною вартістю, і для цього він завищив очікувану вартість і прописав дискримінаційні вимоги. У такому разі ми можемо спостерігати достатньо високий рівень «економії» та успішності такої закупівлі. Водночас з високою ймовірністю в таких закупівлях буде вищий відсоток дискваліфікацій, скарг та виявлених порушень за результатами моніторингів Держаудитслужби.

Аналізуючи в комплексі всі ці показники, ми можемо об’єктивно оцінити процес. Тоді як аналіз окремих показників не зможе надати нам повноцінну картину. А якщо оцінювати замовника лише за показником «економія», висновки взагалі можуть бути хибними.

Сценарій 2

Замовник визначає вимоги тендерної документації під конкретний товар та обмежує конкуренцію учасників. У такому разі ми побачимо низьку кількісну (кількість учасників) та якісну (зниження пропозицій у процесі торгів) конкуренцію. Додатковим фактором, який допоможе виявити зловживання, можуть стати численні питання, вимоги та скарги на тендерну документацію замовника.

Сценарій 3

Замовник створює перешкоди для укладання контрактів з «непотрібним» постачальником. У такому разі можна ідентифікувати високий відсоток скасованих закупівель, дискваліфікацій і скарг.

Отже, різні сценарії поведінки замовників потребують різних показників, щоб виявити та зафіксувати проблему.

Як ми обирали показники

Необхідно розуміти, що попри те, що в Prozorro зберігається багато даних про закупівлю, їхній обсяг все ж обмежений. Він не дозволяє оцінювати процес підготовки закупівлі, а інформація про виконання контрактів не завжди об’єктивна та своєчасна.

Тому першою нашою задачею було визначити перелік показників, які є достатньо об’єктивними та доповнюють один одного, що дозволяє поєднати їх у групи, здатні охарактеризувати процес.

У результаті ми сформували такі групи взаємопов’язаних показників:

Результативність — наскільки успішно закупівлі досягають своєї мети;
Відкритість — наскільки відкритим є доступ учасників до контрактів замовника;
Конкурентність — наскільки активно учасники змагаються за перемогу в закупівлях;
Дотримання процедур (Порушення) — наскільки доброчесно замовники виконують вимоги законодавства;

Індекс замовника

За результатом оцінки замовника в розрізі різних груп показників розраховується середньозважений індекс замовника, який дозволяє визначити загальну якість процесу закупівель замовника.

Індекс замовника є верхньорівневою оцінкою загального результату його закупівель. Аналіз конкретних показників і груп показників може дати чіткіше уявлення про основні сильні та слабкі сторони замовника.

Підходи й методи

Спосіб обрахунку оцінки за показниками

Для всіх показників, які використовують для визначення Індексу замовника, застосовано єдиний принцип розрахунку оцінки. Він базується на визначенні трьох параметрів: максимального, середнього та мінімального значення показника.

Мінімальне значення — це мінімально можливий результат у системі Prozorro, якому в системі оцінки присвоюють 0 балів. Наприклад, для показника «відсоток успішних завершених закупівель» він буде дорівнювати 0%.

Максимальне значення показника — це максимальний результат, якому присвоюють 100 балів. Для показника «відсоток успішних завершених лотів» він буде дорівнювати 100%.

Середнє значення визначається як середнє значення показника в попередньому році серед усіх замовників Prozorro, які підпадають під критерії оцінювання. Наприклад, для 2022 року це буде 67% успішних завершених конкурентних лотів. Йому присвоюють результат 50 балів.

Визначення цих початкових координат дозволяє побудувати графік залежності оцінки від показника замовника:

Отже, якщо результат замовника відповідає середньому значенню в Prozorro за минулий рік, то він отримує 50 балів зі 100 можливих. Якщо його результат буде вищим за середнє, він отримає пропорційно вищий бал. А якщо нижчим — пропорційно нижчий бал.

Така модель дозволяє розв’язати проблему різних діапазонів значень для різних показників. Адже, наприклад, для таких показників, як «економія», кількість учасників і відсоток дискваліфікацій, результат у більшості випадків буде достатньо невеликим (2–5–10). Тоді як такі показники, як відсоток успішних завершених і відсоток конкурентних, мають високий діапазон значень (60–80%).

Переведення їх у нелінійний графік залежності оцінки від базових значень дозволяє усунути проблему різних діапазонів значень. Значення, близьке до середнього в Prozorro, буде отримувати середній показник, незалежно від того, в якому діапазоні значень воно перебуває.

Початкові ввідні

Періоди

Більшість показників об’єктивно можна визначити лише на етапі, коли закупівля завершилася. Тому поділ на періоди відбувається відносно дати завершення лота, а не дати оголошення, як це передбачено в публічному модулі аналітики.

Тобто показники в січні будуть розраховувати відносно тих закупівель, які перейшли в завершений стан протягом січня. Цей показник визначається після завершення місяця, щодо якого розраховують показники.

Під завершеним станом маються на увазі такі статуси закупівель:

відмінена закупівля;
закупівля не відбулася;
успішна закупівля (закупівля завершилася укладанням договору).

Для показників, які прив’язані до іншої події, ніж подія завершення закупівлі (відсоток лотів із підтвердженими порушеннями Держаудитслужби, тощо), розрахунок відбувається відносно дати події в цьому періоді (незалежно від дати оголошення та завершення закупівлі).

Вибірка

Розрахунок усіх показників, крім відсотка конкурентних, відбувається винятково щодо конкурентних закупівель. Адже більшість показників відсутні для неконкурентних процедур.

Мінімальний обсяг даних (закупівель) для оцінки

Щоб об’єктивно визначити певні тренди та поведінкові фактори, необхідно проаналізувати кількість даних (лотів), яка є достатньою для усунення ризику впливу поодинокого аномального значення.

Таким чином оцінки отримують виключно замовники, які завершили щонайменше 10 конкурентних закупівель (лотів) в обраному періоді. Якщо оцінювати меншу кількість закупівель, існує високий ризик диспропорційного впливу однієї аномальної величини порівняно з іншими.

Наприклад, у замовника Х завершилося в періоді спостереження 3 лоти, в одному з яких кількість учасників складає 9, а у двох інших — на рівні середніх значень Prozorro (приблизно 2-3). У такому випадку значення замовника буде вдвічі вищим, за середнє в Prozorro, при тому, що такий вплив обумовлений лише одиничною подією.

Водночас за умови збільшення кількості закупівель точність вимірювань стає вищою (відповідно до методу Стьюдента).

Накопичення періодів

Оскільки існує певний «прохідний бар’єр» у вигляді 10 конкурентних закупівель (лотів), розрахунок показників для кожного окремого періоду може призвести до того, що в одного і того ж замовника в певних місяцях буде 10 конкурентних завершених закупівель, а в інших — менше. Відповідно оцінка буде визначатися не до всього періоду, який охоплює декілька місяців, що призводить до втрати частини даних і неточності обрахунку.

Щоб усунути цей ризик, оцінка закупівель відбувається накопиченням. Тобто період січень міститиме завершені закупівлі січня, період лютий — завершені закупівлі січня – лютого, період березень — завершені закупівлі січня – березня і так далі.

У такий спосіб усі закупівлі будуть акумулюватися, і навіть якщо замовник не отримав оцінку в січні, він отримає її в наступних місяцях, коли кількість завершених закупівель перевищить 10.