政府采購評審專家評分異常的判定和管理 |
發布時間:2021-12-01 08:56:38 | 瀏覽次數: |
政府采購評審專家評分異常的判定和管理在政府采購中,專家評審環節是實現公平、公開、公正“三公”原則的重要環節之一,評審結論通常決定了中標供應商花落誰家。專家評審制度是我國政府采購法律、法規體系中一項重要的制度設計,《中華人民共和國政府采購法》賦予了評審專家對投標文件的評審權和中標供應商的推薦權,專家的評審水平影響著政府采購綜合效益的發揮。然而,長期以來屢屢出現的評分異?,F象成為困擾政府采購監管部門的一大難題,同時,還易引發供應商的質疑、投訴以及采購人對采購結果的不滿意。
當前,越來越多的呼聲要求對政府采購評審專家的評分異常情況進行科學地評估和有效地監督管理。
評分異常的界定及原因分析
關于評審專家異常評分的定義,無論在理論界還是在政府采購行業內至今沒有形成統一的意見。我國政府采購法律、法規體系中關于評分異常也沒有明確闡述。在《中華人民共和國政府采購法實施條例》《政府采購貨物和服務招標投標管理辦法》等文件中涉及“傾向性言論”“評分畸高、畸低”等少量表述,僅局限在一些原則性的規定上。
筆者理解,所謂評分異常的本質,無外乎是“異于常規”或“異于常人”,即評審專家憑借個人喜好,隨意給出不符合普遍認知或有悖于常理的得分?!墩少徳u審專家管理辦法》中就評審原則有專門要求,即科學、公正、不受任何干擾,獨立負責。換言之,凡是違反上述規定的,都可以視為評分異常。
導致評委評分異常的原因大致可以分為主觀因素和客觀因素兩類。
主觀因素是指評審專家個人意志或主觀判斷等因素。例如:有的專家受利益驅使給特定關系人打出“關系分”;有的專家因為身份多重(比如同時作為供應商代表或者采購單位代表),考慮到業務發展需要而為“朋友圈”相互關照打出“人情分”;有的專家受到其他專家的影響或者誘導,不問青紅皂白亂打“糊涂分”??傊?,不管是主動還是被動,不論是有意為之還是無心之失,都是評審專家的思想觀念、道德水平和職業素養出了問題。
客觀因素是指非評審專家個人因素導致異常評分的其他因素。例如:在評審專家的入庫遴選過程中專業分類不科學、不精細或者審核標準不明確,導致專家“混崗使用”,因能力欠缺而無法科學地評分;政府采購評審專家庫人員數量不足,專家易被圍獵、被腐蝕,難以公正評分;部分采購項目供應商過多,評審工作量過大,專家在短時間內無法完成超額的評審任務,不得不采取敷衍塞責的態度完成評標任務;一些地方的專家對法律法規、專業技能、廉潔自律教育等長期漠視,動態考核管理機制尚未建立等,這都給評分異?,F象的出現埋下了隱患。
評分異常的判定方法
評分異常是對投標文件中的主觀性評審內容而言,因為客觀性評審內容(比如供應商的資質、項目負責人的執業資格、職稱專業核定等)實際上不應當存在偏差,所有評審專家的結論應當一致。
對于政府采購主觀內容的評審是允許存在個體評審差異的,這種差異在合理范圍(區間)之內,被看作為“偏差”。當然不能簡單地將“偏差”與“異?!被鞛橐徽?。關于異常評分的判定標準,一直以來眾口不一,尤其是要從定量的角度去刻畫難度更大,但可以明確的是,偏差達到極限就是異常。盡管不同的偏差類型判斷的標準有所不同,但超出合理偏差范圍的評分就是異常評分。因此,要結合偏差的類型具體分析并建立合理的偏差模型。
評分偏差類型可以分為兩類,一類是橫向偏差,另一類是縱向偏差。
所謂橫向偏差,主要是指專家個人與同時參與同一個項目評審的其他專家相比,評分出現偏離,也就是“自己和別人比”有偏差,這種偏差容易甄別。中南大學的唐光杰在《科技評審中評分偏差模型的研究與應用》一文中提出,此種偏差可采用基于統計、距離、密度的異常檢測方法;河南大學的焦易于等人在《基于異常評分行為分析的虛假評論商品識別方法》一文中則提出,此種偏差可采用正態分布擬合和時序數據突變點的檢測方法。不管采用何種方法,只要構建相對科學、合理的數理模型,都可以比較直接地檢測出專家的評分偏離,有沒有接近或超過極限值,從而判定其是否為異常評分。
橫向偏差大致可細分為四種情況。第一,個性偏差。例如,不以招標文件規定的評標辦法為依據,而是根據個人喜好隨意給出評標結論。這類偏差有的出于有意(受利益驅使),有的出于無意(工作態度敷衍塞責)??傊?,這類偏差屬于純粹的主觀臆斷,是主觀惡意最大的偏差。第二,學識偏差。因評審專家的專業技術水平或者實踐經驗達不到評標所需的標準而出現的非主觀層面的偏差。例如,待評審項目的專業要求與專家自身從事或者熟悉的專業大相徑庭,甚至有些專家完全不了解所評項目的專業特點,這屬于專家能力不足導致的一種偏差類型。第三,認知偏差。認知偏差是專家基于自身的認知程度,對同一份投標文件的同一個評分項存在不同理解的情形,這也會導致評標結論存在較大差異。例如,對于“最近三年來無重大質量安全事故”的時限起算點的爭議,專家A認為,應從行為發生之日起算。專家B則認為,應從認定存在重大質量安全問題法律文書的生效之日起計算。導致這類偏差產生的原因主要是招標文件的評標標準設計不嚴謹,使專家在評審過程中產生理解上的分歧、認識上的偏差。第四,隨機偏差。隨機偏差是專家出于非主觀原因導致的一種無意識的偶然偏差。例如,對于夜間施工噪聲,兩個投標文件提供了不同的控制方案,一種安裝了聲屏障,另一種則砌筑了降噪棚,但是兩者都將噪聲控制在招標文件規定的55分貝之內。專家出于無心過失給出了不同的分值。
橫向偏差判定(Determination of lateral deviation,LAD)。在橫向偏差判定時應關注兩個指標:一是在同一項目中,對同一投標單位所有評標專家評分的平均值與各個專家評分對平均值的偏離程度;二是在同一項目中,以單個評標專家為對象分別計算其對所有投標單位打分的平均值偏離程度。至于偏離的置信區間可預先設定一個區域(如±10%—20%),根據評標項目不同屬性分別設置。如勘察設計、監理等技術服務類項目主觀評審因素影響較大的,可以適當放寬區域上下限。
通常,設定專家評審得分為Pi,對于同一個投標單位的其他專家的評審平均分為P,預設的橫向偏離區間為Δ,則合理橫向偏離幅度應當滿足公式①。
所謂縱向偏差主要是專家個人在評審類似項目時出現的評分偏離,也就是專家“自己和自己比”有偏差。這種偏差類型目前國內研究者尚無人關注也未有人提及,但其實是十分關鍵的偏差來源之一。其理論依據是,在評審過程中,如果有兩個項目供應商提交的投標文件在資格條件、響應程度、履約能力等各方面都高度一致(或相同),同一個專家對于這兩個項目應該給出相近或者相同的評分。否則,就存在偏差傾向。當然,這兩個項目可能不在同一時期出現,因此甄別起來就比較困難,沒有數據庫的積累和大數據分析工具的支持,很難捕捉到其中的差別,而這點正是大多數人容易忽略的情形,有時甚至連專家本人都無法解釋為何出現評分偏差。
縱向偏差判定(Determination of longitudinal deviation,LOD)。專家的縱向偏差判定比較困難,因為需要有足夠的樣本和大數據工具的支持。從相對簡化角度來看,可按照以下步驟處理:首先,要判斷待評審項目與以往已評審過的歷史項目,在項目特征、采購需求和投標供應商的響應程度方面是否高度相似;其次,要分析待評審的投標供應商與以往投標項目過程的基本情況有無明顯變化(如資質、資格、產品規模等);再其次,選擇同一個供應商時在時間跨度上不宜太大,否則會受政策環境、評標標準變化等因素影響;最后,滿足前三個基本條件的,可以對專家的評分進行縱向抽樣比較。如發現專家對同一個企業的評分存在明顯偏離的,就有理由懷疑其存在異常評分行為。
設專家本次評分結果為Qi,歷史上專家對于該企業的評分為Q,預設的縱向偏離區間為▽,則合理縱向偏離幅度應當滿足公式②。
評審時長判定(Determination of bid evaluation duration,EVD)是橫向偏差判定和縱向偏差判定以外的一個重要且簡捷有效的補充判定方法。理論依據簡單,即沒有足夠的評審時長保障,專家不可能作出合理的評審結論。由于我國的政府采購一般都是通過計算機評審系統對電子投標文件進行評審,因此,專家在瀏覽電子文檔的駐留時間很容易被計算機自動記錄下來(一般利用Ajax輪詢技術就可調用專家瀏覽投標文件的后臺日志),如此容易判斷專家能否給出公正的評審結論。這個時間維度的指標可以從多個角度來定義或者計算,比如,可以計算單頁駐留時長、全文本頁面平均駐留時長、頁面停留極端時長(即單頁最長或者最短駐留時長)等。
當然要構建合理的標書文件駐留時長模型不易,因為時長模型涉及的參數眾多,要充分考慮投標文件字體的大小、文字內容的難易程度、信息密集程度,以及專家的閱讀習慣、專業水平等。有時為了方便起見,也可以采用縱橫比較的方法來作一些粗略的判斷,比如評標時長不到其他專家平均時長的1/5,那就需要重點關注該評委有沒有存在草率評標的情形。另外,專家對于不同的投標文件存在明顯的瀏覽時間差異也是一個應當引起重視的現象,因為,很難想象,專家對于不同的投標文件在嚴重不對等的時長分配下能給出令人信服的結論。
異常評分判定公式
政府采購評審中,應當分別運用以上三種判定方式,最終分析得出專家的評分是否屬于異常評分情形。當然也可以對以上三種方式進行權重分配后給出一個綜合評價數值。
設橫向偏差、縱向偏差和時長偏差合理評分置信區間分別為[LADmin,LADmax]、[LODmin,LODmax]、[EVDmin,EVDmax],評審專家的橫向、縱向、時長評分分別為LAD、LOD、EVD,綜合評價數值公式如③,且同時滿足公式②時,可判定為異常評分。
有時也可事先設定一個綜合置信區間,即假定綜合合理評分置信區間(Comprehensive confidence interval,CCI)為[CCImin,CCImax],對橫向、縱向和時長偏差根據對異常評分的可能影響程度分別進行權重分配,設權重系數分別是α、β、γ,則判定公式可更改為公式④。
從異常評分判定的科學性、全面性而言,公式③更加客觀、公正,但是計算量較大;公式④相對比較簡便,但是易造成誤判。需要政府采購管理部門在積累大樣本數據的基礎上適時調校置信區間參數。
如圖是江蘇省南通市政府采購評審專家的一份異常評分檢測報告。從圖上的分析結論來看,張姓評委在橫向偏離、縱向偏離都超過了預設的閾值(極限值),尤其是時長偏差明顯有悖于常理。因為其在單頁的平均瀏覽時間只有4秒,47份投標文件、4000多頁的文本在短短67分鐘內就評審完畢,顯然是不符合評審規律的(甚至可以得出部分投標文件根本沒有瀏覽的結論),因此判定其存在異常評分證據確鑿無疑。
異常評分的修正
從現行的政府采購法律體系看,即便能夠科學、公正地甄別出專家的異常評分也很難直接予以修正。首先,國家層面對異常評分還沒有明確的界定標準或處置方法。財政部雖然在《關于進一步規范政府采購評審工作有關問題的通知》中指出,采購人、采購代理機構……要對評審數據進行校對、核對,對畸高、畸低的重大差異評分可以提示評審委員會復核或書面說明理由,但沒有允許直接修正評分。其次,多數評審專家對于自己的評分出現偏差也難以接受,更不會主動提出修改評審結論。最后,評分修正關系企業切身利益,決定了中標供應商資格的歸屬,無論是采購人還是行業監督部門都不得不采取小心謹慎的態度,在沒有充分依據的情況下不會主動啟動評分修正程序。
基于上述原因,目前比較合適的做法是,把專家的異常評分與日??己寺搫悠饋?,對于長期出現異常評分情況的專家,及時指出問題所在,加強監督教育管理,拒不改正的,堅決暫停其評審資格或者清理出庫。有條件的地區,可以在積累一定樣本數量的基礎上,通過大數據分析方法,研究哪些領域、哪些行業、哪種評標方法容易引發異常評分偏差,定量分析專家的評審質量波動幅度和趨勢,從而為政府采購行業主管部門制定標后評估管理辦法提供科學的依據。
評審專家的異常評分在政府采購行業內飽受詬病,它破壞了公平公正的市場秩序,違反了優質優價的評審原則。要從根本上破解這個難題,需要從管理、技術和政策三個方面同時施策。
基于管理層面,異常評分的一個根本原因是評審專家擁有過大的自由裁量權,評分空間彈性太大,專家不恰當地行使過大的自主權很容易導致評分偏離正常的軌道。因此,要在評標辦法的制度設計上壓縮自由評審的幅度和范圍。財政部在《關于進一步加強政府采購需求和履約驗收管理的指導意見》中明確指出,采購文件設定的評審因素要與采購需求對應,采購需求相關指標有區間規定的,評審因素應當量化到相應區間。另外,在評標方法的選擇上,要結合采購項目特點和實際需要選擇恰當的評標方法。對于采用通用技術、成熟工藝的常規采購項目,宜采用價格單因素(包括經評審的最低評標價法)等客觀因素主導的評標方法,不宜選用過度依賴評委主觀評判的綜合評分法,這樣從根源上就鏟除了可能滋生異常評分的不利因素。
基于技術層面,隨著信息化技術的進步,利用人工智能來輔助評審是解決專家評分異常的有效工具。目前,一些地方已經開始嘗試此做法,例如,中山大學研發出了一種快速采購系統,首次將人工智能AI與數據技術應用于招投標和評標等采購過程中。智能評審的基本思路是將采購文件進行結構化拆解、抽取評分點信息、調用評審樣本數據庫,再借助半監督機器學習算法,以知識圖譜技術為補充,實現對投標文件的智能評審。這樣的評審結論基本上可擺脫人為的主觀判斷,結果的均衡性、穩定性顯然大大優于人為操作。
基于政策層面,如果能在科學論證的基礎上,適度賦予采購人在異常評分識別機制下可以自主修正評審結果的權利,則能一定程度上減小異常評分帶來的危害。
(作者單位:江蘇省南通市政府采購中心)
![]()
編后
政府采購中,無論是出于有意還是無意,評審專家主觀傾向性異常打分是直接影響政府采購評審公正的主要因素之一。目前,由于缺乏明確的依據和判斷標準,政府采購監管部門很難進行科學治理。而本文作者從產生異常評分的背景和因素出發,提出了判定異常評分的識別方法,并就如何有效預防異常評分提出相關建議。
構建公平、健康、有序的市場環境,是政府采購的必然要求。我們相信,隨著政府采購制度的不斷完善以及科學技術的蓬勃發展,未來,政府采購領域對評審專家的異常評分可以有效地識別、分析、判定和管理。
|
上一篇:南陽市公共資源交易中心關于印發《關于落實保證金及時退還工作的六條措施》的通知 下一篇:政采標準化建設離不開采購人的深度參與 |