英國科研評價模式：由專業(yè)評價人員進行評價

　　所謂“英國模式”，指的是由專業(yè)評價人員實施評價工作，即在評價政府科研資助政策以及研究與發(fā)展的實施情況、產(chǎn)生的成果和影響時，評價發(fā)起者只參與評價方案設(shè)計工作，具體評價業(yè)務(wù)，包括綜合評價結(jié)論和建議等等，一般完全委托給專業(yè)評價人員。專業(yè)評價人員通常具有很深的資歷、豐富的評價經(jīng)驗、一絲不茍的學(xué)術(shù)態(tài)度，他們提供的結(jié)論通常能獲得行政部門和學(xué)術(shù)界的認可，在政府制定政策過程中發(fā)揮了重要作用。
　　英國的專業(yè)評價人員指的是：(1)政府部門內(nèi)部的評價小組；(2)科學(xué)政策研究機構(gòu)，例如PREST和SPRU中的有關(guān)人員[2]（注：PREST：英國Manchester大學(xué)的工程、科學(xué)與技術(shù)政策研究所；SPRU：英國Sussex大學(xué)的科學(xué)政策研究中心。它們都是世界知名的科技政策研究機構(gòu)。），它們除開展評價理論與方法論研究之外，還從事實際評價工作；(3)一些專門為公共部門服務(wù)的私人咨詢公司。需要指出的是，參與評價的私人咨詢公司的數(shù)量非常有限，其原因在于科研評價工作不僅是一項知識性很強的活動，需要各方面的知識投入，而且需要保持絕對中立，深受評價發(fā)起者和被評價方的信賴。這兩個因素阻礙了私人咨詢機構(gòu)大量進入評價領(lǐng)域。
　　　　一、英國開展評價工作的政策背景
　　英國政府重視科研評價工作的主要原因在于：(1)政府削減了研究投入；(2)財政部(Treasury)和內(nèi)閣辦公室(Cabinet  Office)要求所有公共管理領(lǐng)域證明公共資金的價值和交賬(accountability)；(3)政府科研資助部門必須對前景光明的新興科技領(lǐng)域作出迅速反應(yīng)；(4)政府比以往更強調(diào)科學(xué)的實用性、技術(shù)轉(zhuǎn)移和交叉學(xué)科研究，并為此嘗試利用新模式組織科學(xué)研究，諸如資助機構(gòu)聯(lián)合啟動研究計劃、支持產(chǎn)學(xué)合作研究和參與國際合作研究計劃，因此需要把評價納入政策制定過程，通過評價來闡明復(fù)雜、疑難問題，例如不同資助模式的恰當程度、資助產(chǎn)生的經(jīng)濟效益。面對上述4個方面的壓力，許多政府科研管理部門和機構(gòu)建立了內(nèi)部評估小組，小組一般由2～10名全時的工作人員組成，本文將他們稱之為內(nèi)部專業(yè)評價人員。小組在一位負有政策制定職責的高級公務(wù)員領(lǐng)導(dǎo)下開展工作，這樣做有利于把科研評價與政策制定結(jié)合起來。
　　盡管政府R  &  D管理部門面臨相同的壓力，但是它們并沒有采用統(tǒng)一的評價框架，而是根據(jù)各自的需求和特征組織自己的評價工作[3]（注：CABINET  OFFICE,《Annual  review  of  Government  Funded  Research  and  Development》,HMSO,London,
1990）。在這種情況下，1986年內(nèi)閣辦公室成立了組織協(xié)調(diào)各部門評價工作的評估辦公室[4]（注：目前，由于各個部門充分認識到了評價工作的重要性，不再需要一個專門機構(gòu)推動此項工作，因而取消了該辦公室。）。評估辦公室既不從事實際評價工作，也不規(guī)定應(yīng)該如何開展評價工作，僅僅制定了一份用戶友好的評價指南，用于促進內(nèi)部評價專家之間的思想交流，傳播政府評價工作理念[5]（注：CABINET  OFFICE,《Research  and  Development  Assessment:a  Guide  for  Custorners  and  Managers  of  R 
 &  D》,HMSO,London,1989）。
　　評估辦公室認為科研評價工作應(yīng)該為科研管理與決策提供信息，是政策制定過程中不可缺少的組成部分。這就要求內(nèi)部評價小組不僅要組織評價工作，還要研究、構(gòu)建科研績效、影響和投入等定量指標。例如，研究理事會的內(nèi)部評價小組特別重視參與研究績效指標的擬訂和內(nèi)部管理信息的采集與利用，將它們應(yīng)用于研究計劃的制定、預(yù)算分配、研究管理以及事后評價工作。再如，貿(mào)工部(DTI)的評價辦公室不僅僅采集和綜合定量指標，而且更強調(diào)主動參與R  &  D計劃的制定及其詳細評價。
　　　　二、內(nèi)部評價小組在科研評價與管理中的作用
　　　　1.在應(yīng)用研究的評價與管理中的作用
　　1980年，DTI在其研究與技術(shù)政策司成立了研究與技術(shù)評估小組，主要從事應(yīng)用研究項目的評價。1984年，評估活動延伸到科研政策制定和實施的全過程，即從制定研究計劃到監(jiān)控、評價研究計劃實施情況與產(chǎn)生的影響。目前，由于DTI不再支持與市場聯(lián)系緊密的活動，而是直接支持競爭前研究、支持大學(xué)與工業(yè)界的合作和技術(shù)轉(zhuǎn)移以及國際合作計劃，使DTI必須改進其研究資助計劃與管理系統(tǒng)，評估新的資助模式產(chǎn)生的影響，為相關(guān)問題提供政策建議。為此，DTI制定了ROAME文件，以它為框架開展管理與評價工作[6]（注：L.Georghiou  &  E.Davis(eds),Evaluation  of  R  &  D-A  Policymaker's  Perspective,Proceedings  of  the  International  Workshop  on  Assessment
  and  Evaluation,HMSO,London,1988）。ROAME由計劃中各個要素的首字母構(gòu)成：基本理由(Rationale)、目標(Objectives)、鑒定(Appraisal)、監(jiān)控(Monitoring)和評價(Evaluation)。它是提交研究計劃申請和評價受資助計劃的標準格式，既有利于申請人從上述5個方面考慮如何提出申請計劃，亦有利于評價人員對照這5個方面的內(nèi)容評價計劃實施情況。
　　(1)理由部分必須闡明需要政府資助的原因，其中主要是經(jīng)濟方面的原因，即如果沒有政府介入工業(yè)界將不會開展此項研究。
　　(2)目標包括投入目標和技術(shù)目標，它們最好可以測度，同時還要列出難以量化和測度的目標，諸如計劃可望產(chǎn)生的社會效益與經(jīng)濟效益。這樣做有利于在計劃執(zhí)行期間或計劃完成以后參照目標衡量計劃執(zhí)行的成功程度。
　　(3)鑒定部分要詳細說明單個項目組成計劃的方式，列出計劃涵蓋的技術(shù)領(lǐng)域、遴選項目的標準和機制。
　　

(4)監(jiān)控指檢查受資助計劃的進展所采用的系統(tǒng)和程序。必須追蹤單個項目和整個計劃的管理情況，如果出現(xiàn)了問題，或者計劃的目標不恰當，都可以迅速作出調(diào)整。
　　(5)評價部分不必列出詳細評價計劃，只需要針對相關(guān)政策信息的需求，擬訂出開展評價工作的框架，并說明通過評價可以明確解決的問題。
　　從DIT評價工作的實踐來看，ROAME至少發(fā)揮了以下幾方面的作用：(1)為DTI的評估專家提供了一種評價思想；(2)通過監(jiān)控和事后評價活動，把有關(guān)信息反饋給管理人員，可以提高他們識別、理解問題的水平，從而促進了“不斷學(xué)習(xí)和提高”這樣一種文化氛圍的形成；(3)按ROAME格式書寫的記錄，是評估小組獲取管理信息資源的一種重要渠道，這些信息既可以用于DTI制定科研資助政策，也可以用于設(shè)計評價方案；(4)對事后評價工作而言，可以對照當初實施計劃的理由和計劃擬定的目標來考察計劃實施情況。
　　　　2.在基礎(chǔ)研究評價與管理中的作用
　　農(nóng)業(yè)與食品研究理事會(AFRC)、自然環(huán)境研究理事會(NERC)率先在內(nèi)部成立了評價小組，由負有政策制定職責的官員監(jiān)督小組的評價工作，還指令一名高級官員負責把評價與資助機構(gòu)的其他活動整合起來。這種線性管理結(jié)構(gòu)有助于確保評價獲得理事會高層的認可。
　　為了實時監(jiān)控和評價資助項目，內(nèi)部評價小組制定了績效指標，建立了相關(guān)數(shù)據(jù)庫。例如，AFRC于1972年率先建立了項目管理數(shù)據(jù)庫。目前，該數(shù)據(jù)庫除了收錄經(jīng)費與人員投入、研究計劃的構(gòu)成等數(shù)據(jù)項之外，還包括定性和定量研究績效指標，其中定性指標來源于項目立項時對項目和人員的評價，定量指標是出版物和引用情況。評價小組要定期向AFRC的有關(guān)管理部門通告這些數(shù)據(jù)，使它們能充分利用這些信息支持同行專家對AFRC的資助工作及所屬研究機構(gòu)進行評價。同樣，NERC的內(nèi)部評估小組要提供財務(wù)和管理信息，開展一系列文獻計量研究，參照當初設(shè)定的目標分析科學(xué)家和研究機構(gòu)的產(chǎn)出。分析研究結(jié)果也用于支持同行專家的評價工作。
　　科學(xué)與工程研究理事會(SERC)的做法與上述兩個研究理事會不同：沒有自己的研究投入和績效指標數(shù)據(jù)庫；重視研究計劃的評價，而不是項目評價；傾向于雇傭外部專家深入分析定性問題，而不是單純依靠內(nèi)部小組支持的同行評議[7]（注：SERC肩負與其他部門共同資助英國的戰(zhàn)略研究、聯(lián)合資助產(chǎn)學(xué)合作計劃、資助英國參與國際科學(xué)合作。很明顯，評價這些資助工作非常復(fù)雜，不能單純依靠同行評議方法。）。但是，目前SERC正同教育與科學(xué)部以及其它研究理事會合作建立一套測度產(chǎn)出的方法和指標，使之適用于整個科學(xué)（不包括國防科學(xué)）的評價。此外，SERC還肩負培養(yǎng)科學(xué)家的重任，因而需要記錄博士學(xué)位論文和博士后論文這類數(shù)據(jù)，用于評價人才培養(yǎng)活動的實施情況。
　　由于內(nèi)部評估小組不僅積極主動地在理事會內(nèi)部，而且還向廣大共同體交流自己的工作，因此，它們提供的定量指標獲得了廣泛的認同。通過把特定評價業(yè)務(wù)、評價支持研究和對理事會工作人員進行定量評價方法的培訓(xùn)工作委托給從事科研評價理論研究的學(xué)術(shù)組織，評估小組與評價理論研究專家形成了密切的相互作用。這樣，政策制定部門可以迅速了解、掌握評價方面的專門知識，在實際應(yīng)用時按照每個組織的需求狀況進一步發(fā)展和完善這些知識。各個研究理事會還精選了部分獲資助的研究人員、同行評議專家和視察小組(visiting  group)成員參與開發(fā)定量指標，例如向他們咨詢衡量成功的標準和指標，確保任何新穎的方法都可以成為強有力的評價證據(jù)。盡管如此，內(nèi)部評估小組提供的研究投入和績效指標信息是在研究理事會內(nèi)部發(fā)掘的，它們只可能適應(yīng)于某類研究，因此，需要把它們整合到利用同行評議方式進行的評價活動中。
　　總之，在英國基礎(chǔ)研究資助機構(gòu)中，內(nèi)部專家對評價工作和政策制定工作起支持作用，它們是英國專業(yè)科研評價隊伍中不可缺少的組成部分。盡管同行評議仍是評估基礎(chǔ)研究最令人滿意的方式，不可能被內(nèi)部專家評價方式替代，但可以肯定的是，評價小組能提供極有價值的政策信息，能為同行評議過程提供許多證據(jù)。
　　　　三、利用外部專業(yè)評價人員的方式
　　　　1.實時評價大型R  &  D計劃
　　英國科技管理部門認為，外部評價人員的評價比內(nèi)部評價人員的評價更深入，更具有可靠性和公正性，因此，大型R  &  D計劃的評價一般都委托給外部評價人員。例如，英國國家信息技術(shù)計劃[8]（注：該計劃由3個政府機構(gòu)共同資助（DTI、國防部和SERC），涉及公司之間在競爭前的合作和公司與大學(xué)的合作。）（Alvey計劃）的實時評價就是由外部評價人員完成的。
　　在開始實施Alvey計劃時，DTI決定在計劃運行過程中要開展實時評價，通過把評價結(jié)論立即反饋到計劃運行過程中，提前發(fā)現(xiàn)問題并作出糾正。Alvey計劃的實時評價包括兩個部分：由SPRU評價計劃的適宜性和影響，由PREST評價計劃的結(jié)構(gòu)和組織。這兩個機構(gòu)的科技政策理論研究人員要把評價過程中開發(fā)的專業(yè)評價知識傳授給DTI的評估小組和參與評價工作的DTI經(jīng)濟學(xué)家，使他們掌握最新評價專業(yè)知識和經(jīng)驗。
　　　　2.制定評價手冊
　　利用外部專業(yè)評價人員制定評價手冊是一種一次性使用外部專家的方式，它不同于DTI和一些研究理事會采取的內(nèi)部與外部評價專家之間需要長期維持聯(lián)系的方式。
　　英國健康和安全執(zhí)行部門(HSE)就采用這種評價方式。通過委托評價理論研究人員起草詳細的評價手冊，指導(dǎo)內(nèi)部評價人員對研究活動進行事后評價[9]（注：PREST,Protocol  for  the  Evaluation  of  HSE  Research,Manchester,1988）。評價理論研究人員在起草評價手冊時，不僅要充分反映HSE的研究人員、研究計劃制定人員以及研究成果用戶（包括HSE的其他部門、外部研究人員和工業(yè)界）的意見，而且還要提供評價案例，供內(nèi)部評價人員參考。由于在起草評價手冊時調(diào)查了受評價活動影響者的意見，HSE的評價工作也獲得了很高的可信度。
　　　　3.外部專業(yè)評價人員和同行小組相結(jié)合的評價模式
　　經(jīng)濟和社會科學(xué)研究理事會(ESRC)采用外部專業(yè)評價人員和同行小組相結(jié)合的評價模式，對它管理的研究計劃、研究中心和培訓(xùn)計劃做非常詳細的定性評價。其中，專業(yè)評價人員發(fā)揮兩方面的作用：采集研究績效方面的定量數(shù)據(jù)，指導(dǎo)評價。例如，ESRC在評價地方研究實驗室時，專業(yè)評價人員要與實驗室的管理者共同商定評價的范圍，然后向同行評議小組提供詳細的評價證據(jù)。這些證據(jù)不僅僅涉及研究質(zhì)量，還包含管理問題、相關(guān)性和影響。評價座談會、同行小組可根據(jù)這些證據(jù)作出判斷。從表面上看，這種評價模式和歐共體的小組評價模式之間沒有明顯差別，但是，這種評價模式中的評價專家在確定評價內(nèi)容和評價實施方面比歐共體評價模式中的評價人員有更多的控制權(quán)。
　　　　四、結(jié)論
　　1.充分發(fā)揮內(nèi)部評

估組織和外部評價專家的作用，使兩者相互密切配合，對科研評價工作非常重要
　　內(nèi)部評價專家的產(chǎn)生和發(fā)展來源于政府行政管理工作的需要，他們一般有制定研究計劃、管理研究、為同行評議提供支持以及委托和實施評價的職責。由于他們熟知自己部門的使命、了解評價的需求和目標，因此在設(shè)計評價方案的過程中，他們的意見起了決定性作用。但是，評價是一項專業(yè)性和學(xué)術(shù)性極強的工作，不僅需要豐富的調(diào)查、分析和解決問題的能力，還要通曉管理學(xué)和經(jīng)濟學(xué)的有關(guān)專門知識、熟練掌握評價方法，而內(nèi)部評價人員不可能花大量時間充分掌握這些知識�？梢姡�如果沒有外部評價專家為內(nèi)部評價專家提供專業(yè)培訓(xùn)和咨詢服務(wù)，政府機構(gòu)要建立評價職能是非常困難的。
　　2.以下幾個因素可能影響評價的可接受程度
　　(1)為評價活動提供有力的組織保障。資助機構(gòu)要有高級公務(wù)員負責評價活動，只有這樣評價活動才能受到高層的認可，且不受任何要挾和脅迫。
　　(2)允許不同資助機構(gòu)對自己的評價活動進行安排。不同資助機構(gòu)都有自己特殊的評價需求，評價體系要反映這些需求。不能草率地對各個機構(gòu)的評價工作強加一些硬性要求，否則，評價體系將缺乏可操作性。
　　(3)把評價作為政府R  &  D資助與管理全過程的一部分。只有這樣，才能重視評價工作并對其做周密部署，使政策制定者從評價中獲得最大的利益。
　　(4)外部專家在學(xué)界的聲望深刻地影響評價公正性和評價結(jié)論的可信度。評估專家可能被指責為得出了在政治上有利的結(jié)論，以獲取更多政府委托評價任務(wù)；小組評價易受專家地位的影響，小組成員總是想要保護自己所屬專業(yè)領(lǐng)域的聲望；而聲望卓著的專家易于被信任。
　　(5)在評價時要廣泛咨詢廣大科學(xué)共同體。只有充分調(diào)查被評價團體及其同行、科研管理人員乃至研究成果用戶的意見，并且適時利用評價專業(yè)技能，科研人員才可能接受評價專業(yè)人員的結(jié)論。
　　3.評價方法的日益復(fù)雜化要求評價人員具備一定水準的專業(yè)知識。內(nèi)部評價人員和外部評價人員相結(jié)合組成評價共同體，既有利于內(nèi)部評價人員迅速掌握最新的評價專業(yè)知識，又有利于外部評價人員發(fā)現(xiàn)政府機構(gòu)的需求和評價中存在的問題，從而開展研究、推動評價理論的進步。
　　4.盡管評價工作的倫理準則至今還未見有機構(gòu)明確提出，但是要加以深入研究，以確保和維護評價工作應(yīng)有的獨立性和責任感。
【參考文獻】
　　[1]　在歐共體的小組評價方式中，小組成員一般由著名科學(xué)家和工業(yè)界的專家組成，成員的選擇依賴于評價背景和目標。在整個評價工作過程中，科研管理部門的內(nèi)部專業(yè)評價人員要為小組提供有關(guān)背景信息、事實和證據(jù)，他們僅僅起輔助開展評價工作的作用，并不指導(dǎo)評價工作，也不影響評價的結(jié)論。
　　[2]　PREST：英國Manchester大學(xué)的工程、科學(xué)與技術(shù)政策研究所；SPRU：英國Sussex大學(xué)的科學(xué)政策研究中心。它們都是世界知名的科技政策研究機構(gòu)。
　　[3]　CABINET  OFFICE,《Annual  review  of  Government  Funded  Research  and  Development》,HMSO,London,1990
　　[4]　目前，由于各個部門充分認識到了評價工作的重要性，不再需要一個專門機構(gòu)推動此項工作，因而取消了該辦公室。
　　[5]　CABINET  OFFICE,《Research  and  Development  Assessment:a  Guide  for  Custorners  and  Managers  of  
R  &  D》,HMSO,London,1989
　　[6]　L.Georghiou  &  E.Davis(eds),Evaluation  of  R  &  D-A  Policymaker's  Perspective,Proceedings  of  the  International  Workshop  on  Assessment
  and  Evaluation,HMSO,London,1988
　　[7]　SERC肩負與其他部門共同資助英國的戰(zhàn)略研究、聯(lián)合資助產(chǎn)學(xué)合作計劃、資助英國參與國際科學(xué)合作。很明顯，評價這些資助工作非常復(fù)雜，不能單純依靠同行評議方法。
　　[8]　該計劃由3個政府機構(gòu)共同資助（DTI、國防部和SERC），涉及公司之間在競爭前的合作和公司與大學(xué)的合作。
　　[9]　PREST,Protocol  for  the  Evaluation  of  HSE  Research,Manchester,1988

【英國科研評價模式：由專業(yè)評價人員進行評價】相關(guān)文章：

模式重構(gòu)與基本評價08-05

如何對學(xué)生進行評價08-14

備課評價模式的新思考08-13

積極評價機制的教學(xué)模式08-02

我是這樣進行班級管理評價的08-16

銷售人員自我評價08-17

銷售人員自我評價04-26

監(jiān)理人員自我評價08-16

保潔人員的簡歷自我評價08-06