導(dǎo)語：科技期刊論文質(zhì)量評價方法一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

科研論文質(zhì)量一方面是作者學(xué)術(shù)思想與成果的綜合體現(xiàn)，另一方面也彰顯著載體期刊的學(xué)術(shù)特征與價值；而對于科研論文評價素來是科研管理的一項重要任務(wù)。多年來，對于論文質(zhì)量評價方法的研究在科研管理以及情報學(xué)領(lǐng)域均有著一定的成果，但多基于現(xiàn)有機制的方法學(xué)優(yōu)化，或?qū)δ骋粚I(yè)學(xué)科論文開展評價指標的針對性研究，亦或是對于某學(xué)段研究生論文評價體系的構(gòu)建[1-2]。方法本身大多通過對論文內(nèi)容建立評價模型或按照論文間的引證關(guān)系判斷論文質(zhì)量。評價本身包括了對評價對象各方面進行的量化與非量化測量，其價值內(nèi)涵主要體現(xiàn)在標準確立、情景決定、手段設(shè)計以及結(jié)果利用的4個基本步驟中。設(shè)立科學(xué)、標準的評價體系，并圍繞評價結(jié)果進一步深化質(zhì)量管理，對于科研質(zhì)量的提升以及期刊學(xué)術(shù)水平的帶動有著積極作用。針對科研論文質(zhì)量評價在某種程度上關(guān)系著期刊的學(xué)術(shù)影響力與發(fā)展的續(xù)航力?；诖耍疚闹荚趶?a href="http://www.fpldtrp.com/lunwen/qtlw/zhcl/201712/660041.html" target="_blank">科技論文編輯的角度切入，綜合分析并整合各評價方法特點及優(yōu)勢，并著重介紹刊前定量評價方法的研究內(nèi)容及意義，以期為優(yōu)化論文質(zhì)量評價機制、提升論文評價的信效度水平提供參考。

1當前主要的評價方法及缺陷

針對論文質(zhì)量的評價方法多種多樣，多依賴于文獻計量學(xué)指標或?qū)＜业亩ㄐ栽u價。總體上，分析方式方面可大致分為定性與定量2種；同時也可按照前后的不同時間節(jié)點進行質(zhì)量評估。對于科技論文質(zhì)量的刊前評價方法，長期以來形成了以定性為主的同行評議模式。同行評議法制度始創(chuàng)于1752年的英國皇家學(xué)會資助的刊物PhilosophicalTransaction，并主要以單盲、雙盲和公開評審3種形式存在。隨著時間的推移，該法已廣泛應(yīng)用于對專利申請的審查，并具有易于操作、結(jié)論直觀明確等優(yōu)勢[3]。但由于評價結(jié)果以文字表達為主，從而容易帶來主觀性強、缺少量化指標等缺點，同時也存在著過程歷時長、工作量大等問題。近年來，有關(guān)評審意見公正性的爭議愈演愈烈，評審過程中人為干擾因素的效應(yīng)更容易通過同行定性為主的評議方法所放大。同時，評價結(jié)論模糊、不能做到對論文水平的準確定位，不利于將不同水平論文拉開檔次[4]。對于后定量評價方法的研究一直是科研管理工作的熱點。其中，基于單一被引指標及多項文獻計量學(xué)指標綜合的引文分析法均得到了較廣泛的認同及使用[5]。尤其是后者通過對各印證指標采用線性加權(quán)求和的方法，建立綜合評價的數(shù)學(xué)模型，可以更為客觀和全面地反映出論文的學(xué)術(shù)價值與應(yīng)用程度。有研究人員建議將引用頻次、網(wǎng)頁點擊量、下載量以及引用率等文獻利用數(shù)據(jù)共同引入對論文的評判中，從而形成論文本身利用價值更為客觀的評估[6]。引文分析法的理論基礎(chǔ)是文獻被引用，即被引用是以其質(zhì)量為基礎(chǔ)。該方法雖然對科技期刊、論文、著者等各種分析對象的引用或被引用現(xiàn)象均可進行分析，但對于不同時間段發(fā)表的文獻難以統(tǒng)一衡量，且未將引用質(zhì)量的因素納入考慮，因此也難免存在偏倚。雖然已有研究通過對論文-引文矩陣的推導(dǎo)，計算“歷時影響因子”以消除對不同發(fā)表時間的論文引用報告中影響因子的偏倚[7]。但同時存在的包括學(xué)科間差異、引用質(zhì)量等不同因素仍然影響著該方法對論文的評價質(zhì)量。此外，h指數(shù)與Pagerank指數(shù)近年來也被認為是論文質(zhì)量評價較為可靠的定量指標[8]。但該指標更適用于對個體研究人員績效的評估。且進一步在對比兩者適應(yīng)范圍時，Senanayake等[9]發(fā)現(xiàn)對于在大型組織從事研究而發(fā)表了影響力較低論文的人員使用h指數(shù)評價較好；而對于研究成果較少、針對交叉學(xué)科研究或就職于規(guī)模較小的研究團隊人員評價使用Pagerank指數(shù)方法更為有效。利用Altmetric評價系統(tǒng)了解論文關(guān)注度的方法也逐漸受到關(guān)注，并已應(yīng)用于pubmed數(shù)據(jù)庫的相關(guān)文獻檢索功能中。該法側(cè)重于單篇論文或相關(guān)研究者的社會影響分析，通過對論文在不同社會化媒體中引用次數(shù)的統(tǒng)計評價其影響力水平，具有高靈活性、高關(guān)注度以及高社會認同度等優(yōu)點。但該法當前只對英文文獻具有指示作用，且結(jié)論的得出易在關(guān)注度和爭議性之間混淆。此外，不同專業(yè)研究以及原文獻在網(wǎng)絡(luò)中的轉(zhuǎn)移也會對分析結(jié)果產(chǎn)生顯著的影響。刊后的定性評價主要是按照論文載體的學(xué)術(shù)層次或間接通過文獻計量學(xué)方法判斷論文在引證關(guān)系圖中的位置、被引次數(shù)的分布規(guī)律等方式定性判斷論文質(zhì)量。該法在操作上簡單易行，已成為當前科研評價與管理的重要手段[10]。這其中一個重要的方法即是通過掌握論文載體期刊的影響因子（核心分區(qū)）或數(shù)據(jù)庫收錄情況，從而間接評價論文自身價值質(zhì)量。但顯然，通過納入期刊影響因子等級區(qū)域以及相應(yīng)的收錄權(quán)重賦值，暴露了“以刊代文”評價方法所存在的固有問題[11]。而當前出版行業(yè)所熱議的“優(yōu)秀論文不問出處”即從一個方面反映出“以刊代文”評價方法的局限性與不合理性[12]。因此，客觀上核心期刊對論文質(zhì)量評價具有一定作用，但其間不存在絕對意義上的一一對應(yīng)關(guān)系，通過核心期刊衡量論文質(zhì)量具有局限性。

2刊前定量評價方法的構(gòu)建思路

上述3種方法均以在科研評價管理中得到不同程度的認同與應(yīng)用，而將定量評價方法引入審稿階段的論文評價方法則鮮有報道。在宏觀評價的方法學(xué)運用方面，有研究基于知識庫對論文質(zhì)量進行評價，使用測試語料，分別從格式、一致性、邏輯性以及參考文獻的近期率等方面進行智能審核，旨在提高編輯部對于稿件初篩的工作效率[13]。作為編輯工作主要的環(huán)節(jié)之一，審稿的基本任務(wù)是按照出版方針和原則對稿件進行評價和選擇，以促進優(yōu)秀作品的出版以及防止低劣作品流入社會。審稿工作的開展主要從內(nèi)容質(zhì)量以及形式質(zhì)量2部分進行。其中對于科技論文的審稿工作，內(nèi)容審定主要從科學(xué)性、創(chuàng)新性、知識性等方面進行，而對于形式質(zhì)量的辨別則要通過結(jié)構(gòu)架構(gòu)、行文格式以及表述形式等方面開展。論文刊前質(zhì)量定量評價方法建立的關(guān)鍵在于對于評價指標的選取以及權(quán)重系數(shù)的配比，從而搭建起多維度、多層級的系統(tǒng)評價體系。在指標選擇上需保證科學(xué)性與客觀性、系統(tǒng)性與全面性以及可測性與可操作性的兼顧，同時通過權(quán)重系數(shù)反映各指標間的內(nèi)涵關(guān)聯(lián)[14]。為保證指標納入的準確性與全面性，對于評價指標的遴選往往基于文獻調(diào)研或結(jié)合專家咨詢法進行。有研究較為全面地將論文評估指標分為了內(nèi)在指標、外部指標以及統(tǒng)計指標3個方面。內(nèi)在指標指論文本身的質(zhì)量，包括創(chuàng)新性、科學(xué)性、實用性、語言的準確性、要素的完整性以及規(guī)范性等；外部指標是指論文的外部特征，包括論文類型、基金資助情況、發(fā)表期刊、收錄的檢索機構(gòu)等；統(tǒng)計指標指后的影響和反應(yīng)，包括被引情況以及下載瀏覽數(shù)量[14]。作為專家意見信息的主要獲取手段，德爾菲又名專家意見法或?qū)＜液冋{(diào)查法，是采用背對背的通信方式征詢專家小組成員的預(yù)測意見，經(jīng)過幾輪征詢，使專家小組的預(yù)測意見趨于集中，最后得出具有較高準確率的集體預(yù)測結(jié)論[15]。在論文質(zhì)量評價體現(xiàn)的建立過程中，各因子的權(quán)重賦值主要通過征求專家意見的方法獲得，這就要求研究人員對德爾菲法中多層迭代法進行數(shù)據(jù)信息的收斂和歸納。在多指標綜合評價中，為了對被評價事物做出一項全面合理的整體性評價，需要把該事物的各方面指標綜合在一起，形成一個綜合性指標。由于事物本身發(fā)展的不平衡性以及評價目標值的側(cè)重點有所不同，不同指標在綜合評價值形成的過程中需要進行加權(quán)處理。目前關(guān)于評價指標權(quán)系數(shù)的確定方法眾多，根據(jù)計算權(quán)系數(shù)時原始數(shù)據(jù)來源以及計算過程的不同可大致分為主觀賦權(quán)法、客觀賦權(quán)法以及主客觀綜合集成賦權(quán)法。AHP法是將與決策總是有關(guān)的元素分解成目標、準則、方案等層次，在此基礎(chǔ)之上進行定性和定量分析的決策方法。該法主要步驟包括建立層次結(jié)構(gòu)模型、構(gòu)造判斷（成對比較）矩陣、層次單排序及一致性檢驗和計算組合權(quán)重和組合一致性檢驗[16]。首先建立層次結(jié)構(gòu)圖如下。最高層為目標層（O）：問題決策的目標或理想結(jié)果，只有一個元素；中間層為準則層（C）：包括為實現(xiàn)目標所涉及的中間環(huán)節(jié)各因素，每一因素為一準則，當準則多于9個時可分為若干個子層；最低層為方案層（P）：方案層是為實現(xiàn)目標而供選擇的各種措施，即為決策方案。比較n個因素C1,C2,…,Cn對上一層（如目標層）O的影響程度，即要確定它在O中所占的比重。對任意兩個因素Ci和Cj，用aij表示Ci和Cj對O的影響程度之比，按1～9的比例標度來度量aij(i,j=1,2,…,n)。于是，可得到兩兩成對比較矩陣A=(aij)n×n，又稱為判斷矩陣，顯然,因此，又稱判斷矩陣為正互反矩陣。比例標度的確定：aij取1~9的9個等級，aji取aij的倒數(shù),1~9標度確定如下：aij=1，元素i與元素j對上一層次因素的重要性相同；aij=3，元素i比元素j略重要；aij=5，元素i比元素j重要；aij=7，元素i比元素j重要得多；aij=9，元素i比元素i的極其重要；aij=2n，n=1,2,3,4…元素i與j的重要性介于aij=2n-1與aij=2n+1之間；，n=1,2,…9當且僅當aij=n。由正互反矩陣的性質(zhì)可知，只要確定A的上（或下）三角的個元素即可。在特殊情況下，如果判斷矩陣A的元素具有傳遞性，即滿足aikakj=aij(i,j,k=1,2,…,n)。該法是直接利用各項指標所包含的信息，通過計算得到指標的權(quán)重，是一種客觀賦權(quán)的方法。在評價指標體系中，取值差異越大的指標更能反映被評價單位的差距。由于評價指標體系中各項指標的量綱不同，不宜直接比較其差別程度。為消除各項評價指標量綱不同的影響，需要用各項指標的變異系數(shù)來衡量各項指標取值的差異程度。各項指標的變異系數(shù)公式如下：式中：Vi是第i項指標的變異系數(shù)、也稱為標準差系數(shù)；是第i項指標的標準差；是第i項指標的平均數(shù)。各項指標的權(quán)重為：采用系統(tǒng)性的指標分析體系，對論文質(zhì)量進行多維度評價，從而有效克服單指標評價的片面性，使評價結(jié)果更加符合客觀實際；但同時，這也帶來了如何匯總和處理不同性質(zhì)評價指標統(tǒng)計數(shù)據(jù)的難題。在形成模型的過程中可主要采用以下2種方法。多元回歸分析旨在研究多個變量之間關(guān)系。該法雖然是一種較為通用的方法，但大多只用于少因素、線性的定量資料，對于多因素以及非線性的資料則難以處理。因此，考慮到論文質(zhì)量評價因素間復(fù)雜的內(nèi)在關(guān)系以及不確定性，利用簡單的多元回歸的方法確定評價模型難以建立準確的評估體系?？紤]到回歸方法的弊端與不足，作為一個發(fā)展變化的評價系統(tǒng)，關(guān)聯(lián)度分析實質(zhì)上是動態(tài)過程發(fā)展態(tài)勢的量化分析。模糊綜合評價法是一種基于模糊數(shù)學(xué)的綜合評標方法。該法根據(jù)模糊數(shù)學(xué)的隸屬度理論把定性評價轉(zhuǎn)化為定量評價，即用模糊數(shù)學(xué)對受到多種因素制約的事物或?qū)ο笞龀鲆粋€總體的評價。論文質(zhì)量定量評價方法的準確性難以把握，因此可根據(jù)模糊數(shù)學(xué)理論建立一套綜合評價數(shù)學(xué)模式，并借助計算機完成復(fù)雜的數(shù)學(xué)運算，從而將其轉(zhuǎn)化為一項包含多層次和多目標的綜合評價問題。呂志軍等[17]在將學(xué)術(shù)論文以論文選題、文獻綜述、工作基礎(chǔ)、科研水平、創(chuàng)新成果以及重要意義等6個部分設(shè)立為準則層，以論文的水平評價作為總目標層，進而構(gòu)建評價指標集、評語集和指標權(quán)重集，得出隸屬度評判矩陣，最終獲得模糊綜合評判的結(jié)論。

3刊前定量評價方法的問題及研究展望

對于論文質(zhì)量的刊前定量評價是科研管理人員工作的重點，也同樣是期刊編審工作的基礎(chǔ)。就期刊而言，同行評議的方法一直以來成為投稿論文質(zhì)量判定的主要標準；而其定性結(jié)論所存在的固有不足也為稿件最終的取舍造成一定困難。相比而言，定量評價方法的運用可在一定程度上彌補單一同行評議方法的局限性，而稿件質(zhì)量的綜合判斷提供更為充實的依據(jù)。然而，對于定量評價方法的設(shè)立，具體到各因素權(quán)重系數(shù)的確定方面，各種方法均存在一定的適用范圍以及局限性。在明確并利用現(xiàn)有方法前應(yīng)充分結(jié)合理論實際以及編審工作的特殊性，考慮到當前評價方法的不足以及主要改進方向，借以盡可能消除評價方法使用所產(chǎn)生的偏倚，提高評價的準確性以及結(jié)果的真實性。一項評價管理方法的確定，其適用范圍應(yīng)是重點考量的方面。論文質(zhì)量很大程度上產(chǎn)生于其自身學(xué)術(shù)價值與應(yīng)用價值的大小，但也受到該段時間內(nèi)社會對其價值的認知水平與認同程度。因此，客觀的論文質(zhì)量定量評價系統(tǒng)須對于不同學(xué)科、研究內(nèi)容與目的的論文有著穩(wěn)定而統(tǒng)一的衡量標準，即具有較好的應(yīng)用延展性。由于學(xué)科性質(zhì)、理論衍生周期、發(fā)散傳播渠道各有不同，在質(zhì)量評價體系中應(yīng)有相應(yīng)的反映。以醫(yī)學(xué)科研論文為例，根據(jù)各自不同的研究領(lǐng)域與研究目的大致可分為基礎(chǔ)研究與臨床研究。不同的研究內(nèi)容的學(xué)術(shù)水平難以進行標準化度量。比如罕見病的病例報道類型較之多中心的流行病調(diào)查，在樣本納入及數(shù)量方面要求有著明顯的不同。這就需要權(quán)重具有較強的功能擴展張力，針對不同研究的特征及水平有著較好的可靠性、客觀性以及獨立性[18]。由于最終以得分的方式顯示論文質(zhì)量評價結(jié)果，因此在對于具體分值的含義解釋上需要進行更為科學(xué)的設(shè)計。例如對于得分相近的2篇論文，其發(fā)表價值的界定與衡量需要獲得更加系統(tǒng)的比較。對該問題的解決，筆者認為可通過參照統(tǒng)計學(xué)推斷中對于差異性判別的分析方法，在對整體數(shù)據(jù)分布情況判斷的基礎(chǔ)上推測分值間的差異是否由于抽樣誤差所造成；或從評價結(jié)果的角度計算類似“可信區(qū)間”的差異允許范圍，從而對于分值的含義獲得更為客觀的理解。對于權(quán)重系數(shù)的確定方法，文獻均采用了專家咨詢的方法進行。但該法對于專家的選擇范圍、方法、數(shù)量、質(zhì)控有著較高的要求，也就是說一般意義上的權(quán)重確定方法難以保證其客觀性與準確性。比如對于不同專家對同一問題以及相同專家對相同問題回答的一致性判斷，需要選擇合適的一致性檢驗方法進行，如組間相關(guān)系數(shù)、組內(nèi)相關(guān)系數(shù)以及Bland-Altman法[19]。而對于確定的權(quán)重系數(shù)也需形成動態(tài)的修正與調(diào)整，使各參數(shù)具有較好的獨立性。通過不斷綜合專家評價、學(xué)科發(fā)展甚至是期刊收稿以及發(fā)刊計劃等情況，調(diào)整和優(yōu)化權(quán)重配置，使其穩(wěn)定在客觀、合理并有利于期刊自身發(fā)展的區(qū)間范圍[20]。由于不同學(xué)科間存在著較大學(xué)術(shù)評判標準的差異，不同學(xué)科專家的知識結(jié)構(gòu)、學(xué)科背景也會隨著學(xué)科領(lǐng)域的不同而存在固有的差別。因此在專家選取中需按照所在專業(yè)進行分層管理，將不同學(xué)科專家的意見反饋分別統(tǒng)計處理，但這也對專家群規(guī)模提出了更高要求。如何在滿足分層吸納的同時，保證每個領(lǐng)域?qū)＜覕?shù)量有著一定積累，這便是保證調(diào)研基礎(chǔ)質(zhì)量的關(guān)鍵。

對于有著較強系統(tǒng)性、差異性、復(fù)雜性以及不確定性的論文質(zhì)量評價，單純依靠定性或定量的方法均難以解決。以特定的內(nèi)在水平度量論文質(zhì)量，將論文的質(zhì)量體系分解為學(xué)術(shù)價值、創(chuàng)造性、科學(xué)性、實用性、延續(xù)性、可讀性等若干方面，針對每一方面又設(shè)計具有層次的等級區(qū)分范圍，最終通過專家評審的方式給出等級資料的具體分布形式，再結(jié)合各項目自身權(quán)重賦值，最終以得分的形式反映論文質(zhì)量。該法較好地中和了單一定量或定性方法所具有的不足，在有效規(guī)避專家主觀意見的同時有具有較好的針對性、靈活性以及可操作性。同時，該體系出用于論文質(zhì)量評價外，還可作為科研設(shè)計及論文撰寫過程中的“督導(dǎo)標準”做一參考。對稿件進行流程化的審閱評價，促使更多高質(zhì)量的論文出版，最終保證期刊質(zhì)量。同時，對于方法學(xué)的不斷優(yōu)化可以實現(xiàn)系統(tǒng)評價方法對于更大出版物群體中的應(yīng)用。