社科學(xué)術(shù)期刊常用評價指標(biāo)研究
時間:2022-02-19 04:42:57
導(dǎo)語:社科學(xué)術(shù)期刊常用評價指標(biāo)研究一文來源于網(wǎng)友上傳,不代表本站觀點,若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。
期刊評價在科研評價方面起著重要作用,備受關(guān)注。社科學(xué)術(shù)期刊作為人文社科領(lǐng)域?qū)W術(shù)成果的重要展示平臺,其評價結(jié)果具有極強(qiáng)的導(dǎo)向性,不僅關(guān)系著我國廣大社會科學(xué)研究人員的切身利益和數(shù)量龐大的社科期刊生存發(fā)展方向,而且對科研成果評估、學(xué)術(shù)資源分配、科研激勵制度及繁榮學(xué)術(shù)研究等有不可估量的作用。國內(nèi)研究者對學(xué)術(shù)期刊評價問題的關(guān)注度持續(xù)上升,期刊評價結(jié)果的被接受程度事關(guān)學(xué)術(shù)研究的良性發(fā)展。評價結(jié)果是否被學(xué)界廣泛接受,主要受到評價方法和期刊評價指標(biāo)兩方面因素的影響,而評價指標(biāo)及其權(quán)重是重中之重。期刊評價指標(biāo)數(shù)量繁多,按照功能特性可劃分為期刊特征指標(biāo)、期刊引用指標(biāo)、文獻(xiàn)轉(zhuǎn)載指標(biāo)等主要類型。在學(xué)界認(rèn)可度較高的社科學(xué)術(shù)期刊評價體系中,南京大學(xué)《中文社會科學(xué)引文索引》只選擇影響因子和總被引頻次作為評價指標(biāo);北京大學(xué)《中國核心期刊要目總覽》則選擇了全部類型的評價指標(biāo);中國社會科學(xué)評價研究院《中國人文社會科學(xué)期刊MI綜合評價指標(biāo)體系》選擇了吸引力(獲獎狀況、論文狀況、同行評議)、管理力(編輯隊伍、作者隊伍、制度建設(shè)、信息化建設(shè))、影響力(學(xué)術(shù)影響力、社會影響力、國際影響力)等3個一級指標(biāo)、10個二級指標(biāo)和24個三級指標(biāo);中國人民大學(xué)《復(fù)印報刊資料轉(zhuǎn)載指數(shù)排名研究報告》則只用了文獻(xiàn)轉(zhuǎn)載的相關(guān)指標(biāo)。實踐中這4種評價體系難分伯仲,在一定范圍內(nèi)評價結(jié)果也具有趨同性。這種趨同性是否意味著不同評價體系間具有某種聯(lián)系,而研究評價間的相關(guān)性或許能解釋這種聯(lián)系。不同評價指標(biāo)指引著期刊的不同功能特征,評價指標(biāo)間呈強(qiáng)正相關(guān),說明指標(biāo)所指引的功能特征具有趨同性。如果不同的評價體系選擇了相關(guān)性較強(qiáng)的指標(biāo)作為核心評價指標(biāo),則其評價結(jié)果可能會在一定的范圍內(nèi)具趨同性;如果同一評價體系同時選用相關(guān)性較強(qiáng)的多項指標(biāo),則會過度放大期刊的這類功能特征,使評價結(jié)果的科學(xué)性受到質(zhì)疑。因此,掌握評價指標(biāo)間的相關(guān)性程度,對選擇期刊評價指標(biāo)、完善期刊評價體系具有重要的意義。
一、相關(guān)研究
搜索國內(nèi)外相關(guān)文獻(xiàn)可知,期刊評價的相關(guān)性研究主題可以分為兩個角度。第一,量化評價和質(zhì)化評價結(jié)果的相關(guān)性研究。馬利戈爾德(OlesyaMryglod)等[1]通過研究社會科學(xué)類系列期刊發(fā)現(xiàn),同行評議結(jié)果與引文評價結(jié)果的相關(guān)性不高;而惠特曼(LudoWaltman)等[2]的研究則認(rèn)為引文評價結(jié)果和同行評議結(jié)果存在較強(qiáng)的正相關(guān)性。洛佩茲-科扎(EmilioDelgadoLópez-Cózar)等[3]梳理49篇單一數(shù)據(jù)源論文及100多項不同國家不同學(xué)科的實證研究發(fā)現(xiàn),95%的實證研究結(jié)果支持定性與定量兩種基于不同評價視角的量度結(jié)果在統(tǒng)計上呈現(xiàn)出不同程度的相關(guān)性的結(jié)論。陳茹[4]、金淑蘭[5]從學(xué)術(shù)生態(tài)角度分析認(rèn)為,嚴(yán)謹(jǐn)、公正的同行評議程序是量化評價與質(zhì)化評價結(jié)果統(tǒng)一性的前提與保證。第二,期刊量化評價指標(biāo)間的相關(guān)性研究。馬提阿斯(GámezA.Matías)[6]研究發(fā)現(xiàn),心理學(xué)期刊的影響因子、h指數(shù)、Latindex指數(shù)之間存在一定程度的相關(guān)關(guān)系,芬那迪(UgoFinardi)[7]研究發(fā)現(xiàn),影響因子與逐年引用增長兩指標(biāo)間無顯著相關(guān)。這一話題也引起了我國學(xué)者的關(guān)注,研究者們紛紛探討不同學(xué)科、不同評價指標(biāo)間的相關(guān)性:圖書情報學(xué)期刊零被引率與期刊關(guān)鍵評價指標(biāo)(2年影響因子、5年影響因子)h指數(shù)顯著負(fù)相關(guān),p指數(shù)與被引頻次、平均被引率、5年影響因子相關(guān)性顯著,與h指數(shù)具有一定相關(guān)性[8];神經(jīng)病學(xué)期刊零被引率與引用半衰期呈正相關(guān),與基金論文比、學(xué)科擴(kuò)散指標(biāo)呈負(fù)相關(guān),與各類影響因子、復(fù)合即年指標(biāo)、被引半衰期、學(xué)科影響指標(biāo)無相關(guān)性[9];在同一學(xué)科內(nèi),CiteScore、CiteScore百分位與常用計量學(xué)指標(biāo)均顯著正相關(guān),在不同學(xué)科間,CiteScore百分位與影響因子百分位、篇均來源期刊標(biāo)準(zhǔn)影響指標(biāo)(sourcenormalizedimpactperpaper,英文縮寫為SNIP)、標(biāo)準(zhǔn)特征因子均顯著正相關(guān)[10];經(jīng)濟(jì)學(xué)期刊的特征因子與影響因子間不存在相關(guān)關(guān)系[11]。就人文社科期刊而言,統(tǒng)計規(guī)則相似的影響因子、轉(zhuǎn)載量和網(wǎng)絡(luò)下載三類指標(biāo)之間呈強(qiáng)正相關(guān),轉(zhuǎn)載指標(biāo)與引文計量指標(biāo)之間存在中度或較強(qiáng)的正相關(guān)[12]。近年來,隨著新的評價指標(biāo)涌現(xiàn),評價指標(biāo)相關(guān)性研究逐漸深入。但研究者注重運用相關(guān)性分析方法挖掘與探索新的計量指標(biāo),而常用指標(biāo)間的相關(guān)性研究一直停留在單一學(xué)科層面,相關(guān)性的學(xué)科差異性研究被忽視。學(xué)以致用才是最終的目的,本文正是基于這樣的初衷,試圖以社會科學(xué)期刊為例,探索評價指標(biāo)間的相關(guān)性,以及相關(guān)性的學(xué)科差異。
二、研究數(shù)據(jù)與方法
1.數(shù)據(jù)來源。在《復(fù)印報刊資料轉(zhuǎn)載指數(shù)排名研究報告》(簡稱《轉(zhuǎn)載排名報告》)經(jīng)濟(jì)學(xué)、管理學(xué)、法學(xué)、社會學(xué)、圖書情報學(xué)、高等院校學(xué)報等期刊分類中,選擇2016—2018年連續(xù)3年都被收錄,共計99種期刊作為研究對象。其中,在《轉(zhuǎn)載排名報告》中,經(jīng)濟(jì)類期刊和管理類期刊又有若干子類目,本文僅選擇應(yīng)用經(jīng)濟(jì)學(xué)、工商管理學(xué)兩個社會科學(xué)屬性相對明顯的期刊分類作為研究對象。隨著國內(nèi)外期刊評價理論和實踐的發(fā)展,期刊評價指標(biāo)數(shù)量越來越多。本文選擇我國四大社科評價體系中常見的評價指標(biāo)作相關(guān)性分析。選擇的3類指標(biāo)包括:期刊特征指標(biāo)、期刊引用指標(biāo)和期刊轉(zhuǎn)載指標(biāo)。期刊特征指標(biāo)反映期刊自出版之時就具備的特征,這類指標(biāo)與生俱來,數(shù)量不多,本研究選擇基金論文比、平均引文數(shù)、引用半衰期等3個常見指標(biāo)。期刊引用指標(biāo)是期刊計量評價的重要依據(jù),相對特征指標(biāo)而言,引用指標(biāo)數(shù)量眾多,設(shè)計精妙,應(yīng)用廣泛,這里選擇影響力指數(shù)CI值、復(fù)合影響因子、復(fù)合他引影響因子、復(fù)合總被引、被引半衰期、被引期刊數(shù)、復(fù)合即年因子、web即年下載率等9個指標(biāo)。期刊轉(zhuǎn)載指標(biāo)是二次文獻(xiàn)轉(zhuǎn)載排名的重要依據(jù)。轉(zhuǎn)載排名根據(jù)期刊論文的轉(zhuǎn)載量、轉(zhuǎn)載率、篇均得分和綜合指數(shù),按期刊屬性和學(xué)科分類來排名。隨著同行評議越來越受到我國科研成果評價的重視,中國人民大學(xué)人文社會科學(xué)學(xué)術(shù)成果評價中心研制的系列報告的學(xué)術(shù)影響力越來越大,甚至在諸多高校的科研評價體系中,被四大文摘(《新華文摘》《中國社會科學(xué)文摘》《高等學(xué)校學(xué)術(shù)文摘》、中國人民大學(xué)書報資料中心復(fù)印報刊資料系列)全文轉(zhuǎn)載或者部分轉(zhuǎn)摘的論文,校內(nèi)認(rèn)定的等級比CSSCI來源期刊級別還要高?!皬?fù)印報刊資料”是二次同行評議的結(jié)果,在一定程度上講,轉(zhuǎn)載排名是期刊學(xué)術(shù)影響力的整體體現(xiàn)。本文選擇轉(zhuǎn)載量、轉(zhuǎn)載率和綜合指數(shù)等3個指標(biāo)。期刊轉(zhuǎn)載指標(biāo)數(shù)據(jù)來自2016—2018年《轉(zhuǎn)載排名報告》,期刊特征指標(biāo)和期刊引用指標(biāo)數(shù)據(jù)來自2016—2018年《中國學(xué)術(shù)期刊影響因子年報(人文社會科學(xué))》(簡稱《影響因子年報》)。全部數(shù)據(jù)按照轉(zhuǎn)載排名的學(xué)科分類,整理成經(jīng)濟(jì)學(xué)、管理學(xué)、法學(xué)、社會學(xué)、圖書情報學(xué)、高等院校學(xué)報等6個Excel工作表。樣本期刊社會科學(xué)屬性明顯,覆蓋學(xué)科面廣,學(xué)術(shù)質(zhì)量較高,學(xué)術(shù)影響力強(qiáng),以此作為社科期刊評價指標(biāo)相關(guān)性研究的樣本,具有典型性。此外,轉(zhuǎn)載指標(biāo)不僅具有統(tǒng)計學(xué)意義,而且其統(tǒng)計數(shù)據(jù)以同行評議數(shù)據(jù)為基礎(chǔ),這有利于彌補(bǔ)社科期刊評價中同行評議不足的缺憾。2.研究方法。按照學(xué)科分類,運用Pearson相關(guān)系數(shù)檢驗評價指標(biāo)間的相關(guān)性,并進(jìn)行學(xué)科比較;最后根據(jù)研究結(jié)果分析總結(jié)出指標(biāo)相關(guān)性對改進(jìn)我國社科成果評價的啟示。為了便于對各期刊指標(biāo)的評價數(shù)據(jù)進(jìn)行橫向?qū)Ρ?,首先對樣本期刊每個指標(biāo)的評價結(jié)果進(jìn)行歸一處理,Pearson相關(guān)系數(shù)考量的是定距變量間的線性關(guān)系,用來衡量兩個數(shù)據(jù)集合是否在一條線上。設(shè)顯著性檢驗p值的雙尾檢驗值大于0.05時表示檢驗結(jié)果不顯著;同時設(shè)相關(guān)系數(shù)越接近1或-1,相關(guān)度越強(qiáng);相關(guān)系數(shù)越接近0,相關(guān)度越弱。本文按照以下取值范圍判斷變量的相關(guān)強(qiáng)度:相關(guān)系數(shù)為0.8~1.0表示極強(qiáng)相關(guān),0.6~0.8表示較強(qiáng)相關(guān),0.4~0.6表示中度相關(guān),0.2~0.4表示較弱相關(guān),0.0~0.2表示極弱相關(guān)或無相關(guān)。
三、相關(guān)性討論
1.期刊特征指標(biāo)的相關(guān)性。法學(xué)和應(yīng)用經(jīng)濟(jì)學(xué)期刊的平均引文數(shù)和引用半衰期之間有較強(qiáng)的相關(guān)關(guān)系,工商管理學(xué)、圖書情報學(xué)和應(yīng)用經(jīng)濟(jì)學(xué)期刊的基金論文比和平均引文數(shù)之間有中度的相關(guān)關(guān)系,社會學(xué)和高等院校學(xué)報的基金論文比和引用半衰期之間具有中度的相關(guān)關(guān)系(見表1)。這一結(jié)論與大多數(shù)研究者的結(jié)論相同,也再次證明了基金論文比、平均引文數(shù)和引用半衰期等特征指標(biāo)之間獨立性較強(qiáng),在期刊評價體系中獨立指引著期刊的特征。因此,在進(jìn)行不同類別評價指標(biāo)相關(guān)性研究時,這3個指標(biāo)需要獨立分析。2.期刊轉(zhuǎn)載指標(biāo)的相關(guān)性。作為四大文摘之一的中國人民大學(xué)復(fù)印報刊資料選用“學(xué)術(shù)創(chuàng)新程度、論證完備程度、社會價值、難易程度、課程立項、發(fā)表載體”等6個同行評議核心指標(biāo),遴選我國哲學(xué)社會科學(xué)領(lǐng)域的優(yōu)秀學(xué)術(shù)成果。復(fù)印報刊資料的轉(zhuǎn)載量、轉(zhuǎn)載率和綜合指數(shù)等以復(fù)印報刊資料轉(zhuǎn)載論文為研究樣本,具有同行評議的特征,在學(xué)界和期刊界享有較高的影響力。表1顯示,綜合指數(shù)和轉(zhuǎn)載量、轉(zhuǎn)載率都具有強(qiáng)相關(guān)性,這與綜合指數(shù)(綜合指數(shù)=0.4×轉(zhuǎn)載量歸一值+0.3×轉(zhuǎn)債率歸一值+0.4×篇均分值歸一)的計算方式有密切的關(guān)系。除了應(yīng)用經(jīng)濟(jì)學(xué)和高等院校學(xué)報期刊的轉(zhuǎn)載量和轉(zhuǎn)載率間具有強(qiáng)相關(guān)之外,其他學(xué)科都僅具有中度或較強(qiáng)的相關(guān)性?;诖耍诤竺孢M(jìn)行不同類別評價指標(biāo)相關(guān)性分析時,不考慮綜合指數(shù),只選擇轉(zhuǎn)載量和轉(zhuǎn)載率兩個直接指標(biāo)。3.期刊引用指標(biāo)的相關(guān)性分析。分析期刊引用指標(biāo)兩兩間相關(guān)性可以發(fā)現(xiàn),總體上除了復(fù)合即年指標(biāo)之外,其他8個指標(biāo)兩兩間均呈現(xiàn)出一定程度的正相關(guān)關(guān)系(見表2)。這些指標(biāo)從不同角度反映期刊的影響力水平,它們之間相互印證,相互補(bǔ)充。影響力指數(shù)與其他指標(biāo)(復(fù)合即年指標(biāo)除外)呈現(xiàn)出較強(qiáng)的相關(guān)關(guān)系(法學(xué)、圖書情報類期刊個別指標(biāo)除外)。復(fù)合影響因子、復(fù)合他引影響因子、5年復(fù)合影響因子等3個指標(biāo)兩兩間呈強(qiáng)相關(guān)關(guān)系?;诖?,在后面進(jìn)行不同類別評價指標(biāo)間相關(guān)性研究時,復(fù)合影響因子、復(fù)合他引影響因子、5年復(fù)合影響因子3個指標(biāo)可以選擇其中的一個。本文選擇應(yīng)用范圍較廣的復(fù)合影響因子。4.期刊特征指標(biāo)與其他指標(biāo)的相關(guān)性。參考文獻(xiàn)綜合反映論文作者對相關(guān)研究領(lǐng)域內(nèi)文獻(xiàn)的掌握程度,引文數(shù)量和引文新舊程度被專家學(xué)者和編輯視為論文學(xué)術(shù)質(zhì)量的重要參考標(biāo)準(zhǔn)。雖然基金論文比被證實和論文的學(xué)術(shù)質(zhì)量沒有實質(zhì)聯(lián)系,但實踐中專家學(xué)者和編輯還是看重這個指標(biāo)。分析其相關(guān)性可知:部分學(xué)科期刊的平均引文數(shù)與轉(zhuǎn)載指標(biāo)、被引指標(biāo)存在中度相關(guān)關(guān)系;只有法學(xué)、應(yīng)用經(jīng)濟(jì)學(xué)兩個學(xué)科期刊的基金論文比與部分轉(zhuǎn)載指標(biāo)、被引指標(biāo)存在中度相關(guān)關(guān)系;只有應(yīng)用經(jīng)濟(jì)學(xué)科期刊的引用半衰期與轉(zhuǎn)載指標(biāo)和部分被引指標(biāo)存在中度的相關(guān)關(guān)系(見表3)。這也從側(cè)面印證,多數(shù)研究者在進(jìn)行學(xué)術(shù)研究時,重視的是文獻(xiàn)觀點和創(chuàng)新點等本質(zhì)內(nèi)容,并不是文獻(xiàn)數(shù)量等外在因素。5.期刊轉(zhuǎn)載指標(biāo)與期刊引用指標(biāo)的相關(guān)性。期刊引用指標(biāo)是文獻(xiàn)計量學(xué)理論研究和期刊評價實踐依據(jù)的主要工具。期刊轉(zhuǎn)載指標(biāo)具有同行評議的優(yōu)勢,近年來越來越受到期刊評價體系和科研評價單位的重視。分析轉(zhuǎn)載指標(biāo)與引用指標(biāo)的相關(guān)系數(shù)可知,應(yīng)用經(jīng)濟(jì)學(xué)期刊和高等院校學(xué)報的轉(zhuǎn)載量總體上與被引指標(biāo)具有中度相關(guān)關(guān)系;除了社會學(xué)、工商管理學(xué)類期刊之外,其他學(xué)科的轉(zhuǎn)載率與被引指標(biāo)具有不同程度的相關(guān)關(guān)系(見表4)。這一結(jié)論說明,雖然由于制度和文化的原因,我國期刊同行評議制度還不完善,存在學(xué)術(shù)不端的可能性,但總體上反映了期刊的真實學(xué)術(shù)水平。
四、結(jié)論與啟示
通過對我國6個學(xué)科的社科學(xué)術(shù)期刊3類評價指標(biāo)及其相互間的相關(guān)性進(jìn)行分析,可以得出如下結(jié)論:第一,基金論文比、平均引文數(shù)和引用半衰期等3個期刊特征指標(biāo)之間相關(guān)性不明顯,各自在期刊評價體系中獨立指引著期刊的某一特征。第二,綜合指數(shù)、轉(zhuǎn)載量、轉(zhuǎn)載率等3個轉(zhuǎn)載指標(biāo)間具有較強(qiáng)的相關(guān)性,特別是綜合指數(shù)和轉(zhuǎn)載量、轉(zhuǎn)載率之間均具有強(qiáng)相關(guān)性。第三,除了復(fù)合即年指標(biāo)之外,其他引用指標(biāo)兩兩間均呈現(xiàn)出一定程度的正相關(guān)性。值得注意的是,影響力指數(shù)與其他引用指標(biāo)呈現(xiàn)出較強(qiáng)的相關(guān)性,復(fù)合影響因子、復(fù)合他引影響因子、5年復(fù)合影響因子兩兩間呈強(qiáng)相關(guān)性。第四,期刊特征指標(biāo)與轉(zhuǎn)載指標(biāo)、引用指標(biāo)之間的相關(guān)性均不顯著??傮w上看,轉(zhuǎn)載指標(biāo)與引用指標(biāo)間具有中度的相關(guān)性。第五,高等院校學(xué)報和專業(yè)社科期刊相比,3類評價指標(biāo)內(nèi)部相關(guān)性及其之間的相關(guān)性差異不明顯。基于以上結(jié)論,可得出如下啟示:第一,對于相關(guān)度較強(qiáng)或極強(qiáng)的指標(biāo),其評價結(jié)果差異不大甚至較為相似,因此不宜同時選用,或適當(dāng)控制其總權(quán)重,以免放大其評價效果。由于轉(zhuǎn)載指標(biāo)與引用指標(biāo)分別代表著同行評議和文獻(xiàn)計量學(xué)評價兩種不同的方法,具有明顯互補(bǔ)性,因此在社科期刊評價呼喚創(chuàng)新和質(zhì)量導(dǎo)向的大背景下,有必要強(qiáng)化轉(zhuǎn)載指標(biāo)的評價功能,以提高同行評議在學(xué)術(shù)評價中的地位。第二,雖然基金論文比和平均引文數(shù)可以反映研究者對領(lǐng)域內(nèi)文獻(xiàn)的掌握程度,但是論文學(xué)術(shù)水平主要還是由研究內(nèi)容、研究方法、研究深入程度和研究創(chuàng)新突破等因素決定的,研究者和學(xué)術(shù)期刊編輯不能本末倒置,過分重視基金項目、引文數(shù)量等外在因素。第三,評價指標(biāo)間相關(guān)性不存在明顯學(xué)科差異。高等院校學(xué)報人不必因為影響力的原因而糾結(jié)是否進(jìn)行專業(yè)化轉(zhuǎn)型,而應(yīng)該綜合考慮我國期刊結(jié)構(gòu)、辦刊環(huán)境和自身資源條件進(jìn)行取舍。另外,本文僅選擇了“轉(zhuǎn)載排名”收錄的期刊作為研究樣本,且樣本年份相對較少,可能會造成研究結(jié)果的局限性,后續(xù)有必要拓展樣本廣度,作更深入的比較研究。
作者:沈秀 譚曉荷 趙青 單位:1.常州大學(xué)學(xué)報編輯部 2.常州工學(xué)院學(xué)報編輯部
熱門標(biāo)簽
社科論文 社科經(jīng)典論文 社科基金論文 社科 社科 社科聯(lián) 心理培訓(xùn) 人文科學(xué)概論