小编： 本文从Altmetric.com获取Altmetrics的指标数据,然后利用SPSS软件进行数据分析,主要运用相关性分析法和主成分分析法,对Altmetrics的评价指标归纳整合,从而得到新的评价指标,计算新指标权重
传统的学术评价方法有许多,其中引文量和h指数是应用较多的评价指标。引文量一直以来都是评价学术成果和学者学术成就的重要指标,尤其是在职称晋升、项目立项申请等方面[1]。但是随着网络社交的发展,学者们越来越多地在网络上分享学术成果,通过文献管理软件对其他学者的学术成果进行推荐,并将其分享到自己的社交平台上。而引文和h指数首先并不能完全囊括网络上的学术成果,其次传统的学术评价指标都需要时间的积累,从论文整理成型到出版发行就需要很长时间,再加上引文量的积累时间,导致评价的时效性很差。
Altmetrics则能很好地解决前面说到的问题,Altmetrics在国内通常被译为替代计量法或补充计量法,是指通过跟踪文献管理工具和网络社交媒体等开放学术交流平台上的用户学术交互行为,来衡量影响力的一种计量方法[2]。Altmetrics自2010年发表于网络,引起了国内外学者的研究热情。Altmetrics将社交网络、社区评论、文献管理工具等相关数据作为评价指标引入,不但从学术方面去衡量学术论文的影响力,还反映其社会影响力[3][12]。
学者对Altmetrics的研究通常分为三个阶段,初始阶段学者们重点探讨Altmetrics的产生背景、研究意义、研究方法等。在研究的中期,Altmetrics指标与传统引文指标之间的关系成为研究的重点[4,5][6]。近几年的研究着眼于更合理、更快速的新型学术评价,结合Altmetrics指标的学术评价也快速发展起来。
本文就是研究基于Altmetrics的新型学术评价模式,通过分析软件SPSS发现引文量、h指数与Altmetrics指标间的相关性,并在此基础上构建基于Altmetrics的学术影响力评价模型,再应用该模型进行实证研究,验证其可行性。
1模型构建流程
按照前面的分析,目前单一的学术评价方法都有一些不足,本文结合传统的评价指标,构建基于Altmetrics的学术论文影响力评价模型,并对该模型的可行性进行验证。模型的构建流程如下图所示,主要包括选取数据源、确定Altmetrics工具[10]、数据采集、数据分析、构建模型与可行性分析。 图1模型构建流程图 下载原图
2数据处理
2.1选择数据源
笔者对文献管理软件Mendeley、CiteULike,文献获取渠道WebofScience、Google学术、ScienceOpen等工具和搜索引擎分析比较,同时考虑到哈尔滨商业大学图书馆购买数字资源情况因素,选择了Mendeley和ScienceOpen平台。课题组选择了ScienceOpen检索条件为Altmetrics、时间为2015和2016的结果集为研究实例。然后通过Altmetric.com获得AltmetricAttentionScore(AAS)的指标数据,这里主要探讨的评价指标包括NewsOutlets、Blog、Twitter、Preddited、Facebook、Google+、Mendeley、CiteULike、Wikipe-dia、Vedio、Peerreview[8][9]。通过所获取文献的DOI,在谷歌学术中检索得到文献的引用量和h指数。
2.2采集数据
本文采取自编网络爬虫代码,从ScienceOpen上批量抓取数据,获取文献的引文量、h指数和AAS。因为最终研究对象是各文献记录的指标数据,所以对获取的指标数据进行格式化处理。例如每篇文献的AAS分别链接一个网页,上面以图形、数字、表格等形式记录着文献的指标数据,需要将这些指标数据转为标准的格式化数据,以便后期进行数据处理。 表1AAS排名前十论文的评价指标导出到EXCEL 文献AAS引用量h指数1137257102864711034811521044722252195161902067151718139178149112521011072
表1所示为AAS排名前十的论文的指标数值,可以看出Altmetrics排名和引用量排序之间存在一定差异,AAS最高的文献引用量并不是最高的,其他参考指标(数据源自ScienceOpen)如阅读量、推荐量、引用量等排序也不完全相同。可见高Altmetrics不一定高引用,高引用不一定高Altmetrics,所以要对Altmetrics的各种指标与引用量之间进行相关性研究,找出与引用量关系密切的指标。
另外,从Altmetric.com获取的全部指标数据来看,AAS得分大于零的文献,Twitter指标值均大于0,而Twitter指标值为0的文献其AAS也都为0,AAS排名靠前的文献中(见表2),Twitter指标值都很高,由此可知Twitter指标对Altmetric影响极大。同样观察所有指标数据,发现社交类Twitter、Blog以及学术搜索Google指标值越大,最终得分也越高。而且得分高的文献,通常每个重要的指标值都不低,那么就需要分析各个指标对Altmetrics得分的贡献度,分析这些指标间的相关性,为构建评级模型时选取成分提供依据。 表2AAS前十论文的Altmetrics详细指标导出到EXCEL 排序NBPSTPRFWPGQ&ARDCMC1390190701305031811202280127809060130149130816070251710302040059500000013035010310121300432561802010301009111170202280504005260804216405000089195290301180100200028010041106000100000 备注:表中项目分别对应News、Blogs、Policysource、Twitter、Peerreview、Facebook、Wikepedaipage、Google+、Q&A、Reddit、Dimensionscitations、Mendeley、CiteULike。
3数据分析
3.1相关性分析
本文利用SPSS统计分析软件对指标数据进行皮尔森(Pearson,两个变量间的皮尔森相关系数为两个变量之间的协方差和标准差之商)的相关性分析,根据得到的相关系数矩阵判断指标与引用量、h指数的相关程度,并选出与引用量和h指数相关度最高的指标,以此来构建评价模型。
Altmetrics指标与引用量和h指数间的相关系数如表3所示(其中皮尔森相关代表皮尔森相关系数,数值越大表示相关性越强;显著性(双尾)为P值,数值越小说明相关程度越高)。从表中可以看出,Dimensionscitations、Mendeley、Reddit与引用量和h指数之间的相关系数最高,一个超过0.7,另一个超过0.6;Blogs与引用数的相关系数为0.424;而Policysource、Peerreviewsite的相关系数则比较低,而且许多论文这几个指标值均为零,因此在本文的模型构建过程中不计算这几个指标。 表3各指标与引用次数、h指数相关系数导出到EXCEL 引用数h指数News皮尔森(Pearson)相关显著性(双尾)-.030-.050.758.615Blogs皮尔森(Pearson)相关显著性(双尾).424**.293**.000.003Policysource皮尔森(Pearson)相关显著性(双尾)-.022-.034.818.735Twitter皮尔森(Pearson)相关显著性(双尾).188.114.052.249Peerreviewsite皮尔森(Pearson)相关显著性(双尾)-.063-.044.519.655Facebook皮尔森(Pearson)相关显著性(双尾).266**.075.006.450Wikepedaipage皮尔森(Pearson)相关显著性(双尾).171.143.079.149Google+皮尔森(Pearson)相关显著性(双尾).252**.118.009.234Q&A皮尔森(Pearson)相关显著性(双尾).067.070.491.480Reddit皮尔森(Pearson)相关显著性(双尾).068.074.490.456Dimensionscitations皮尔森(Pearson)相关显著性(双尾).752**.711**.000.000Mendeley皮尔森(Pearson)相关显著性(双尾).672**.619**.000.000CiteULike皮尔森(Pearson)相关显著性(双尾).238*.218*.014.026
3.2主成分分析
通过主成分分析可以将指标分组,不同组合的指标间彼此相关性较小,组合内的指标则具有较强的相关性,还可以选出每个组合中对标本产生最终影响的指标(主成分)。提取出相关系数较大的指标Blogs、Twitter、Facebook、Google+、Q&A、Reddit、Dimensionscitations、Mendeley和CiteULike,可以作为主成分分析的目标。然后再根据因子分析法得到各指标间的相关矩阵,如表4所示。其中可以看出各指标间具有一定的相关性。 表4Altmetrics指标间相关矩阵(部分) 下载原表
为验证指标间共性强弱,本文采用降维分析的KMO和Bartlett的球形度进行检验,得到KMO值为0.669。可以进行主成分分析(KMO是做主成分分析的效度检验指标之一,通常KMO在0.9以上,非常合适做因子分析;在0.8-0.9之间,很适合;在0.7-0.8之间,适合;在0.6-0.7之间,尚可;在0.5-0.6之间,表示很差;在0.5以下应该放弃)。
表5为各指标的公因子方差数,从这个表中可以看到各指标的公因子方差除CiteULike外均介于0.6至0.9之间,说明提取的公因子符合要求,能够反映各指标的基础信息。
表6是各指标解释的总方差。按照需求选择初始特征值大于1的成分,从表中看出只有三个成分符合要求,而且这三个成分的累积方差较大,达到78%以上,所以可以将九个原始指标划分到三个主成分中。 表5因子方差表导出到EXCEL 起始撷取Blogs1.000.699Twitter1.000.959Facebook1.000.917Google+1.000.771Q&A1.000.911Reddit1.000.902Dimensionscitations1.000.650Mendeley1.000.734CiteULike1.000.499 表6因子分析的总方差解释表导出到EXCEL 组件起始特征值撷取平方和载入循环平方和载入a总计变异的%累加%总计变异的%累加%总计13.92143.57243.5723.92143.57243.5723.19321.82120.23063.8021.82120.23063.8021.96731.30114.45278.2541.30114.45278.2542.8134.7197.99486.2485.5005.55891.8056.3423.79795.6037.2472.74298.3458.1101.22899.5729.038.428100.000
4构建模型
4.1确定指标
通过SPSS因子分析中的Oblimin算法得到指标与主成分之间的相关系数,所有系数组成了组件矩阵,系数值大小反映主成分与指标间的相关性,通常主成分应包含相关系数大于0.6的指标。
如表7、8所见,提取了三个主成分,其中Blog、Twitter、Facebook、Google+和Reddit这五个指标与主成分1相关性非常高,Dimensionscitations、Mendeley和CiteULike这三个指标与主成分2的相关系数较高,Q&A与主成分3相关系数达0.729。同时可以看出与主成分1相关性高的指标主要为网络社交媒体指标,所以主成分1主要反应文献在社交媒介中传播所产生的影响力,可以认为是社交媒介因子;而主成分2则是反映对学术文献的读者数以及相关搜索、标签等方面,可以认为是读者数量因子;主成分3与问答网站相关度最高,可以认为是线上互动因子。 表7主成分矩阵导出到EXCEL 组件123Blogs.831.077-.046Twitter.889-.066-.405Facebook.874-.233.315Google+.867-.068.120Q&A.558-.261.729Reddit.678-.070-.661Dimensionscitations.304.720.197Mendeley.241.822-.021CiteULike.048.696.111 表8主成分指标的结构矩阵导出到EXCEL 组件123Blogs.727.294.581Twitter.971.126.434Facebook.587.059.905Google+.677.188.742Q&A.102.001.930Reddit.927.029.117Dimensionscitations.123.796.192Mendeley.179.846-.013CiteULike-.049.691-.049
由此得到基于Altmetrics的学术评价模型,该模型包括三个评价模块,分别为:社交媒介(包含Blog、Twitter、Facebook、Google+、Reddit,记为AAE1)、读者数量(包含Dimensionscitations、Mendeley、CiteULike,记为AAE2)和线上互动(指Q&A,记为AAE3)。
4.2计算权重
得到评价模型的指标后,需要确定指标在模型中的权重。本文通过SPSS采用回归法得到各成分的得分矩阵,如表9所示。根据表中的内容可以得出因子得分函数,其中以指标名称的大写首字母代表该指标,例如B代表Blog、R代表Reddit等:
AAE1=0.197B+0.358T+0.068F+0.141G-0.167Q+0.416R-0.031D-0.040M-0.052C
AAE2=0.093B-0.014T-0.028F+0.037G-0.022Q-0.058R+0.418D+0.445M+0.379C
AAE3=0.128B-0.014T+0.346F+0.232G+0.486Q-0.176R+0.065D-0.063M-0.023C 表9各成分得分的系数矩阵导出到EXCEL 组件123Blogs.197.093.128Twitter.358-.014-.014Facebook.068-.028.346Google+.141.037.232Q&A-.167-.022.486Reddit.416-.058-.176Dimensionscitations-.031.418.065Mendeley.040.445-.063CiteULike-.052.379-.023
根据这三个公式分别计算三个因子得分,然后再以每个因子的方差贡献率为权数,进行加权综合,计算出每个文献的总得分。因子的方差贡献率占累积贡献率的比重可以从表8计算得知,AAC1的方差贡献率为43.572/78.254=0.5568,AAC2的比重为20.230/78.254=0.2585,AAC3的方差贡献率为14.452/78.254=0.1847。所以基于Altmetrics的学术评价模型得分AAC=0.5568×AAC1+0.2585×AAC2+0.1847×AAC3。
5评价结果与验证
基于Altmetrics的学术论文影响力排名前10的论文的AAC值及AAS、引用数和h指数见表10。从表中可以看出,AAC值排名前三的得分都超过了100,而且这三篇文献对应着AAS最高的三篇,排名四位和五位AAC相差2左右,而后五名AAC差距很小。
为评估模型的可行性,本文通过SPSS计算了AAC值、引用量和h指数之间的肯德尔(Kendall)相关系数,如表11所示。计算得到基于肯德尔系数的分别为0.313和0.233,反映有一定相关性,但相关程度不高。 表10AAC得分前十文献的分数导出到EXCEL 序号AACAAS引用数h指数1385.69137257102268.6086471103125.0548115210464.6921951562.4113917814653.07190206748.5715171842.306513517940.7316180271038.951004112 表11AAC得分、引用数和h指数的相关系数导出到EXCEL AAC引用数h指数AAC皮尔森(Pearson)相关1.313**.233*显著性(双尾).001.017引用数皮尔森(Pearson)相关.313**1.852**显著性(双尾).001.000h指数皮尔森(Pearson)相关.233*.852**1显著性(双尾).017.000
6结论
基于Altmetrics的学术评价模型能够衡量学术成果,但不能取代传统的学术评价方法,是从新的方向对学术论文进行评价。从基于Altmetrics的学术评价模型的三个主成分即可看出,该方法主要反馈学术论文在网络上的社交、互动和文献管理软件的读者数量方面,侧重于学术成果的社会影响力方面。而传统的引文分析法反映的是论文被其他研究人员的引用数[7],则更注重学术影响力。另外目前Altmetrics许多指标的数据并不清晰,一些数据不能完全体现学术影响力。例如一名经济学教授对一篇经济方面推文的推荐就比一名非专业人士的推荐比重要高,但是在推荐数上却不能体现出来。还有一些评价指标来自网络、社交平台等,存在数据虚高现象,数据质量需要提高。
从本文的实例可以看出,AAC值的高低一定程度能够反映引文量和h指数,所以基于Altmetrics的学术评价模型具有学术评价能力,在侧重社会影响力的同时,也体现了一定的学术影响力,从新的方面对传统学术评价进行了补充,为学术评价提供了全新的视角。
当前网址：http://www.paperaa.com/newss/12436.html
