图灵指数——学术大数据下的跨范畴跨年代学者影响力评价

图灵汇官网

图灵指数——学术大数据下的跨范畴跨年代学者影响力评价

姚宇航, 欧豪杰, 李洋, 傅洛伊, 王新兵, 陈贵海

上海交通大学电子信息与电气工程学院,上海 200240

摘要

随着学术研究领域的不断扩大,面对不同领域和年代的差异,现有的衡量学者影响力的量化方法难以消除偏差,从而难以准确评估学者的实际影响力。通过对1865年至2016年间,涵盖310个领域、14223名学者、126438646篇论文及533556856次引用的数据集进行分析,我们发现不同领域和年代的新增引用量均遵循幂律分布。基于此,我们提出了图灵指数,通过归一化处理消除指数膨胀的影响,从而更加科学地衡量学者的相对影响力。通过比较诺贝尔奖、菲尔兹奖、图灵奖等获得者的图灵指数,我们发现尽管他们在领域和年代上存在显著差异,但他们在各自领域内的影响力却是相似的。图灵指数为跨领域、跨年代的学者影响力评价提供了新的思路,也为国内外学者影响力评价和基金评审提供了参考。

关键词

学术影响力,跨领域,跨年代,图灵指数

1 引言

近年来,越来越多的研究者投身学术界,并在众多研究领域取得了显著成就。如何量化学者的影响力已经成为全球学术界共同关注的问题。对学者影响力的评价不仅对基金项目的评审和学术奖项的评选具有重要意义,还可以推动学术界的发展。目前,最常用的衡量学者影响力的指标是引用量,即学者发表论文的总被引用次数。另一个广泛应用的指标是H指数,它基于学者被引用次数最多的论文数量和被引用次数来衡量学者的学术产出和影响力。然而,这些方法均未充分考虑领域和年代的影响,导致评价结果不够全面。

随着时间的推移,许多方法被提出以解决学术影响力问题。由于领域本身的发展速度和不同领域之间的不平衡发展,一些研究分别考虑了不同年代和领域对影响力的影响,并利用引用量和H指数的归一化方法来平衡不同年代和领域的学者相对地位。然而,这些方法并未充分考虑到学术界规模迅速扩大的影响,导致评价结果不尽如人意。

2 学术界的指数膨胀

为了对不同领域和年代的学者进行影响力评价,我们对学者和论文数据进行了统计和收集,数据来源包括Acemap和微软学术。微软学术利用论文发表的期刊、标题和注释等信息对论文所属领域进行层次划分,这一划分结果得到了学术界和工业界的广泛认可。我们使用Acemap整合了微软学术从1865年到2016年的310个领域、14223名学者、126438646篇论文和533556856次引用的数据集,对学者的影响力进行评价。主要领域的学者、论文和引用量等统计结果见表1。

如图1所示,历年新增论文、引用量和学者数量均呈指数级增长,可以看出学术界正在快速发展。从图1中可以看出两个明显的下降趋势,分别发生在1917年和1941年左右。我们认为这是由两次世界大战造成的,由此可见战争对科学研究也有重大影响。

图1 历年新增论文、引用量和学者数量统计

我们对各个主要领域的内部发展情况进行了统计,如图2所示,不同领域由于发展状况不同,线条的斜率和截距不同,但均呈指数增长。其中c为引用量。图3显示了学术网络的指数膨胀现象,图3中红线表示每年活跃学者的数量,网络中的彩色节点表示不同领域的活跃学者,每个簇代表一个领域,由此可见领域的膨胀非常迅速。图4展示了从1950年至2014年16个物理子领域的历年引用量增长情况,该领域内部的子领域发展也不均衡。

图2 主要领域历年引用量

图3 学术网络指数膨胀可视化

图4 物理子领域历年引用量增长

3 指数膨胀效应对学者影响力评价的影响

随着学术界的指数膨胀,发表更多文章、获得更多引用变得更加容易。在这种情况下,传统的引用量和H指数等指标无法很好地描述学者在三种指数膨胀效应下的影响力。

一是时间的膨胀效应。学者在不同时期的相同引用量是不等价的。由于学者和论文数量不断增加,如今的学者论文更容易被引用。1980年被引用100次的学者可能比2018年被引用100次的学者更具影响力。同样,H指数也没有充分考虑时间效应。因此,仅仅使用引用量或H指数可能会导致一种错误的判断,即年长的学术巨头和年轻学者对学术界具有相同的影响力。

二是领域的膨胀效应。一个重要的但往往被忽视的因素是研究领域发展程度的不平衡所带来的影响。尽管不同领域的引用量均呈指数增长,但其膨胀速度和形态不同,发展程度也不同。例如,生物学的年总引用次数大约是政治学的40倍。图3展示了活跃学者在不同领域的膨胀情况,各领域的扩张速度不一,即使在单个领域(如图4所示的物理学领域),其子领域的扩张速度也完全不同。拥有相同引用量的不同领域的学者,他们在各自领域的影响力是不相等的。在热门领域获得的引用量与在冷门领域获得的引用量不等价。

三是年代的膨胀效应。即使在同一时间和领域拥有相同的引用量和H指数,但由于学者活跃年代的不同,他们的影响力也可能存在差异。活跃年代是指学者在其所属领域内被引用次数快速增长的时期。如图5所示,威廉·菲利普斯和迈克尔·弗莱施豪尔是量子光学领域的两位杰出物理学家。根据谷歌学术统计,截至2018年,威廉·菲利普斯共获得引用23750次,H指数为66,而迈克尔·弗莱施豪尔的引用次数和H指数分别为21578次和60。尽管他们有相似的引用和H指数,但威廉·菲利普斯(活跃年代为20世纪90年代)比迈克尔·弗莱施豪尔(活跃年代为21世纪初)的活跃年代更早。也就是说,在一个全新的、学者较少的领域获得相同的引用通常比在一个成熟的领域更难,而且领域的创始人比追随者影响力更大。因此,目前威廉·菲利普斯对量子光学的影响大于迈克尔·弗莱施豪尔,而实践中,威廉·菲利普斯获得了诺贝尔物理学奖,也验证了本文的观察。

图5 两位学者历年新增引用量比较

但是,上述观察结果主要是基于人类的主观经验。是否有一种量化指标可以消除领域和年代的膨胀效应,为学者提供科学客观的评价?作为一种大胆而严谨的尝试,本文提出了一种新的度量标准,即图灵指数(Turing Index),以重新评估学者的影响力。

4 图灵指数

为了消除不同领域和年代对学者影响力评价的影响,我们首先研究了各个领域每年学者新增引用量的分布,即学者数量与特定年份内相应增加的引用量的关系。为了寻找合适的量化指标,我们从数据集中提取数据,并绘制了历年学者新增引用量的分布图。

图6为2015年物理学领域的引用网络,图6中每个节点代表2015年在物理学领域发表或引用论文的活跃学者,红色节点的度数较高,绿色节点的度数较低。从图6可以看出,极少数红色节点被绿色节点包围,我们推测引用量分布符合幂律分布,即红色节点获得大部分引用次数,大多数绿色节点的引用次数较少。为了验证这一假设,我们基于每年论文的新增引用量和这些论文所属的学者和领域,计算出了1228960765条四元组,每条四元组由学者、领域、年份和引用组成,表示每年每位学者在不同领域的新引用量。

图6 2015年物理学领域学者引用网络

我们利用四元组,绘制了学者引用量分布的对数图,如图7所示,尽管不同领域的学者数量不同,但这些引用量分布都可以通过线性函数很好地拟合,说明它们都遵循幂律分布,其形式如公式(1)所示。

图7 不同领域不同年代新增引用量分布情况

其中,n表示每年引用次数增加c的学者数量,N为当年被引用的活跃学者总数,k为比例指数。

引用量分布的归一化是为了让不同幂律分布公式符合相同的参数。为此,我们假设目标归一化范围f0有N0个学者和标度系数k0,同时引用量为c0的学者有N0个,那么其引用量分布为:

我们假设未归一化范围fi(i≥1)的引用量分布为:

为了使范围fi具有与范围f0相同的分布,我们需要在ni=n0时,使得新增引用量ci归一化为c0,其中c0表示在范围fi中引用量为ci的学者p归一化后在范围f0中的相对位置。

然后有:

由于N0和k0是常量,所以有:

基于公式(5)和提出的指标A和D,学者p在领域f从年s到年t的总影响力图灵指数Tp,f,t为:

利用公式(8),可以在相同条件下评估跨领域和跨年代学者的影响。

5 跨领域、跨年代学者影响力对比

我们建立了一个基于数据集的系统来计算和存储不同领域和年代学者的图灵指数。一个学者可以属于多个领域,通过每年新增引用量的归一化处理,我们得到了1228960765条包含学者、领域、年份和图灵指数信息的四元组。为了更好地了解图灵指数如何消除通胀差异、评估不同领域和年代学者的影响力,我们分别基于引用量和图灵指数衡量诺贝尔奖、菲尔兹奖和图灵奖得主的影响力,并进行比较。截至2015年当选学者的获奖统计数据见表2。

我们对比了三种情况:相同年代不同领域、不同年代相同领域和不同年代不同领域。

(1)相同年代不同领域

相同年代意味着相关学者的研究生涯大致在同一时期开始,引用量的增长速度因领域而异。由于一个领域的学者数量可能是另一个领域的30倍,领域的发展程度可能会形成巨大的对比。从图9(a)和图9(b)可以看出,诺贝尔生理学奖得主Paul Nurse和菲尔兹奖得主Pierre-Louis Lions之间的引用量明显差异并不意味着他们的影响力存在巨大差距,因为他们处于不同的领域。对各自历年新增引用量进行归一化处理后,两位学者的图灵指数表明,他们对各自领域的影响力是相当的,发展轨迹也几乎一致。类似的现象出现在图9(c)和图9(d)中,其中诺贝尔生理学奖获得者Ralph M Steinman在免疫学这一庞大领域中被引用次数较多,而诺贝尔经济学奖获得者Jean Tirole在工业管理这一领域中被引用次数较少。通过引用量分析,Steinman的影响力似乎比Tirole大得多,但图灵指数显示两者的影响力相当,甚至轨迹相反。另一个发现是,由于领域迅速发展导致的膨胀,学者们可能会遵循不同的发展形式,这些形式无法在传统的总引用量衡量中表现。例如,在图9(e)和图9(f)中,Bruce Beutler的图灵指数呈线性稳步增长,而Eric Betzig在早期发展较为陡峭,1992年后出现了一个跳跃,这表明他在那一年取得了很大的突破。这一观察可以被证明,在1992年,Eric Betzig发表了一篇关于显微镜的论文,这是他获得诺贝尔奖的主要贡献。

图9 学者的引用量和图灵指数对比结果

(3)不同年代不同领域

同样地,当同时考虑领域和年代时,影响力的衡量也遵循同样的规律,但有更多的比较方式。如图9(m)和图9(n)所示,诺贝尔生理学奖得主Paul Nurse比诺贝尔物理学奖得主Shuji Nakamura有更早的活跃年代,被引用次数也更多。虽然较早的年代和较高的引用量表明较高的影响力,但Paul Nurse的所属领域要比Nakamura的所属领域大,根据图灵指数,这两位学者有着相似的影响力。另一种相反的情况如图9(o)和图9(p)所示,Oliver E Williams有更早的活跃年代,并且所在领域比Susumu Tonegawa的领域小,Oliver E Williams的引用量仅为Susumu Tonegawa的三分之一左右,但图灵指数显示,前者的影响力在进入21世纪后增长更快,2010年左右变得和后者一样,这意味着前者的贡献在近几年得到了认可,这一现象可以再次得到现实印证。Oliver E Williams虽然比Susumu Tonegawa年长,但他2009年获得了诺贝尔奖,Susumu Tonegawa在1987年获得了诺贝尔奖,图灵指数因此可以发现这样的现象。同时,领域膨胀可以导致引用的快速增长,通过消除领域通胀的影响,图灵指数有助于发现真正的学术新星,在图9(q)和图9(r)中,菲尔兹奖获得者Terence Tao在经过图灵指数消除领域通胀影响后仍然增长迅速,这表明其影响力增长速度远远快于领域的通胀。综上所述,尽管在引用量、领域、年代等方面存在差异,但这些顶尖学者对其所属领域的影响力是相似的。

从学者的发展历程来看,由于现有理论并不能准确地描述真实状况下的学术网络,学者的生涯并不能无限延长,论文发表也不能无限增长。图灵指数下的学术网络一直符合幂律分布,由于资深学者影响力较高,“富者愈富”现象会在较短的时间周期出现,与实际贴合。但随着网络演进,经典的论文会保有其影响力,学者会更倾向于引用早期前沿的论文,图灵指数更高的学者在若干年后并不能由于过去图灵指数高而扩大优势,而是与当前的论文发表和学者工作的影响力毫不相关,在过去图灵指数较低的学者,经过若干年的发展之后,有可能跟上甚至超越过去图灵指数更高的学者。

6 结论

图灵指数可以揭示引用量增长的本质,不仅可以帮助确定和比较不同领域和年代学者的历史影响力,还可以为领域排名和科学奖项提供可靠的评价指标。从应用角度看,由于学者影响力评价的准确性与数据的可靠性密切相关,未来的研究将侧重于提高学者数据的准确性和泛化性,同时尝试用图灵指数描述学者的职业生涯轨迹。从理论角度看,由于学者的引用量和学者关系可以通过社交网络中的理论来描述,因此可以尝试采用网络演进理论对图灵指数的评价标准进行微观解释,并将图灵指数应用于更广泛的领域影响力评价中。

本文来源: 图灵汇 文章作者: 原动力