第三节　世界大学排名指标体系的合理性

上一节从教育学、管理学与经济学的视角，探讨了世界大学排名的理论基础。与此同时，4个主流世界大学排名在遵循统一的理论基础之上，在具体的指标设计环节各有侧重，各具特色，获得了各方利益群体几乎同等程度的重视，这说明不同的世界大学排名都具有一定的合理性。因此，本节将结合“高等教育机构排名的柏林原则”，从指标体系的多样性、指标权重分配的目的性、文献数据的科学性、声誉调查对象的代表性和涵盖学科范围的均衡性等5个方面，来分析世界大学排名指标体系的合理性。

一、指标体系的多样性

柏林原则要求，“排名应该认识到高等教育机构的多样性并考虑到它们不同的使命和目标”，因此，四大排名指标体系所包含的指标个数及涉及的指标维度均试图尽可能丰富多样，以引导全球大学朝多样性方向发展。如表2.1所示，每个排名体系均不低于3个评价维度，且指标数量都在6个及以上。四大排名中，THE排名体系最为全面，含5个一级指标和13个二级指标，综合考虑了教学、科研、声誉与国际合作对大学办学质量的影响。QS的指标体系相对简单，只有6个一级指标（无二级指标），但指标之间的异质性较大，也涵盖了声誉、教学、科研、国际合作等4个维度。与THE相同，US News指标个数也比较多，共有13个，其中9个为科研类指标，其对科研的评价在所有排名体系中最为全面具体，如将不同类型（学术文章、书籍、会议论文）、不同质量（前10%、前1%高被引论文数量）的学术成果分别作为一个单独的评价指标。ARWU的指标数量在四个排名体系中最少，仅有4个一级指标和6个二级指标；指标维度也较为单一，只包括教学类、科研类等指标。虽然ARWU指标体系较为简单，但其特色在于充分肯定顶级科研成就对大学的影响与价值，采用了获诺贝尔奖和菲尔兹奖的校友数/教师折合数、在Nature和Science上发表论文的折合数等不同于其他排名的指标。

二、指标权重分配的目的性

柏林原则强调，“排名应该明确自己的目的和目标群体，且排名的设计应该和目的相一致”。四大排名指标体系指标的权重设置主要涉及声誉类、教学类、科研类、国际合作类等几类指标的比例分配。一方面可能由于教学类指标不太容易测量和比较，另一方面可能因为四大排名机构都更加青睐研究型大学，其目标群体可能也主要集中在研究型大学，因而在四大排名指标体系中，体现高等教育机构科研水平的文献类指标权重都比较高。如表2.2所示，THE排名教学类、科研类和声誉类指标的比重分别为15.00%、44.50%和33.00%，在四大排名指标体系中最为均衡。QS排名的指标权重则呈现教学和科研类指标权重相同，均为20.00%，而声誉类指标权重高达50.00%的特点。与THE和QS排名相比，US News和ARWU排名均更为偏重对高等教育机构科研能力的评价，其中，US News排名指标体系未设置教学类指标，但赋予科研类指标65.00%的权重；而ARWU的科研类指标权重为四大排名指标体系之最，高达80.00%，远高于教学类指标的10.00%。

三、文献数据的科学性

柏林原则指出，“排名应该尽可能地使用审核过的、可核实的数据，且使用的数据在机构间应是可比的、口径一致的”。由于每个国家、每所大学的差异性非常大，要想进行全球比较，在全世界范围内进行排名对于数据必须有非常严格的限制，经过筛选最终使用的数据一般都是大学现有的、可比较的和容易采集的。由于文献数据比较符合这一要求，所以文献类指标在世界大学排名体系中所占的比例较大，来自第三方数据库的文献数据也成为四个大学排名的重要数据来源。如表2.3所示，Elsevier的Scopus数据库、科睿唯安公司的Web of Science数据库是四大排名的主要文献数据来源，且各个排名都会对数据进行标准化处理，以保证收集到的文献数据在不同高等教育机构之间具有可比性。具体来说，THE与QS均主要使用Scopus数据库，而US News和ARWU的文献数据来源则以Web of Science数据库为主。Scopus数据库是全球规模最大的摘要和引文数据库之一，其语言相对丰富，但侧重英语；而Web of Science数据库主要包括SCIE、SSCI、CPCI-S等引文索引数据库，其论文语言以英语为主，语言类别相对单一。

四、声誉调查对象的代表性

柏林原则认为，“排名应该考虑被排名院校所处教育体系的语言、文化、经济及历史背景”；“排名应该清楚数据来源范围和数据背后的含义，好的做法应该是将来源于不同渠道、代表不同立场的数据组合起来，从而形成一个对被排名院校的更全面的看法”。THE、QS和US News大学排名针对世界各国专家、学者和雇主所采集的声誉调查数据正好能够兼顾不同地域及文化背景下的高等教育系统的差异，充分考虑到与高校办学质量密切相关的不同利益主体对大学的评价。如表2.4所示，三大排名声誉调查的对象来源广泛，2019年覆盖了亚太地区、欧洲、北美洲、拉美地区、中东地区和非洲等区域。其中，THE回收了135个国家的11554份声誉调查问卷；QS声誉调查回收了83877份学术声誉调查问卷和42862份雇主声誉调查问卷，共计126739份；US News声誉调查回收问卷数量最少，仅为4855份。此外，三大排名声誉调查对象对大学进行评价的范围也体现了柏林原则的上述要求。其中，THE和US News声誉调查的评价范围都包括“世界范围”和“所在地区”两个部分，前者要求受访者基于自身经验，列出他们认为自己所从事研究领域内，研究和教学表现最好的大学各15所，可评价范围较大；后者包括全球性声誉调查和区域性声誉调查。在全球研究声誉调查中，受访者需要根据自身所在的学科，对大学进行学科层次和系级层次的排名；区域研究声誉同样以学科为基础，反映最近5年某一地区全球最佳大学研究的整体情况。而QS声誉调查的评价范围则包括“所在国家”和“所熟悉区域”两个部分，QS学术声誉调查的受访者需要分别选出所在国家的10所研究最好的大学，以及所熟悉区域的30所研究最好的大学；QS雇主声誉调查要求雇主选出毕业生招聘中表现优秀的至多10个国内院校，以及在所熟悉区域选出至多30个国际院校，同时指出偏好招募什么专业的毕业生。

五、涵盖学科范围的均衡性

THE、QS、US News和ARWU分别于2010年、2011年、2014年和2019年开始公布世界大学学科排名，其中THE和US News学科排名的数据来源和指标构成与其世界大学综合排名基本一致，仅是根据不同学科的特征调整了指标体系的权重分配；QS和ARWU学科排名则与其综合排名有所差异。柏林原则要求，“排名应该认识到高等教育机构的多样性并考虑到它们不同的使命和目标”，虽然四大学科排名的指标体系各有侧重，但都尽可能地考虑到更多数量的学科。如表2.5所示，2019年，THE学科排名共覆盖43个学科，其中理工生医类和人文社科类的学科数量分别为18个和25个。QS学科排名共覆盖48个学科，其中人文社科类的学科数量为26个，略高于理工生医类的22个。US News学科排名仅涉及22个学科，其中只有3个人文社科类学科。ARWU虽然理工生医类（40个）与人文社科类（14个）的数量不太均衡，但其学科总量为四大排名之最，高达54个。总体上看，THE和QS学科排名涵盖的学科范围较为均衡；而US News和ARWU学科排名的均衡性相对较差，且以理工生医类的学科为主。