人选的创新综合评价指标的空间覆盖面从只包含5个被评价对象的GIST指标到包含72个指标的TAI指标,时间覆盖面也从也发行18版的IMD指标到仅有1版问世的中国人民大学创新能力评价指标。
人选的创新综合评价指标对基础指标的确定大部分是依据各自对创新能力的理论界定,SII是在理论界定的基础上又利用相关分析等统计分析方法对基础指标进行了筛选,TAI对基础指标的选择主要是满足尽可能多地覆盖评价对象的要求。
基础指标的技术处理也存在比较大的差异,其中包括对缺失值的处理,指标的正规化以及指标的赋权方法。但人选的综合评价指标基本上都利用线性模型进行指标合并。
二、创新综合评价指标的内部稳定性
相关分析和敏感性分析对人选创新综合评价指标稳健性(指标结构)的评估结果显示,这些综合评价指标均存在或大或小的技术缺陷。一般而言,运用尽可能少的基础指标、尽可能简单的合并模型和赋权方案往往会得到更稳定的综合评价结果。正如TAI指标,重构时敏感性分析筛选出的指标与初始基础指标变动不大。
基础指标个数的增加必然会加剧综合评价结果不稳定性,而且也会增加合并模型结构的复杂性,而复杂的合并模型往往会影响指标代表性的均衡程度。在基础指标个数较多的情况下,如果在指标设计时不采用特殊技术(正规化、赋权、合并)的话,往往会产生少数几个指标控制评价结果的现象(除了TAI之外,其他创新综合评价指标均存在这种情况)。
人选创新综合评价指标的谱系矩阵显示六个指标都得到的是中等到中等偏下的分数。IMD和SII指标的得分最高,IMD指标主要得益于他的数据质量、评价的连续性和指标相对容易重构等优点。SII指标主要得益于其数据的稳定性,此外他的理论框架、构建技术还有易于重构也是它的优点,其后是TAI指标,这个指标主要得益于其指标覆盖面大以及易于重构的特点。总之,入选的六个创新综合评价指标均有各自的优势和劣势。
三、创新综合评价指标的外部有效性
本书利用校标指标对人选的创新综合评价指标的有效性进行的外部验证,就本书选择的校标指标而言,人均GDP指标、劳动生产率指标和竞争力指标均不能有效地区分两个国内的区域创新能力评价指标,中国区域创新能力指标和中国人民大学创新能力指标均与它们保持了详尽的相关水平,只与劳动生产率指标的相关系数较弱(r<0.7),与人均GDP和竞争力指标的相关系数均大于0.7。换言之,中国区域创新能力指标和中国人民大学创新能力指标均表现出对校标指标的不错的解释能力,即对创新能力具有足够有效的测度水平。这一结论与两个指标的交叉验证结论基本一致。四个国际创新能力评价指标与校标指标的相关分析结果存在比较大的差异,IMD创新指标和SII创新指标均与校标指标存在显著的相关关系,而TAI创新指标与三个校标指标均不存在相关关系,GIST创新指标仅与竞争力指标存在相关关系,在四个国际指标的交叉检验中,IMD指标也显示于其他指标之间的差异,假定本书选择的校标指标与创新能力之问的关系是真实、稳定的,则我们很难不对TAI创新指标与GIST创新指标的创新测度能力产生质疑。
……
展开