原标题:从此能力测验多了一个选择:北森的CATA

齐鲁晚报03月01日讯:认知能力测验大概是中国企业接受度最高的测评了,在校园招聘中使用的尤其广泛。用的多了问题自然也就来了。

首先是能力测验的题目在网上被曝光甚至恶意泄露,选拔的准确性和公平性受到影响。尽管北森已采用监控和水印等方式尽力去降低题目的泄露和扩散,仍很难降低其带来的影响。其次,应聘者体验越来越被看重,受测者做测评的时间“越短越好”也成了未来雇主的诉求。还有还有,测评对受测者能力的估计也会受到练习效应、组卷合理性、计分方式等因素的影响,如何能更准确估计能力水平呢?

于是,抱着改善这些问题的决心,北森产品和技术小组,用一年半的时间做了一个新的认知能力测验,CATA,Computerised Adaptive Test for Ability。

CATA采用了计算机自适应测验技术(Computerised Adaptive Testing)。它融合了计算机技术和项目反应理论,采用了自适应抽题和题目参数估计受测者的能力水平。它首先为受测者随机提供一个中等难度的题目。受测者每做对一题,会获得一道更难的题,反之下一题会更简单。当受测者回答完一定数量的题目,测验获得了足够的关于其能力水平的信息,程序会自动停止。美国考试服务中心(ETS)在TOEFL、GRE、GMAT等考试中均采用了自适应测验。

CATA与一般的能力测验相比,解决了哪些问题?

1. 降低了题目曝光的影响

自适应抽题的方式让受测者的作答题目全程处于动态调整中,下一题是什么取决于上一题的作答结果,不同的受测者会遇到不同的题目。由于采用参数估计的方式,受测者即使遇到了见过的题,单次作答正确,也不会对整体能力估计产生太大的影响。

2. 作答体验更好

CATA在测评过程中为受测者提供的题目非常接近她/他的真实能力水平,题目不会过难或过容易。受测者表现的能力水平稳定时,作答时间会缩短,与传统测验相比自适应测验可以减少1/3的作答量。

3. 测评更准

CATA的计分,不是采用卷面分,而是基于题目参数和受测者的作答模式去估计其能力水平。这种估计方式受题目难度的影响,结果更接近受测者的潜质水平。如下图中的两个受测者,按照传统计分(正确计1分,错误计0分),A和B分差为9分(100*8/12-100*7/12),而用新的方式去评估时,我们发现A和B的能力水平相差非常大,差距接近1.7个标准差(如果把标准差设定为15,差距接近26分)。

计算机自适应测验虽然有诸多优点,但开发起来却是高难度的系统工程。任何一个优秀的计算机自适应测验都需要解决好题库建设、初始题选择、能力值估计、抽题策略、测验终止策略、曝光率控制六大问题,而每一部分的构建都涉及到复杂的算法和精妙的设计。开发一个在线的自适应测验就更加不容易,举例来讲,大量受测者同时作答,每个人作答完一题就需要重新做出能力值估计和抽取下一题,这对计算机的运算能力和服务器性能都是非常高的要求。