相关文章推荐
气势凌人的眼镜  ·  have an error on ...·  1 年前    · 
俊秀的排球  ·  std::scoped_lock ...·  1 年前    · 
首发于 生物特征识别
生物特征识别:小面积指纹识别算法终章(下)

生物特征识别:小面积指纹识别算法终章(下)

本篇主要介绍专栏小面积指纹识别算法的一个延伸性应用:全面屏趋势下的屏下指纹识别。之前犹豫了很久,是不是应该写紧随市场端的技术趋势,到今天全面屏应该差不多渗透到中端机,在售机型在算法上却没有太多创新点,那Mx就写一下近一年对于这个问题的一点解决想法和实践。

为什么要全面屏?相信大多数人都说不清楚,我也不知道,但是至少在手机同质化的今天可以产生一点点差异性。屏下指纹识别在原理设计上主要有两类:声学的(以高通为代表)和光学的(以汇顶科技等为代表)。因为高通的逼格太高,技术门槛也高,捎带着把成本和不良率也拉的很高,在全面屏趋势下的国内品牌手机普遍走亲民路线,以从人民中来,卖到人民中去的总方针,纷纷强忍着心中的万分痛苦,跟高通擦肩而过,大量采用了光学的指纹方案。鉴于超声波指纹传感器很难获取,我手中本身只有20多个手指的超声波图像样本,本篇算法还是以屏下光学传感器为基础,在相关算法处会提及超声波传感器的处理。

屏下光学传感器最早可能是由新思科技(Synopsys)研究并且推出的新一代传感器,主要利用OLED屏幕特性附加准直器达到光的反射成像,后由于种种原因,被国内厂商的CIS方案替代,屏下光学指纹方案基本实现国产化,并逐渐向屏幕上更大识别面积和LCD屏下识别的方向演进。虽然我不能回答去年屏下光学指纹识别到底更新了多少代(某家刚发布会宣传第三代光学指纹,另一家隔不久就宣传第六代光学指纹),这只能说是个永远的谜团。但屏下光学指纹传感器的设计基本就是下图所示了,至于超声波指纹传感器,看高通就是了。

图1 屏下光学指纹传感器(来源:CN107644215,CN105304656B,CN108664177A)

其实从图上可以看出一个评下指纹光学的一个好处,光学方案想增加采集面积只需要调节焦距就可以了,但是评下超声方案中想要增大采集面积需要增加传感器的面积,意味着成本的等比例上升,TFT光学方案类似的道理。

一般来说,能没有语言障碍看懂这篇文章的人,或通过狗东,贼猫,半残苏等购买到的基本上是以OnePlus,HUAWEI,OPPO,VIVO,MI等带有屏下光学指纹功能的手机为主,指纹传感器定点放置在OLED屏幕下方,通过手指反射屏幕光源的光线到达底层传感器而达到成像目的(OnePlus业界良心小广告)。记住这条路径,几乎所有的麻烦都集中在这条路上,因为这条路径所充满的不确定性,传感器的采集环境远差于电容式指纹传感器,采集条件也远复杂于电容式传感器。而在碰到特殊的使用场景,例如寒风袭击,沐浴后,开心地吃完小龙虾,啃完披萨,画完妆等,采集到的图像几乎可以说工程师已哭晕在厕所形容了。

图2 CIS方案光学指纹传感器拆机模组

目前市场上在售手机搭载的屏下指纹方案,已经经过若干次更新迭代,常温下的成像质量上已经比之前有了较大的改善。在解决传感器采集质量上,也主要在于两个方向:硬件上,传感器成像精度,面积和透镜的改良(新钜科等笑眯眯地摸了摸钱袋);软件上,增设不同的debase方式,图像处理方式。对应地,采取这种方案的产品一定程度上提高了图像辨识度,但普遍体现出一点共性:在不同屏幕,甚至不同手指下,识别率波动很大;完成一次识别所需的时间被大大延长。想起几年前有人和我说过的一个词:创新者的窘境,不知道用在这里恰不恰当。

其实无论是硬件上还是软件算法上处理这个问题,目的都是一样的:获取清晰的图像,用于后续图像识别环节。通常情况下只是研发成本出多出少的问题,这两个方向的处理方法其实都非常简单,鉴于生物特征识别专栏主要专注在算法方面,所以本篇只会说算法方向的处理。传统上的图像处理无非是平滑,锐化,腐蚀膨胀等,强不强看怎么设计滤波器组。通常图像处理有个误区,就是不管什么样的噪声,各种滤波器都试一遍,盲目扩大滤波窗口,所谓多就是好,窗口大就处理好,这样处理时间延长了,节操低了一点,在终端落地上使用体验会被强奸的一塌糊涂。其实多数的计算机视觉研究针对的都是检测,分类,追踪等高级任务,针对低级的图像处理方面的确实很少,即使偶尔有个比较符合预期的研究(BM3D等),实际操作下来并不太适用,主要是使用默认参数得到的图像细节损失严重,有效信息丢失严重,而且计算量还很感人,但不使用默认参数,那一堆的滤波器组是一个比较大的工程量了,这就形成了一个鸡肋局,所以屏下光学指纹的方案商也都不傻,采用的软件算法对图像处理基本是可有可无。

Mx在反复进行了多组对比试验后发现,其实普遍采用的处理方法,很多都是负优化。基于上文说过的那条通路以后,Mx针对基于反射光成像的屏下光学指纹方案设计了一种图像重构方法,基于卷积神经网络和结合传统图像处理思想,专业解决光通路,这在目前看来是最稳妥方案。其实单纯使用传统图像处理也能做出来,但是雪叔年纪大了,什么都亲力亲为的调参怕是要过劳死(再年轻五岁雪叔可能会把传统算法的处理方式也一并给搞了)。关于指纹图像训练,难度有,但是不是不能稳定复现的(暂时不便透露更多具体细节),但可以把屏下光学指纹图像增强到电容式传感器图像的相似的图像质量上,拉平图像基准线。

经过处理后,在普通场景下可以支持最低3张录入解锁识别,在使用体验和目前市场上屏下指纹解锁区别不大,不过建议注册6-8张 。同时在处理过程中剥离的噪声可以很轻易地解决屏幕贴膜问题,使用简单的分类算法就可以分辨出防偷窥膜,普通钢化膜,水凝膜,是否覆盖较厚的透明介质等,且即使屏幕存在贴膜,指纹图像也可以拥有95%的恢复度(结合SSIM/PSNR等计算)。该方案同样适用于屏下超声图像的分析,不过理论上讲,超声难度低一些。

图一 指纹综述与MxID特性

依赖于这个所谓的AI算法(并不能完全算),设计的测试方案包含:

1.手指差异。正常人手指,干手指,湿手指,褶皱手指(浅指纹),以及蜕皮手指。
2.环境差异。沐浴后(较长时间高温潮湿环境),冷库(人体体感低于0摄氏度低湿度环境),
           酒精手指(模拟部分手指状态),护肤品及食用油炸食品(油脂类指纹残留重影),
           环境光干扰(高亮环境下使用)。
3.贴膜。钢化膜(防蓝光膜,高清膜,防偷窥膜等),水凝膜,部分其他透光介质。

以上1理论上对超声波方案影响有限;2,3我没机器测试,无法给出评价。(对图像的识别率测试同样基于类似的场景)一般来说,清晰的细节能提高人眼感受,但是会得到一个差的PSNR,比较模糊朦胧的图像能得到一个好的PSNR,但是会得到一个差的识别率,因此我们不以PSNR来评价图像质量,而以最终的识别率来评价图像处理的好坏。

有赖于图像处理技术的提升,在多种性能下的压力测试都达到了极大的提升,在多个数据集上,FAR降低了一个数量级的同时,准确率数值上提升了14%,但总时间并没有增长太多(详情可见文末附录)。这确实是一个很令人愉快的事。

同时我发现在同一个数据集上,算法一和算法二的准确率相差不是特别大,92.8%/98.1%。这里会发现又有一个让人很好奇的事情。之所以提及算法一与屏下指纹传感器的关系,是在探讨另一种实现的可能性,如智能手表等,各种watch,彻底告别繁琐的密码解锁,只需轻轻一按。不同于儿童锁的儿童智能手表,成人智能手表市场巨大,可以集成心率,血氧等健康功能,Mx预计是后手机时代的下一个比较好的方向。这起因于常低温图像差异和人讨论时一个想法,后来发现算法一真的可以试试,只是从一个算法研究者的角度来思考,有些算法终回回归。

其实在我看来,现在的屏下指纹方案,手机终端商在算法方面比供应商有更强的研发实力,手机终端商在完成了各种AI算法后,如AI美颜,AI 相机,3D识别等,积累了大量的研发经验,应该是可以很容易的实现这个算法,屏下指纹方案的价格在逐步下降,但如果手机终端商拥有了自己的算法,不再需要整套的方案,毕竟不止大陆,湾湾还有神盾等好多有能力可以做传感器的厂商,可以对供应商拥有更多的选择性,甚至在产业链上实现工艺技术归一化,降低成本和供应链风险。Mx瞎想的。。。

简单来说,屏下指纹方案的核心是不论光还是声波穿过一层介质后(光学其实是收到了两次),采集到的图像信号极弱,难以有效分离(无论柔性OLED还是刚性OLED都是如此,只是程度上的差异)。甚至很多有纹理的图像,例如果皮树叶,衣物布料,皮肤毛发等,在背景干扰下,都会产生一定概率性破解。多数供应商为了避免这种概率性解锁,大多增加了很多复杂的逻辑,但这却带来了很差的使用体验,不过后来好像改变了一点策略,值得鼓励。道路千万条,落地第一条。

下篇的方案其实是受资源约束和条件限制最多的。虽然研究这段的时间非常短(2018Q3-2019Q1)在有限的条件下Mx寻到一些小朋友且合作的很愉快。特别感谢赞助数据和算力的大佬,还有android端开发的大佬(不过我又被人吐槽不懂android调试)。

小面积指纹识别方案,在这篇后其实在这个方向实质性的就结束了,不过在做这个期间,发现了指纹可以有更多优化的,所以零散地耗费了很多心思,也因此耽误了很多原本做好的规划,这个方向其实不是什么值得研究的热门方向,所以几乎没有关注度,只是我从一开始就低估了这个方向的复杂度,导致持续了很长时间。暂时是没有开源计划了,但如果实践中遇到什么具体的问题可以私信我。

哦,还有人私信问我LCD屏下指纹识别怎么看,那个其实就是CDD,拼音首字母。还有人问TFT,其实针对这个我就怕还没做成熟,指纹就被淘汰了...

附录:

附图一 MxID在屏下指纹传感器上性能(数据截止2019年10月19号)

目前来看,这可能是这个专栏最良心的一篇了。

编辑于 2020-04-25

文章被以下专栏收录