豆瓣高分美剧《了不起的麦瑟尔夫人》故事背景为 20 世纪 50、60 年代,女主爸爸是在哥伦比亚大学担任终身教授的数学家,当他得知女儿兼职脱口秀演员时,十分震惊和不解。
几十年后的今天,在中国香港“却有”一位科学家在兼职脱口秀,他就是即将加入华为公司的香港理工大学博士后廖付友。
图 | 论文第一作者廖付友博士表演脱口秀(来源:廖付友)
其研究方向是半导体器件与工艺,2022 年大年初三,廖付友和导师港理工应用物理系教授柴扬,在 Nature Electronics 发了一篇论文。
图 | 相关论文(来源:Nature Electronics)
农历大年初八,Nature 官网以研究亮点(RESEARCH HIGHLIGHT)形式报道了这一工作,其上写道:“适应各种光强度半导体的器件,或可用于自动驾驶汽车和工业生产线。”
图 | Nature 官网研究亮点报道(来源:Nature 官网)
模拟人眼视网膜,研发仿生视觉适应传感器
该工作的背景在于,在人类生活环境中,从烈日当空的正午、到伸手不见五指的漆黑夜晚,自然光的强度分布非常广。如何在不同光照条件下准确提取外部环境的信息,是一个基础科学问题,具有非常实际应用的意义。
随着机器视觉的发展、及其在自动驾驶和实时视频分析等领域的应用,高分辨率、高图像捕获速度成为视觉传感器的必备能力,具体体现为良好的稳定性、以及宽感知范围,即在不同光照强度下感知目标的能力。
据悉,地球上自然光强度的分布超过 280dB,因此对于正确感知环境来说,在不同光照下准确捕获图像尤为重要。这就要求光电器件在弱光、以及亮光照明下,必须准确捕捉和感知细节。
目前,市场上主流的硅基 CMOS(互补金属氧化物半导体,Complementary metal Oxide Semiconductor)图像传感器通常只有 70dB 的感知范围,远低于自然场景的光强变化范围。
为实现较宽的感知范围,此前有学者探索过控制光学孔径、使用液态透镜、调节曝光时间、以及后端去噪算法等方法,但这些方法通常需要复杂的硬件和软件资源。
因此非常有必要在传感器终端发展出一种具有视觉适应功能和宽感知范围的光电器件,从而改善机器视觉的功能、降低硬件复杂性、并提升高图像识别效率。
相比硅基光电探测器,人眼的光接收细胞感知范围比较有限只有 40dB,但是人眼的视觉适应功能让我们可以感知和识别不同光照条件下的各种物体,哪怕是从较暗环境、转换到较亮环境中。
(来源:Nature Electronics)
人眼的视觉适应机制,依赖于每个光接收细胞在不同光照条件下光灵敏度的动态调节,其调节原理是在不同光照条件下,水平细胞控制视锥和视杆细胞之间的转换、以及光色素的产生和消失。
在该工作中,柴扬和团队研发出一种基于底栅光电晶体管阵列的仿生视觉适应传感器。该器件模拟了水平细胞和光接收细胞的结构,具有视觉亮适应和暗适应的功能,有效感知范围达到 199dB。
利用这款传感器,可在不借助大体积光学组件、以及复杂外围电路和后端信号处理的条件下,实现视觉适应功能和宽感知范围。
(来源:Nature Electronics)
柴扬表示,其团队在 5 年前就已开展光电存储器的研究,这种新型器件能将光传感与光信息处理的功能在单一器件中完成。
2018 年,该团队发表了第一篇关于将光传感器与逻辑信息处理集成的论文[2]。随后,在此研究基础上进一步开展,2019 年柴扬等人设计并利用光控阻变随机存储器实现了图像感知和图像预处理的功能[3]。
在 2020 年,他们又率先提出近传感器和传感器内计算的方法[4,5]。人眼视网膜可以感知外界光信号,并根据光照强度自动调节光接收细胞的灵敏度,从而适应不同的背景光强度,这便是视网膜的视觉适应功能。
(来源:Nature Electronics)
例如,去电影院的时候,从明亮大厅走进黑暗电影厅时,刚开始眼前一片漆黑,过段时间后才能看清周围环境,这便是视觉暗适应过程。
而在刚看完电影从电影院走出来后,假如走在阳光下会觉得很刺眼,要等一会才能看清周围的景物,这一过程叫视觉亮适应,这和视觉暗适应过程正好相反。
受到视网膜结构和功能的启发,柴扬开始研究具备视觉适应功能的仿生视觉传感器。
他说,虽然此前也有类似工作的少量报道,但往往只能实现视觉亮适应功能,并不能模拟视网膜的暗适应过程,距离完整的视觉适应功能还有较大距离,最主要原因在于很难让同一个光电器件同时拥有光电增强和光电抑制这两种相反的特性。
为解决这一难题,该团队设计了光电晶体管型的视觉传感器,通过施加不同的栅极电压的来控制器件视觉亮适应和暗适应程度,从而模拟视网膜中光接收细胞和水平细胞的结构和功能,最终制备出仿生视觉适应传感器。
有潜力用于自动驾驶、人脸识别和太空探测
柴扬介绍称,该成果有潜力应用于自动驾驶、人脸识别和太空探测。在自动驾驶领域当汽车突然进入非常暗或非常亮的环境中时,视觉传感器可根据光照条件在传感端,实现光灵敏度的调节,进而准确感知图像。这样的好处在于,无需经过后端图像处理器或云端信息处理,大大提升了系统的信息处理效率。
人脸识别也是一个重要应用场景,当室外摄像头工作时,昼夜光强变化范围大,无论是白天的强光还是夜间的黑暗,视觉传感器能根据背景光强度,去调节光灵敏度从而准确识别人脸。
在太空探测领域,太空中或一些星球上的光强分布范围很广,把具有视觉适应功能的宽感知范围视觉传感器应用在探测设备上,除了正常光照条件下的感知外,还可以在极端光照条件下(极弱或者极强光)探测外界环境和识别目标。
这时,假如在机器人中使用具有视觉适应功能的仿生视觉传感器,将进一步提升机器人视觉系统的智能程度。
(来源:Nature Electronics)
对于后续计划,柴扬表示尽管此次展示了仿生视觉适应传感器的概念,并且具有较大的感知范围,但是视觉适应速度也和人眼的适应速度相当,因此要想应用在实际产品中,还有一系列问题需要解决。
柴扬曾表示其目标是“开发未来可广泛应用于半导体行业的器件结构”。该团队的后续计划主要有四方面:其一,进一步提升器件的视觉适应速度,以实现微妙到几十微秒量级;其二,进一步降低器件功耗,把器件现有功耗再降低 10 倍以上;其三,实现更大规模的器件阵列制备,近期目标是 100×100;其四,实现异质集成,将仿生视觉适应传感器和硅基控制电路集成在一起。
(来源:Nature Electronics)
另据悉,该团队的科研成果还曾受到香港特区行政长官林郑月娥的关注。2021 年 7 月,香港特区行政长官林郑月娥前来香港理工大学参观访问,柴扬科研团队通过实物演示和讲解的方式,向特首介绍了仿生视觉适应传感器。听完介绍后,林郑月娥非常感兴趣,并询问了该成果的应用前景和产业化问题,最后鼓励他们做出更多的成果。
放弃春节休息,大年初一坚持科研
据悉,此次发表发论文项目始于 2020 年,当时香港的新冠疫情非常严重,论文第一作者廖付友冒着疫情逆向而行来到香港加入柴扬团队。
图 | 柴扬团队于 2021 年 4 月在香港太平山顶合影
(左一为论文第一作者廖付友博士,左四为论文通讯作者柴扬老师)
在香港隔离结束后,廖付友立马全身心投入研究,在最初几个月,实验进展并不顺利,早期实验方案均以失败告终。团队成员一起反复讨论找出问题所在,重新设计方案之后,一步一步取得新进展。
2021 年农历大年三十,该团队收到了韩国合作方安炯炫(Jong Hyun Ahn)邮寄的最新样品。2021 年农历正月初一到初四春节假期时间,廖付友放弃休假,每天从早上 8 点到晚上 10 点连续测试四天,取得了更多的进展。
柴扬表示,廖付友生性乐观,善于把团队成员揉合在一起,并能与外部合作者有效沟通,为团队起到了不可替代的传帮带的作用。
在科研以外,廖付友兴趣爱好广泛,曾考取 IFBB(International Federation of Bodybuilding and Fitness,国际健美联合会)健身教练证书和IBFA(International Body Resistance And Fitness Training Association,国际身体阻力与体适能训练协会)营养师证书,经常给课题组成员科普健身知识,给团队塑造出强身健体的氛围。
此外如前文所述,廖付友还是深圳某脱口秀俱乐部的兼职演员,擅长将科研生活改编成段子。平日里,他风趣幽默的说话方式给课题组的日常生活带了一些乐趣。
对于未来的职业发展,廖付友表示,博后结束后将会加入上海华为技术有限公司,继续从事半导体器件与工艺方面的研发工作,希望自己这些年的研究经验可以继续在工业界发光发热。
- 关键词:廖付友 仿生视觉传感器
- 浏览量:17561
- 来 源:DeepTech深科技
- 编辑:仪器仪表WXF
- 声明:凡本网注明" 来源:仪商网"的所有作品,版权均属于仪商网,未经本网授权不得转载、摘编使用。
经本网授权使用,并注明"来源:仪商网"。违反上述声明者,本网将追究其相关法律责任。
本网转载并注明自其它来源的作品,归原版权所有人所有。目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。如有作品的内容、版权以及其它问题的,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。
本网转载自其它媒体或授权刊载,如有作品内容、版权以及其它问题的,请联系我们。相关合作、投稿、转载授权等事宜,请联系本网。
QQ:2268148259、3050252122。
-
港理工团队研发仿生视觉传感器,可达199bB有效感知范围精英人物|2022-02-17
-
创新驱动仪器仪表行业发展的领军人物精英人物|2024-10-24
-
访谈清华大学高滨教授:大模型时代的存算一体芯片精英人物|2024-08-07
-
求是缘访谈录|常州同惠电子股份有限公司董事长赵浩华精英人物|2024-05-16
-
四联测控技能大师青增泰:匠心打通生产“堵点” 为自动化仪表制造插上“金翅膀”精英人物|2024-04-17
-
烨映微电子创始人徐德辉:专注“小而美”,实现国产芯片“英雄突围”精英人物|2024-04-08
-
东方中科董事长王戈:科技引领、战略赋能 打造科技成果转化平台精英人物|2024-03-21
-
“仪”路追光凌云志,科研逐梦正当时精英人物|2024-03-17
-
全国人大代表、高德红外董事长黄立:加快抢占未来产业新赛道精英人物|2024-02-27
-
麦乐克董事长吕晶:国产传感器如何走出高端之路?精英人物|2024-02-24
-
欧阳劲松:加快发展智能检测装备产业是推进新型工业化、促进制造业高质量发展的必然要求精英人物|2024-01-22