晟辉智能制造

CMOS噪点技术突破,如何实现更纯净成像?

CMOS噪点问题一直是制约图像质量,尤其是在低光环境下表现的关键瓶颈,噪点主要来源于两个方面:

CMOS噪点技术突破,如何实现更纯净成像?-图1
(图片来源网络,侵删)
  1. 随机噪点:如光子散粒噪,这是光的粒子性本质决定的,无法根除,只能通过增加曝光来减弱;以及读出噪,由传感器像素电路在读取信号时产生。
  2. 固定模式噪点:如暗电流噪点像素响应不均匀性,由传感器本身的物理特性决定。

近年来,CMOS噪点技术的突破可以从以下几个维度来理解,它们相互关联,共同推动了成像质量的飞跃。


传感器硬件层面的突破

这是最根本的突破,直接从源头减少噪点的产生。

像素尺寸与堆栈式结构的革新

  • 更大像素尺寸:这是最直接、最有效的物理方法,更大的像素(如1英寸、4/3英寸甚至全画幅手机传感器)能接收更多的光子,从根源上提升了信噪比,从而大幅降低了噪点,华为和小米在手机上采用的一英寸大底传感器,夜景表现远超传统手机。
  • 堆栈式传感器:这是手机传感器领域里程碑式的技术。
    • 原理:将传统传感器的“像素层”(光电二极管)和“电路层”(处理电路)分开,像“三明治”一样堆叠起来。
    • 优势
      • 缩短电路走线:像素到电路的距离大大缩短,减少了信号在传输过程中的衰减和干扰,从而显著降低读出噪点
      • 背照式:堆栈式结构天然地支持BSI技术,光线无需穿透复杂的电路层,直接照射到光电二极管,提高了光线利用率,进一步提升了信噪比。
    • 代表:索尼的IMX系列传感器(如IMX989)是堆栈式和BSI技术的集大成者。

先进制程与像素隔离技术

  • 更小的制程:传感器制造工艺从65nm、40nm发展到28nm甚至更小,更先进的制程意味着在同样大小的芯片上可以集成更复杂、更高效的电路,同时还能减少电路本身产生的热噪和干扰。
  • 像素隔离技术:像素之间的距离越来越近,容易产生“串扰”,即一个像素的光信号影响到邻近像素,导致噪点和伪色。
    • 突破:通过改进微透镜设计和像素内部的隔离结构(如更深的沟槽),可以有效减少像素间的串扰,提升纯净度,索尼的“像素隔离层”技术。

多帧合成与硬件级支持

  • 硬件级多帧合成:传统的多帧合成是通过ISP(图像信号处理器)在软件层面实现的,会消耗大量算力,且处理时间长。
  • 突破:新一代传感器在硬件层面就支持快速、低延迟的连续拍摄,索尼的“像素合并”技术,可以在传感器层面将相邻的四个像素信号合并成一个“超级像素”,瞬间感光面积增大4倍,极大地提升了低光亮度,同时因为单次曝光时间可以更长,也减少了因手抖导致的模糊,这种技术被称为“非拜耳阵列”或“四合一像素”(Quad-Bayer)。

图像信号处理与算法层面的突破

当硬件捕捉到信号后,ISP和算法的“魔法”就登场了,它们是“降噪”的核心大脑。

计算摄影的兴起

这是近年来最核心的突破,彻底改变了手机摄影的范式。

CMOS噪点技术突破,如何实现更纯净成像?-图2
(图片来源网络,侵删)
  • 原理:利用手机的强大算力,通过算法对多张不同曝光、不同角度的照片进行智能分析、融合和重建,最终生成一张远超单张照片质量的图像。
  • 代表技术
    • 夜景模式:通过连续拍摄多张长曝光和短曝光照片,算法识别并对齐画面,然后进行降噪、锐化和细节增强,长曝光捕捉亮部和色彩,短曝光捕捉动态细节,算法最终融合,既纯净又清晰。
    • HDR(高动态范围):与夜景模式原理类似,拍摄多张不同曝光的照片,合成一张亮部不过曝、暗部有细节的照片,这本身就包含了降噪的过程,因为多张图片可以互相填补噪点区域。

AI驱动的降噪与重建

  • 从“降噪”到“重建”:传统降噪算法是“模糊”掉噪点,但容易损失细节,AI算法则不同,它通过学习海量“纯净图像”和“噪点图像”的对应关系,学会了“理解”什么是噪点,什么是图像的真实纹理。
  • 工作流程
    1. 噪点模式学习:AI可以识别传感器特有的噪点模式(如固定模式噪点)。
    2. 语义分割降噪:AI能识别画面中的不同物体(如天空、人脸、建筑),并对不同区域采用不同的降噪策略,对天空进行强力降噪,而对人脸则保留更多皮肤纹理细节。
    3. 生成式AI/超分辨率:利用生成对抗网络或扩散模型等前沿AI技术,不仅能够去除噪点,甚至可以根据学习到的图像知识,“脑补”和重建出丢失的细节,让画面在低光下依然清晰锐利。

降噪算法的精细化

  • 空间域降噪:利用像素邻域的信息进行降噪,如非局部均值、块匹配滤波等。
  • 频域降噪:将图像转换到频域(如小波变换),在频域上区分信号和噪点(通常噪点集中在高频),然后进行选择性滤除。
  • 时域降噪:利用连续帧之间的相关性进行降噪,这是视频降噪和夜景模式的基础,算法通过光流法对齐连续帧,然后进行帧平均,可以有效随机噪点。

软件与系统层面的突破

智能场景识别与参数优化

现代手机在按下快门前,AI就能识别当前场景(如夜景、人像、美食),并自动调整ISO、快门、白平衡等参数,从源头上避免产生过多的噪点。

实时预览降噪

在拍照的取景预览阶段,系统就在进行实时的降噪处理,让用户看到的画面更接近最终成片效果,提升拍摄体验。


总结与未来展望

CMOS噪点技术的突破是一个系统工程,是“硬件革新 + 算法革命 + 系统协同”共同作用的结果。

  • 过去:主要依赖传感器硬件的物理尺寸和制程提升。
  • 现在计算摄影和AI算法成为主导,软件定义了硬件的上限,硬件提供高质量的“原料”,算法进行精妙的“烹饪”。
  • 未来趋势
    1. 更强大的AI:生成式AI将更深度地参与图像重建,实现“无中生有”的细节增强。
    2. 全局快门:解决果冻效应问题,为视频和高速摄影带来更纯净的画面。
    3. 事件相机:一种全新的传感器技术,它不输出连续的图像帧,而是只在像素亮度发生变化时才输出信号,这种天生就极低功耗、高动态范围、几乎没有运动模糊的传感器,有望从根本上颠覆现有的成像范式,噪点问题也会以全新的方式被解决。
    4. 更智能的降噪:降噪将不再是“一刀切”,而是基于用户意图的“个性化降噪”,例如提供“纯净模式”、“保留质感模式”等多种选择。

我们正处在一个CMOS成像技术飞速发展的时代,噪点这个曾经的“顽疾”,正在通过多维度、跨学科的协同突破,被一步步驯服,最终让我们能在任何光线下都能捕捉到清晰、纯净、富有细节的美好瞬间。

CMOS噪点技术突破,如何实现更纯净成像?-图3
(图片来源网络,侵删)
分享:
扫描分享到社交APP
上一篇
下一篇