拜尔滤色镜
拜尔滤色镜(英语:Bayer filter)[注 1]是一种将RGB滤色器排列在光传感组件方格之上所形成的马赛克彩色滤色阵列。数字相机、录影器、扫描仪等使用的单片机数字图像传感器大多数用这种特定排列的滤色阵列来制作彩色影像。这种滤色器的排列[注 2]有50%是绿色,25%是红色,另外25%是蓝色,因此也称做RGBG[1][2] ,GRGB[3] ,或者RGGB[4]。
拜尔滤色镜以发明者伊士曼柯达公司的布莱斯·拜尔命名。拜尔也以有序抖动法[注 3]中使用的递归定义矩阵[注 4]而闻名于世。
可以替代拜尔滤色镜图像传感器的方案包括对其颜色和排列的改良,还有其他完全不同的技术,如色彩共位取样[注 5]、Foveon X3图像传感器、分色镜[注 6]、透明衍射式滤波矩阵[注 7][5]等。
解释
布莱斯·拜尔在1976年的专利(美国专利编号3,971,065[6])中将绿色光传感器称作光敏侦测组件,而红、蓝色则称为色敏侦测组件。他使用两倍于红色或蓝色的绿色组件来模仿人眼的生理性质。人类视网膜白天同时使用了M与L视锥细胞来感光,对绿光最敏感。这些组件称作感应组件、像素感应器、感应单元格(sensel)或简单像素等。被它们感应侦测到取样数值后,使用插值(Interpolation)形成影像像素。拜尔申请专利时也提议使用另一种相对颜色的集合,即印刷四分色模式(CMY)组合。后者在当时并不实用,因为缺少所需的染色,不过一些新款的数字相机已有使用。CMY染色最大的好处是有更佳的光线吸收特性,也就是说,量子效率较高。
拜尔滤色镜相机的原始图像文件称作拜尔图像影像。因为每个像素只过滤并记录RGB三种颜色的一种,这些从单个像素获取的信息并不能完整表现红、绿、蓝各色的组成数值。为了得到全色彩影像,可用不同的去马赛克算法来插值得到每个像素的红、绿、蓝色的组成数值。这些算法利用周围相同颜色的像素去估计一个特定像素的组成数值。
算法运算量需求不同,最后成像的质量也有差异。数字相机自身能产生JPEG或是TIFF影像,不用数字相机而直接使用感应组件也能进行此操作。
去马赛克
去马赛克有不同的实现方法。一些简单的方式是对相邻同色的像素数值进内联插。举例来说,当芯片曝光得到一张影像后,每个像素就可以读取出来。绿色过滤器的像素精确测量了绿色成分,而该像素红色和蓝色的成分则是从邻区获取。一个绿色像素的红色数值可由相邻两个红色像素内插计算出来;同样的,内插相邻两个蓝色像素也能计算出蓝色数值。
这种简单的方法在颜色恒定或均匀变化时表现良好,但在颜色和亮度突变处却会产生噪声,比如渗色(Color bleeding),在锐利的边角处特别明显。因此,其它去马赛克的方法尝试辨认高对比的边缘,然后仅仅顺着这些边缘做内插,而不越过边缘。
别的算法则假设影像里的一块区域颜色是相对恒常的,即使光照不同也是如此,那么色彩通道就高度相关。因此,首先内插绿色通道,然后是红色,再接着是蓝色,所以红绿与蓝绿的色彩比是恒定的。还有其它方法对影像内容有不同设定,并以此尝试计算丢失颜色的数值。
噪声
影像中接近数字感应器分辨率的微小细节会给去马赛克算法造成问题,容易产生不像原始图像的结果。最常出现的噪声是莫列波纹(Moiré pattern),指的是可能出现重复的图案,色彩噪声(Color artifacts), 或者像素排列成类似迷宫般不真实的图案。
错误色彩噪声
滤色矩阵去马赛克后普遍且不适宜的噪声叫做错误颜色。一般而言,这种噪声是指沿着边缘显现出不连贯、不自然的色彩偏移,这是由穿越边缘而不是顺沿边缘的错误内插导致的。有各种方法来防止以及移除这种错误颜色。均匀色调转变内插法(Smooth hue transition interpolation)在去马赛克过程中可防止错误色彩显露在最终成像上。也有可以在去马赛克后移调试误色彩的算法。后者的益处在于从影像移调试误色彩噪声的同时可以使用更强大的去马赛克算法对红色跟蓝色平面做内插。
拉链状噪声
拉链状噪声是另外一种CFA去马赛克的副作用,同样主要出现在沿着边缘的地方。它也称做拉链效应(Zipper effect)。简而言之,拉链状是边缘模糊的另外一种说法,沿着边缘出现开/闭的图案时会有模糊。这种效应是由于去马赛克算法计算边缘上的像素值平均时,特别是在红色与蓝色平面上,会形成特有的模糊感。正如上文所述,防止这种效应最好的方法是用各种沿着边缘,而不是穿越边缘的算法做内插。图案识别内插法(Pattern recognition interpolation)、自我调整彩色平面内插法(Adaptive color plane interpolation)和方向权重内插法(Directionally weighted interpolation)都试图防止在影像里沿着侦测到的边缘做内插时出现拉链状的噪声。
不过,即使使用理论上能够各个感光单元上拍摄识别所有颜色的完美无暇的感应器,莫列波纹与其它种类的噪声仍有机会出现。这是任何以离散间隔或位置对连续信号取样的系统都无法避免的结果。有鉴于此,几乎所有图相数字感应器都带有诸如光学低通滤波器(Optical low-pass filter,OLPF)或者抗混叠滤波器(Anti-aliasing filter)的东西。这东西通常是一个放置在感应器之前的薄层,作用是模糊掉比感应器的分辨率更细致的细节,以免出现潜在问题。
改良型
拜尔滤色镜几乎用于全世界的消费性数字相机。其他滤色镜有CYGM滤色器(青绿色(Cyan)、黄色(Yellow)、绿色(Green)、洋红色(Magenta))和RGBE滤色器 (红色,绿色,蓝色,翠绿色(Emerald)),同样需要类似的去马赛克处理。而Foveon X3图像传感器(将红色、绿色、蓝色图像传感器垂直叠起,而不是使用一般的马赛克图像)和三分离CCDs(一个CCD对应一种颜色)的排列则不需要去马赛克。
全色单元(Panchromatic cells)
2007年6月14日,伊士曼柯达公司发布一种拜尔滤色镜的替代品,这种滤色器凭借能侦察所有可见光波长并搜集大量照进图像传感器的光线的全色单元,增强数字相机图像传感器对光感测力。[7]他们展示了数种图案,但没有一种是跟拜尔图像2x2一样小的重复组合。
另外一种Edward T. Chang 2007年申请的美国专利是一种由2x2区块像素图像传感器构成的滤色器,每个区块由一个红色,一个蓝色,一个绿色,以及一个透明像素建构而成。这种设置意图增强对红外线的感应,进而提高整体感测力。[8]柯达公司的专利申请时间较早。[9]
这样的单元已在“CMYW”(青绿(Cyan)、洋红(Magenta)、黄色(Yellow)、白色(White))[10]以及“RGBW”(红色、绿色、蓝色、白色)[11]的图像传感器中使用,但是柯达公司尚未将新设计的滤色图像与之比较。
富士相机“EXR”滤色阵列
富士相机(Fujifilm)的EXR滤色阵列可用于CCD制造(SuperCCD)和CMOS(BSI CMOS)。像SuperCCD一样,滤色器本身旋转45度。与常见的拜尔滤色镜设计不同的是,总是有两个邻接的感光单元侦测相同的颜色。如此设计是为了促进像素合并(Pixel binning),即合并两个邻接的感光单元,以使图像传感器本身对光线更敏感。另外一个原因是图像传感器可记录两个不同的曝光值,然后合并产生具有较大动态范围(Dynamic range)的影像。底层线路有两条读出(read-out)通道,可以每隔一列携带图像传感器的信息。这样“EXR”滤色阵列可以当做两个交错的图像传感器,曝光时间可以彼此不同。可以故意让一半感光单元曝光不足,以完整拍摄景像较光亮的区域。得到的强光信息可以与图像传感器另外一半记录着完全曝光的输出混合,且可再次利用相似色彩感光单元的空间邻近。
富士相机"X-Trans"滤色器
富士相机X-Trans CMOS图像传感器用在许多Fujifilm X-series的相机里,据称[12]比拜尔滤色镜针对色彩莫列波纹拥有更好的抵抗性,所以制作相机时能够不需要抗混叠滤波器(Anti-aliasing filter)。这让使用这个图像传感器的相机在像素数量相同时分辨率更高。这种新的设计还宣称,由于各条线里都有红、蓝、绿色像素,伪色(False colors)现象可以减少,像素的半随机排列据称可以产生更像胶卷的纹理。
相关条目
参考资料
- 美国专利3971065 (于1976年07月20日注册)Bryce E. Bayer——彩色影像阵列。 on web
附注
- ^ Jeff Mather. Adding L* to RGBG. 2008 [2016-04-24]. (原始内容存档于2011-07-13).
- ^ dpreview.com. Sony announce 3 new digital cameras. 2000 [2016-04-24]. (原始内容存档于2011-07-21).
- ^ Margaret Brown. 進階數位圖學. Media Publishing. 2004. ISBN 0-9581888-5-8.
- ^ Thomas Maschke. 數位相機技術:數位相機的理論與實踐. Springer. 2004. ISBN 3-540-40243-8.
- ^ Wang, Peng; Menon, Rajesh. 透過透明繞射式濾波陣列以及計算式光學的超高感測色彩成像. Optica. 29 October 2015, 2 (11): 933. doi:10.1364/optica.2.000933.
- ^ Patent US3971065 - Color imaging array - Google Patents. [2016-04-24]. (原始内容存档于2013-08-11).
- ^ John Compton 与 John Hamilton. 濾色陣列 2.0. A Thousand Nerds: A Kodak blog. 2007-06-14 [2011-02-25]. (原始内容存档于2007-07-20).
- ^ 美國專利號 20070145273 "高感測紅外線彩色相機". (原始内容存档于2005-07-20).
- ^ 美國專利申請號 20070024879 "處理色彩與全彩像素". (原始内容存档于2005-07-20).
- ^ L. J. d'Luna; et al. 一個數位攝影訊號後處理器針對彩色影像感應器而設計. Proceedings of the Custom Integrated Circuits Conference. 1989, 1989: 24.2/1 [2016-04-28]. doi:10.1109/CICC.1989.56823. (原始内容存档于2009-01-29).
各种类的CFA图案能被运用,凭借著各式红、绿、蓝色(RGB),或者是青绿、洋红、黄色、白色(CMYW)排列。
- ^ Sugiyama, Toshinobu, 美国专利号 20050231618, "影像拍摄仪器" 互联网档案馆的存档,存档日期2017-02-22., filed March 30, 2005
- ^ 富士相機X-Trans感光元件科技. [2012-03-15]. (原始内容存档于2012-04-09).
备注
外部链接
- (英文)RGB "Bayer" Color and MicroLenses (页面存档备份,存于互联网档案馆), Silicon Imaging (design, manufacturing and marketing of high-definition digital cameras and image processing solutions)
- (英文)eLynx image processing library (页面存档备份,存于互联网档案馆), Big set of Bayer mosaic manipulation source code under GPL.
- (英文)Efficient, high-quality Bayer demosaic filtering on GPUs
- (英文)http://www.inf.fu-berlin.de/lehre/WS02/robotik/Vorlesungen/Vorlesung2/ComputerVision-2.pdf (页面存档备份,存于互联网档案馆)
- (英文)https://web.archive.org/web/20160304100515/http://www.arl.army.mil/arlreports/2010/ARL-TR-5061.pdf
- (英文)http://www.cambridgeincolour.com/tutorials/camera-sensors.htm (页面存档备份,存于互联网档案馆)