一文详解“工业相机”

工业相机对于机器视觉来说至关重要，是其核心组件。如何选择“对的“工业相机是机器视觉系统设计的重要环节，直接关乎整个系统的运行模式。

本文将工业相机分为四大类，进而研究和讨论工业相机的基本原理及技术发展。首先，按感光芯片的类型分为 CCD（电荷耦合器件）和CMOS（互补金属氧化物半导体）这两类。其次，按照输出色彩分为黑白和彩色，按像元的排列方式可分为线阵和面阵，按成像维度可为二维（2D）和三维（3D）等。

1、工业相机与普通数码相机的差异

图 1 普通相机与工业相机

机器视觉的主要目的是代替人眼来做测量和判断，所以工业相机通常被安装在工厂快速运转的流水线上，在一些不适于人工作业的危险环境或者人眼视觉难以满足要求的场合。虽然在成像原理方面，工业相机与普通数码相机相差无几，但为满足工业检测特殊需要，工业相机具有较高的图像稳定性、高传输能力和高抗干扰能力等特点，在拍摄速度、精度和可重复性等方面，都远胜于普通数码相机，而且价格也高很多，堪称相机中的“高富帅”。随后，我们来看一下表1所罗列的具体区别。

表1工业相机与普通相机的比较

2. CCD相机和CMOS相机

图像传感器是工业相机的核心感光元件，当前图像传感器主要分为电荷耦合器件（Charge Coupled Device，CCD）和互补金属氧化物半导体（Complementary Metal Oxide Semiconductors，CMOS）两种。

CCD和CMOS图像传感器感光原理类似，基本上都是利用感光二极管（photodiode）进行光与电的转换，将图像转换为数字信息，它们的主要差异在数字信号传送方式的不同。如图2所示，CCD图像传感器每一行中每一个像素（pixel）电荷信号都会依序传送到下一个像素中，由最底端的部分输出，再经由传感器边缘的放大器进行放大输出；而在CMOS图像传感器中，每个像素都会连接一个放大器及模数转换电路，用类似内存电路的方式将信号输出。正是因为结构和工作原理的差异，导致CCD和CMOS图像传感器具有不同的特性。CCD图像传感器在灵敏度、分辨率，以及噪声控制等方面均优于CMOS图像传感器，CMOS图像传感器则具有低成本、低耗电以及高整合度的特性。

图2 CCD和CMOS图像传感器芯片结构

随着CCD与CMOS图像传感器制造技术的不断进步，两者的差异正在逐渐缩小，例如CCD图像传感器不断降低耗电量，以期应用于移动通讯市场，例如近年来基于CCD的ToF图像传感器进入市场；CMOS图像传感器则持续提升分辨率与灵敏度，以期应用于更高级的影像产品市场。虽然业界普遍认为CMOS取代CCD是必然趋势，在2015年CCD图像传感器的主要制造商索尼公司（Sony）甚至发布了其终止量产CCD的时间表。不过目前来看，很多工业或专业应用领域基于CCD图像传感器技术仍占据重要地位，在相当长的一段时间内，两者应该是共存的关系。其实，CMOS图像传感器的最大的优势是能够与图像采集和信号处理等功能集成实现片上系统（SoC），随着机器视觉系统从基于PC的板级式视觉系统向能嵌入更多功能、更小型的智能相机系统发展，CMOS图像传感器必将成为最后的赢家。

3. 黑白相机与彩色相机

无论是CCD还是CMOS图像传感器，其原理都是将光子转换为电子，其中光子数目与电子数目成比例。对每个像素，统计其电子数目就形成反映光线强弱的灰度图像，也就是说CCD和CMOS图像传感器是“色盲”，不具备辨色的能力，只能形成黑白图像，如图3（左）。其中，左边是黑白模式；中间是三棱镜模式；右边是拜尔滤波片模式。

图3 不同色彩模式的工业相机

为了获得彩色图像，通常使用三棱镜或滤光片的方法采集颜色信息。三棱镜模式：采用三棱镜将射入的光分成三束，每束光都由不同的内置光栅来过滤出某一种三原色，然后使用三块CCD分别感光，如图3（中）。然后再将这三张图像合成一张高分辨率、色彩精确的图像。由于该方法需要三块感光芯片，造价比较昂贵。

如果考虑到价格因素，柯达的拜尔（Bayer）提出了一种廉价的折中方案：只用一块图像传感器，就解决了颜色的识别。他的做法是在图像传感器前面，设置一个滤光片，上面布满了滤光点，与下层的像素一一对应。如图3（右），Bayer滤光片上的滤光点的排列是有规律的：每个绿点的四周，分布着2个红点、2个蓝点、4个绿点。由于人眼对绿色最为敏感，所以绿色是红、蓝的两倍。由于每个滤光点只能通过红、绿、蓝之中的一种颜色，但是在输出时，所有像素都应该有这三种颜色的信息，被滤除的两种颜色分量值在后期的算法处理中通过插值法来补回。

Bayer滤光片的方法显著优点在于它能节省成本，当前绝大多数彩色相机都采用此项技术。不过，黑白相机采集的是所有波长的光子，而Bayer彩色相机仅接受RGB三个波段的光子，并且会做一个去马赛克的邻域平均操作，因此无论是光通量还是细节表现均弱于灰度相机，如图4，对比了彩色相机与黑白相机在相同环境下的成像。所以，如果不需要颜色作为检验需求时，工业相机一般选择黑白相机，因为在拥有相同的分辨率前提下，黑白相机精度更高。

图4 彩色相机成像细节（左）；黑白相机成像细节（右）

4. 线阵相机和面阵相机

工业相机根据像元的排列方式可分为线阵相机和面阵相机，线阵、面阵相机都有各自的优点和缺点，适用于不同应用环境。

图6

相比线阵相机，面阵相机是以“面”为单位来进行图像采集，面阵相机的传感器拥有更多的感光像素，以矩阵排列。面阵相机可以一次性获取完整的目标图像，比线阵相机具有更快的检测速度。大多数常见的检测相机都基于面阵扫描，包括测量面积、形状、尺寸、位置，甚至温度，不过面阵相机每行的信息没有线阵多，帧幅率有限。相机像素通常用万为单位表示，以矩阵排列，比如1百万像素相机的像素矩阵为W x H（宽 x 高）=1000 x 1000。相机的分辨率是指一个像素表示实际物体的大小，用um x um表示，数值越小，分辨率越高。分辨率是由选择的镜头焦距决定的，同一种相机，选用不同焦距的镜头，分辨率就不同，如图7。在表现图像细节方面，不是由相机的像素多少来决定的，而是由分辨率决定的。同等分辨率条件下，像素越多，可以成像的区域面积越大。虽然清晰度并不是由像素决定，但是像素大的相机，可以减少拍照次数，从而提高了速度。而同一种相机，选用不同焦距的镜头，分辨率就不同，如图7所示。

图7

5. 从平面（2D）走向立体（3D）

无论线阵相机还是面阵相机都只能实现2D成像，缺乏深度的信息，随着检测精度和应用场景复杂度的增加，2D相机越来越难堪重任，可以测量距离和进行三维建模的3D相机应运而生。随着3D视觉技术不断突破，3D相机在精度、速度和灵活度方面远超2D相机，在许多传统视觉“痛点性应用场景”中大显身手。2D检测和3D检测的差异主要是2D检测根据灰度信息进行外观尺寸的检测和识别，而3D检测则利用包含高度信息在内的（XYZ坐标）条件进行检测辨别。如下图：

图8

根据测量原理不同，主流的3D相机一般有三种方案：飞行时间法、结构光法、双目立体视觉法，简单介绍如下：

（1）飞行时间是从Time of Flight直译过来的，简称ToF。其测距原理是通过连续发射经过调制的特定频率的光脉冲（一般为不可见光）到被观测物体上，然后接收从物体反射回去的光脉冲，通过探测光脉冲的飞行（往返）时间来计算被测物体离相机的距离，见图9。

图9 飞行时间测距原理

（2）结构光法就是使用提前设计好的具有特殊结构的图案（比如离散光斑、条纹光、编码结构光等），将图案投影到三维空间物体表面上，使用另外一个相机观察在三维物理表面成像的畸变情况。如果结构光图案投影在该物体表面是一个平面，那么观察到的成像中结构光的图案就和投影的图案类似，没有变形，只是根据距离远近产生一定的尺度变化。但是，如果物体表面不是平面，那么观察到的结构光图案就会因为物体表面不同的几何形状而产生不同的扭曲变形，而且根据距离的不同而不同，根据已知的结构光图案及观察到的变形，就能根据算法计算被测物的三维形状及深度信息，见图10。

图10 结构光测距原理

（3）双目立体视觉法仿人眼成像原理，通过计算空间中同一个物体在两个相机成像的视差得到物体离相机的距离，其算法也是根据三角关系计算，见图11。

图11 双目视觉测距原理

这三种3D视觉方案在检测距离上、精度、检测速度各有优缺点，适用于不同的应用场景，目前处于三国鼎立之势，如表2。结构光方案优势在于技术成熟，深度图像分辨率可以做得比较高，但容易受光照影响，室外环境不适宜使用；ToF方案抗干扰性能好，视角更宽，不足是深度图像分辨率较低，主要用于简单避障和视觉导航，不适合高精度场合。双目方案，成本相对前两种方案最低，但是深度信息依赖纯软件算法得出，此算法复杂度高，难度很大，处理芯片需要很高的计算性能，同时它也继承了普通RGB摄像头的缺点：在昏暗环境下以及特征不明显的情况下并不适用。当然这三种方案在发展过程中也有一些互相融合趋势，如主动双目+结构光，取长补短，使3D相机能适应更多的场景。也有一些场合可同时使用，如智能手机前置基本确认会采用结构光来做人脸识别，但是后置用来做增强现实（AR）应用，结构光和ToF方案都有应用机会。

纵观机器视觉的发展史，我们不难发现，它也是遵循着相应的发展规律的，如低分辨率到高分辨率、从静态到动态、从2D走向3D演变等等。而且现如今的，工业相机市场随着激起市场的发展愈加火爆，中国国产品牌的工业相机市场占有率也开始不断攀升，我相信，随着中国从制造大国向制造强国的升级和转型过程中，中国的工业相机厂商的市场会越来越好！