服务于机器视觉的传感和成像研究方向

机器视觉与多频谱的图像融合

这个世界的频谱很宽很宽，频段从10的-14次方到10的-4次方，而人可见的波段实际上只用了400到800纳米。世界上任何物体在发射波也在反射波，波段非常丰富，人类却只能看到的是很少的波段。传感器也是做了很小的一个波段，有没有办法识别一只狗，除了可见的东西，还有没有不可见的东西？比如在红外光线下，在近波红外光线下，在远波红外光线下是否可以看到我们看不到的东西。

人在在黑夜没有任何可见光的情况下，视觉是失灵的，但是机器是可以看到的，因为机器可以感知其他波段，如机器可以感知长波红外（平时说的热成像），只要物体还在散发热量，如看的是狗，这只狗还是活着的，就会对外散发热量，长波红外就可以感知到这只狗，这就是机器视觉有超过人类视觉的潜力所在，因为机器感知的频段比人类要宽的多。

是否可以做一个全频谱的传感器？就像在本文的其他系列文章中提到的，和rggb阵列一样，做全频谱的覆盖。现在还不行，传感器是基于光电效应工作，不存在一种金属材料可以对所有频段的波产生光电效应，只能针对某一个波段传感器采用某种金属底片进行光电效应，业内采用比较多的如上图示例中rgb是visible波段的波，也坑是短波红外的波，也可能是长波红外。

机器和长中短红外波融合的好处和问题，如：

l 近波红外（near infrared【nir】）

nir已经应用在自动驾驶中人脸识别或则驾驶员监控，nir很好的特性是在传统的cmos传感器不需要做大的更迭，传统cmos下的硅底就是金属底片本身就对nir产生光电效用，只要改掉上面的CFA(color filter array)，它的缺点是依赖物体反光，清晰度差。

l Short wave infrared（swir）短波红外

解决提高近波红外清晰度和光电效应比较弱的问题，可以用短波红外（swir）。但是swir的缺点，一是金属底片很难制备，成本也高，低光效果很好，二是法律问题，因为大量的short wave infrared是军事应用。例如导弹，高频率夜视工具等都是用的swir。在民用领域，如无人驾驶还不能使用短波红外。

l middle infrared（mwir）中波红外

中波红外受到法律限制少，因为中波红外有明确的工业用途，对针对工业漏气检测，如天然气泄露等某种有害气体泄漏。中波红外还可以隔着金属检测是否存在化工液体。中波红外在工业领域应用很多，但是在无人驾驶中应用不多，因为无人驾驶车只会检测前方是否存在金属障碍物，而不是检测金属障碍物后面是否有有毒液体或者气体。

l Long wave infrared（lwir）长波红外

他就是热成像，lwir不需要外来的光照，只要物体本身发热就可以成像。它的缺点，一是受到法律法规限制，不管是美国中国都有出口限制，都有技术壁垒，暂时民用有困难，长波红外在美国的限制是只要大于9赫兹，长波红外的成像工具都不能出口，二是噪音很大，要想把lwir做好，成本极高，难度极大。

有着么多难点，那如何做呢？当前已经有人在做，安森美在做rgbir传感器，它把里面的一个bayer patent，把一个r的patent，一个g的patent，变成I patent，它就可以白天用rgb，晚上用ir，就做到了全工况都可以使用。

服务于机器视觉的传感和成像研究方向

l 打破传感器感性指标

现在的传感器的线性指标很重要，如图：

但是我们未必需要传感器发出的电压和光照强度成正比。如果你希望将feature map kernel化，只要针对感兴趣的那部分，discrimination高就好了，我们能不能设置一种传感器不需要显性，而是有kernel特征化，它的线可以是弯弯曲曲，因为它对识别效果非常好。

l 基于端到端的机器学习方法

完全跳过isp，不基于人的视觉标准，就是输入一个14bit的原图，通过网络就可以输入识别结果，完全跳过isp。

l 多传感器，多频谱融合

全频段感知

l 制定给予视觉的图像质量标准

现在已经有了人的视觉质量标准，是否制定一套针对机器的视觉质量标准。我们找了很久，现在看暂时没有。在欧洲有一些零散的标准，但还不是完全服务机器视觉方向的。如果有一套服务于机器的识别，分类，那我们会省去传统传感器，isp厂商的很多工作。甚至说没有isp厂商的工作，就剩下传感器的工作。