涨知识：机器视觉如何判定冷冻猪肉的储藏时间

在大宗冷冻猪肉交易过程中，储藏时间的长短主要依靠企业有经验的员工目测冷冻猪肉的色泽来判定储藏时间范围，这种做法主观性强，再加上冷冻猪肉个体差异较大，肉色细微变化不易觉察，因而容易导致误判；或采用针对性较强的理化指标，如采用过氧化值来作为冷冻猪肉储藏时间判定的辅助指标，但该方法测定时间长，效率低。因此常规的感官评价和检测方式无法满足大宗交易和批量检测中冷冻猪肉储藏时间快速准确判定的要求。

近30年来，机器视觉技术发展迅速，其越来越多的应用于交通、农业、医学、工业等各个领域。随着机器视觉技术理论和实践越来越成熟，机器视觉技术在肉品新鲜度判定的应用上也得到快速发展。张萌等利用图像处理技术从生猪侧面及背面图像中提取体长、体高、胸深、腹长、臀宽、腰宽等数据，以这些体尺的比例为参数，通过径向基函数神经网络进行瘦肉率估测。潘婧等基于计算机视觉，利用图像处理的方法提取猪肉通脊表面的颜色特征参数，组合成RGB-HIS、RGB-L* a* b* 、rgb-HIS、rgb-L* a* b* 及HIS-L* a* b* 5 类特征参数组合，并利用BP和SVM神经网络构造各类新鲜度等级预测模型。周炜建立了基于计算机视觉技术的猪肉图像采集系统, 通过对猪肉图像消噪方法和猪肉图像特征参数的优化，建立了基于计算机视觉技术的猪肉新鲜度识别模型。Dowlati等通过机器视觉基于鳃和眼睛的颜色变化来评估乌颊鱼海鲷新鲜度,通过图像处理分析鱼鳃和鱼眼颜色的变化来判断乌颊鱼海鲷的新鲜度。从以上文献分析可知，利用机器视觉技术提取肉品图像特征，通过图像处理技术实现肉品等级无损评定是无损检测自动判定的研究热点。经调研，目前冷冻猪肉交易市场上多为储藏时间在3个月以内和12个以上的的冷冻猪肉，企业员工通过肉眼观察冷冻猪肉表面无光泽肌肉面积的大小来对冷冻猪肉的储藏时间进行判定和对猪肉的价格进行划分，储藏时间在3个月以内的被划分为正肉，储藏时间超过12个月的被划分为低价肉。本研究以储藏时间分别为1、2、3、13、15、17个月的冷冻猪肉为试验原料，采用自发研制的图像采集装置采集冷冻猪肉图像，基于机器视觉技术，在RGB颜色空间下分割图像，求取与储藏时间相关的无光泽肌肉像素点比例的最佳阈值，进一步对冷冻猪肉储藏时间进行判定验证。将最佳阈值作为区分冷冻猪肉储藏时间的标准，为企业实现冷冻猪肉储藏时间的快速判定提供参考。

1.黑色不反射铝板 2.漫反射光源 3.CCD摄像机 4.镜头 5.图像分析软件 6.光源控制器 7.载物台

图1 冷冻猪肉图像获取装置图

　　1  材料与方法

　　1.1  试验材料

　　试验所用3个月以内或12个月以上冷冻猪肉全部采购自北京某生猪屠宰场有限公司和北京某冷冻批发市场，均为按照GB/T 9959.2-2008，2017年生产的分割冷冻Ⅳ号猪肉。进行图像采集之前，首先将冷冻猪肉从冷冻库取出，去除样品塑料内包装膜，塑料内包装膜折叠后覆盖于样品表面，置于解冻架上，在（20±3）℃下自然解冻，待样品中心温度达到（0±1）℃时，冷冻猪肉表面无霜且保持原有形状的情况下，去除覆盖于冷冻猪肉表面的内包装膜，将冷冻猪肉样品置于图1所示的载物台上，即可进行图像采集。

　　1.2  图像采集系统与方法

　　冷冻猪肉图像的摄取由实验室自主研发的硬件装置完成。如图1所示，冷冻猪肉图像摄取装置由耦合元件摄像机（charge-coupled device，CCD，全局曝光方式，固定在光源中间位置）、镜头（4mm 百万像素工业镜头）、发光二极管漫反射光源（light-emitting diode，LED，40cm×40cm漫反射板，中间开孔置放CCD和镜头）、载物台（台板面积30cm×15cm，高度可调，黑色不反射光 ）和暗箱（50cm×50cm×50cm，采用黑色不反射铝板）组成。采集装置由数据线连接电脑，电脑中软件控制图像采集。将冷冻猪肉置于黑色载物台上，然后将图像采集装置的侧门关闭，载物台表面和采集装置内部均喷有黑无光漆，可有效地防止样品图像的反光。打开光源并调节到适当强度的光照，使得冷冻猪肉样品图片中脂肪和瘦肉差别较大，采集正对光源的图像，将采集到的图像用MATLAB编程实现图像处理。

　　1.3  判定算法

　　首先选择适当的预处理方法去除背景得到冷冻猪肉图像，减小算法计算量；然后采用色差法对图像进行分割识别；设定色差值的范围来对总肌肉和无光泽肌肉进行有效识别；计算无光泽肌肉像素点个数占总肌肉像素点个数的比例；将储藏时间在3个月以内（1、2和3个月）和超过12个月（13、15和17个月）的冷冻猪肉的无光泽像素点比例的最大值和最小值的平均值作为判定阈值；最后，根据统计学分析确定最佳判定阈值。具体的冷冻猪肉储藏时间判定过程如图2所示。

　　注：R、G、B分别为红度值、绿度值和蓝度值，下同。

图2  猪肉分级方法的建立过程

　　1.3.1  目标图像与背景分割

　　首先选择适当的预处理方法去除背景得到冷冻猪肉图像，减小算法计算量，且图像边界分割是图像处理和分析的关键步骤，边界分割结果的优劣对后继图像的理解和识别起重要作用。本文采用Sobel边缘检测算法对冷冻猪肉边界进行提取，按式（1）、式（2）的Sobel算子检测水平和垂直边缘。用该算子与图像进行卷积后，提取出冷冻猪肉边缘图像。

　　▽fx(X,Y)=[f(X+1,Y-1)+f(X+1,Y)+f(X+1,Y+1)]—f[(X—1，Y—1）+2f(X—1，Y）+f(X—1，Y+1）]      （1）

　　▽fy(X,Y)=[f(X-1,Y+1)+2f(X,Y+1)+f(X-1,Y—1）]       （2）

　　式中▽fx（X, y）及▽fy（X, y）分别代表经横向及纵向边缘检测的图像灰度值；f（X, Y）表示图像（X, y）点的灰度值。

　　1.3.2  图像预处理

　　由于在采集图像过程中受到环境光的影响，实际得到的图像往往会带有各种噪声，这些噪声的存在可能会使后期的图像处理和识别产生困难，并影响试验结果，因此有必要对原始图像进行噪声去除。目前常用的去噪方法有均值滤波、高斯滤波、中值滤波等，对比这些方法的滤波效果，选用效果较好的滤波法。

　　1.3.3  冷冻猪肉图像颜色特征提取

　　随着贮藏时间的延长，冷冻猪肉肌红蛋白被氧化，肉体表面色泽由鲜明逐渐变为暗褐色，失去光泽。储藏时间越长，肉体表面无光泽面积越大，所以本试验在提取冷冻猪肉图像的颜色特征用于储藏时间判定时，主要考虑肌肉组织无光泽像素点的个数与总肌肉像素点个数的比值，即无光泽像素点比例。另外，Ⅳ号猪肉经加工包裹冷冻之后表面有脂肪组织和肌肉组织，因此，为便于准确计算肌肉组织的RGB颜色空间信息，需要在特征提取之前将脂肪组织和结缔组织与肌肉组织精确地分割开来。具体步骤如下：

　　1）将去噪之后的冷冻猪肉图像进行灰度转化，根据灰度阈值将冷冻猪肉所属区域划分为脂肪区域和肌肉区域。

　　2）选择算子(R-B)、(R-G)和B作为特征量进行代数运算分析肌肉区域内总肌肉像素点和无光泽肌肉像素点的颜色特征，根据颜色特征将图像二值化；

　　3）二值化将图像划分为背景和目标区域，白色表示目标区域，黑色表示背景区域。根据组合算子特征值确定总肌肉像素点和无光泽肌肉像素点的红(R)、绿(G)、蓝(B)特征变化关系作为特征提取依据，按式（3）计算冷冻猪肉无光泽肌肉像素点比例，无光泽肌肉像素点比例即无光泽肌肉像素点个数占总肌肉像素点个数的比例。

　　式中u为无光泽肌肉像素点比例，%；n为无光泽肌肉像素点个数；N为总肌肉像素点个数。

　　1.3.4  阈值的确定

　　以冷冻猪肉的无光泽肌肉像素点比例为基础，具体寻求阈值步骤如下：

　　1）计算所有批次冷冻猪肉图像的无光泽肌肉像素点比例，然后计算储藏时间在3个月以内批次中冷冻猪肉图像无光泽肌肉像素点比例最高值和储藏时间超过12个月批次中冷冻猪肉图像无光泽肌肉像素点比例最低值的平均值。

　　2）选取上述平均值为阈值，计算验证集判别准确度，依次提高或减小阈值，依据统计学规律，小于或等于该阈值时，冷冻猪肉的储藏时间为3个月以内，大于阈值时，冷冻猪肉的储藏时间超过12个月，最终得到阈值在某一个值的情况下，储藏时间在3个月以内的冷冻猪肉与储藏时间超过12个月的冷冻猪肉的储藏时间判别准确度均最高。

   　2  结果与分析

　　2.1  图像预处理结果

　　采用1.3节所述的图像处理方法首先对原始图像进行预处理。图3为采集得到的冷冻猪肉原图经Sobel边缘检测算法去除背景后的灰度图，由图3可以看出，经背景去除后的图像，可以较好地保存图像的边缘信息，并且完全去除冷冻猪肉区域外所有背景。熵是衡量图像信息丰富程度的一个重要指标。熵越大，表示图像包含的信息量越多，信息越丰富，图像的质量也越好。表1是各种滤波去噪后图像的熵对比统计，原图像的熵为2.883 7（表中未标出），对比发现，高斯滤波后图像的熵最大，为5.809 4，图像信息最丰富，表明经高斯滤波后能保证图像的清晰度和一定的信息量。对比滤波效果，最终采用高斯滤波对其图像进行去噪处理。

图3  冷冻肉灰度图

表1  不同方法滤波去噪后图像的熵对比统计

　　2.2  特征条件确定

　　冷冻猪肉经长时间储藏，表面会呈现白色、红色和深褐色，采用基于颜色空间的分割识别无疑是一种有效的选择。但是如果直接对RGB颜色空间进行处理，由于 R、G、B 3分量相互融合在一起，相关性比较大，直接进行分割将无法准确地提取出目标物。图4a是原图处理对应的3分量直方图，3分量基本上都集中在[0，50]和[225，255]，峰值波动变化较小，很难分割出冷冻猪肉上无光泽处。色差法能将三维分割输入量转化为一维分量，不仅大大减少了计算量和运行时间，而且使得目标和背景能明显区分，基于这种特征，寻找更快速准确的分割方法才更有效。

　　一般情况下，常采用(R-G)、(R-B)、(G-R)、(G-B)、(B-R)、(B-G)和(2R-G-B)7 种色差信息作为特征量，而冷冻猪肉表面无光泽肌肉处基本上都呈现深褐色，蓝色分量B 会比较突出，能明显区别于正常肉色。所以本文选取B、(R-B)、(R-G)能够突出冷冻猪肉表面无光泽肌肉处褐色特征的3种算子进行处理。(G-R)、(G-B)和(B-R)的灰度图基本全是黑色（图5中未表示出），这是因为通过(G-R)、(G-B)和(B-R)计算灰度出现负值超出了[0，255]灰度级的范围或者灰度级太小导致样品和背景无法区分。图4b和图4c分别是(R-B)和(R-G)色差法对应的色差灰度直方图，相比较图4a，色差法使得背景和目标灰度值呈现对数分布，这样更有利于后续分割图像。所以本文采用色差法对图像进行分割识别。

图4  不同特征量灰度直方图

图5  不同色差指标灰度图

　　依据统计学规律，将(R-B)≤50，(R-B)≤45，(R-B)≤ 40，(R-B)≤35，(R-B)≤30，(R-B)≤25，(R-B)≤20，(R-B)≤15，(R-B)≤10和(R-G)≤50，(R-G)≤45，(R-G)≤40，(RG)≤35，(R-G)≤30，(R-G)≤25，(R-G)≤20，(R-G)≤15，(R-G)≤10进行组合对冷冻猪肉总肌肉像素点进行提取，如图6a所示，比较发现，当(R-B)≤30，(R-G)≤30时能较好地识别出冷冻猪肉表面的总肌肉；在(R-B)≤30，(R-G) ≤30的前提下，分别选取B≥80，B≥85，B≥90，B≥95，B≥100，B≥105，B≥110，B≥115对冷冻猪肉表面无光泽肌肉像素点进行提取，如图6b 所示，比较发现，当 B≥100能较好地识别冷冻猪肉表面无光泽肌肉。所以将(R-B)≤30 且(R-G)≤30作为总肌肉像素点的特征变化关系，即第一特征条件；将(R-B)≤30 且(R-G)≤30且 100≤B作为无光泽肌肉像素点的特征变化关系，即第二特征条件。根据第一特征条件从基色特征值中获取第一像素点个数，即总肌肉像素点个数；根据第二特征条件从基色特征值中获取第二像素点个数，即无光泽肌肉像素点个数。

图6  不同色差指标二值化图

　　2.3  无光泽红肉像素点比例测定结果

　　根据公式（3）计算所有批次冷冻猪肉无光泽肌肉像素点比例的平均值，所有批次冷冻猪肉无光泽肌肉像素点比例如图7 所示。1～3、4～5、7～9批次储藏时间分别为1个月、2个月和3个月，10、11、12批次储藏时间分别为13、15和17个月。由图7可以看出，第9批次冷冻猪肉在储藏时间在3 个月内所用批次中无光泽像素点比例最高，为24.3%，第10批次冷冻猪肉在储藏时间超过12个月所有批次中无光泽像素点比例最低，为29.2%，取两者平均值26.8%作为判定阈值。

图7  不同批次冷冻肉无光泽肌肉肉像素点比例

　　2.4  阈值判断结果

　　选取上述平均值26.8%为阈值，计算校正集判别准确度，依次提高或减小阈值，以24.3%和29.2%为最小和最大阈值，依据统计学规律，不同无光泽肌肉像素点比例条件下阈值判定统计结果如表2所示。由表2可以看出，随着无光泽肌肉像素点比例的增加，储藏3个月以内（1、2 和3个月）的冷冻猪肉和储藏时间超过12个月（13、15和17个月）的冷冻猪肉的判定准确度分别升高或降低；当无光泽肌肉像素点比例为26.8%时，储藏时间在3个月以内和超过12个月的冷冻猪肉验证检测判定准确度综合较好，分别为90.00%和81.67%。

表2  不同无光泽肌肉像素点比例下阈值判定统计结果

　3  讨论

　　本试验在判定阈值为26.8%时，储藏时间在3个月以内和超过12个月的冷冻猪肉验证准确度分别为90.00%和81.67%，判定准确度相对来说不是很高，可能原因是样本量相对较少，后期试验中我们将进一步补充样品量尤其是储藏时间超过12个月的冷冻猪肉样品，以期丰富无光泽肌肉像素点比例值，提高判定准确性。本试验中缺少储藏时间大于3个月且小于12个月的冷冻猪肉样品，后期试验中我们也将进一步补充样品种类，扩大判定范围。目前也有文献报道采用空气相色谱离子迁移谱技术对冷冻猪肉储藏时间进行快速判定，其通过采集和分析冷冻猪肉表层或浅表层脂肪氧化所产生的挥发性有机物，采用主成分分析对不同储藏时间冷冻猪肉的挥发性有机物数据进行维度压缩，利用 K均值聚类分析算法建立判别模型，空气相色谱离子迁移谱技术具有高分辨率、高灵敏度、分析高效、操作简便等特点，但基于机器视觉技术和图像处理技术对冷冻猪肉RGB颜色空间进行提取对冷冻猪肉储藏时间进行判定时，无需对样品进行理化指标的测定，是一种具有低成本、高效率、操作简单等特点的无损检测方式。

　　4  结论

　　本文结合机器视觉技术和图像处理技术对储藏时间在3个月以内（1、2和3个月）和超过12个月（13、15和17个月）的冷冻猪肉的储藏时间进行了判定研究，利用色差法提出了无光泽肌肉像素点比例可作为用于检测的图像特征，试验结果表明判定阈值即无光泽肌肉像素点比例为26.8%时，储藏时间在3个月以内和超过12 个月的冷冻猪肉验证准确度分别为90.00%和81.67%。该方法弥补了目前国内对冷冻猪肉储藏时间的判定方法的空缺，不仅能提高判定的准确性和客观性，而且还能克服人工目测以及化学分析等产生的检测疲劳、主观因素多、费时以及样品破损等不足。本分析方法为冷冻猪肉储藏时间的判定提供了可靠的依据，为冷冻猪肉期货品种上市提供了一定的技术支持，具有良好的应用前景和重要的社会经济价值。