您好,欢迎来到达州工业云! 平台首页 企业驾驶舱 帮助中心 企业登录 企业注册

HI,欢迎使用达州工业云平台!

账号必须大于2位

创新资源平台
服务平台首页>专利库>专利详情

专利转让基于水平集的烤箱内场景视频目标区域提取方法(CN201410669923.6)

  • 申请号:CN201410669923.6 申请公布号: CN104361613B
  • 申请日: 2014-11-20 申请公布日: 2017-11-21
  • 申请(专利权)人: 专利代理机构: 马鞍山市金桥专利代理有限公司
  • 分类号:G06T7/60;G06T5/00;G06K9/46

专利介绍

本发明公开了基于水平集的烤箱内场景视频目标区域提取方法,是通过蒙板技术、改进的水平集模型、以及区域阈值技术快速提取炉膛内场景中目标色泽较为一致的前景区域,具体步骤如下:(1)摄取烤箱炉膛内的烹饪视频,并设置采集间隔获取需要处理的视频帧图像;(2)从首帧图像上圈选兴趣区域,生成子图分割蒙板,得到子图像;(3)切割并形成子图;(4)设置初始轮廓曲线;(5)水平集演化;(6)区域阈值处理;(7)目标提取;(8)读入后一帧图像,重复步骤(3)—(7),直至所有帧图像完成目标提取。本方法既可以得到清晰的目标边界,且其对一幅桢图像只需要迭代6‑12次,实施在线检测的效率极高。
1.基于水平集的烤箱内场景视频目标区域提取方法,通过蒙板技术、改进的水平集模型、以及区域阈值技术快速提取炉膛内场景中目标色泽较为一致的前景区域,具体步骤如下:(1)摄取烤箱炉膛内的烹饪视频,并设置采集间隔获取需要处理的视频帧图像,采集间隔为3-10秒;(2)从首帧图像上圈选兴趣区域,生成子图分割蒙板,得到子图像:在帧序列中,读入首帧图像,并人工在其上圈选包含目标的兴趣区域,求解该区域的最大外接矩形,依据此矩形构建测试图像的子图分割蒙板;(3)切割并形成子图:利用子图分割蒙板对帧图像进行初步切割,得到子图;(4)设置初始轮廓曲线:由计算机按照预设的比例在子图像的目标区域内设置一个矩形框作为初始轮廓曲线用于水平集演化;(5)水平集演化:利用改进的水平集模型的偏微分方程引导初始曲线进行演化,演化结束后获得目标区域轮廓;偏微分方程为 φ t = δ ϵ ( φ ) ( ω · F 1 + ( 1 - ω ) · F 2 + μ · d i v ( | φ | φ ) ) + v · ( 2 φ - d i v ( | φ | φ ) ) ; ]]>ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/>该偏微分方程中含有F1的能量项为局部能量项,含有F2的能量项为全局能量项,通过自适应系数ω调节平衡,ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="85"/>为水平集函数φ的梯度,ν为长度能量项系数,μ为惩罚能量项系数:其中,ω为自适应系数,F1和F2分别是局部作用力和全局作用力:(6)区域阈值处理:对水平集演化形成的噪声小封闭曲线采用区域阈值处理,滤去噪声封闭曲线,从而得到更为完整的目标区域轮廓;(7)目标提取:依据步骤(6)中得到的轮廓曲线,提取曲线内部目标,即获取目标前景图像;(8)读入后一帧图像,重复步骤(3)—(7),直至所有帧图像完成目标提取。
2.根据权利要求1所述的提取方法,其特征是:步骤(4)中,由于烹饪阶段烤箱内的食品不会发生移动,因此,所有的子图像设置一样的水平集演化的初始轮廓,该轮廓设置为所有的子图像中目标区域内部的一矩形框。
3.根据权利要求1所述的提取方法,其特征是:步骤(4)设置初始轮廓曲线时,由计算机按照预设的比例是面积为图片1/8大小,且位于图像中心。
4.根据权利要求1所述的提取方法,其特征是:步骤(6)具体为:用预设的阈值与噪声区域的像素点总和进行比对,滤掉小于阈值的噪声区域,减小小区域带来的误差,同时使提取的图像更加完整。技术领域
本发明属于烤箱内场景视频处理领域,具体涉及视频帧图像中目标区域提取方法,可用于万能蒸烤箱内烤炙食物的目标提取。
背景技术
在万能蒸烤箱对食物进行蒸烤的过程中,需要识别烤箱内场景中的食品区域,以便于进行色泽品质的自动检测,保证蒸烤的质量,但是,自动提取烤箱内场景中目标区域的技术难以实现。虽然水平集演化曲线具备自动提取自由边界形状的目标区域功能[Li C et al.Distance regularized level set evolution and its application to image segmentation[J].Image Processing,IEEE Transactions on.2010,19(12):3243-3254],但是,遭遇烤箱内场景的视频图像中的弱化目标边界时,容易导致演化越界;且每一桢图像水平集演化的迭代次数竟然需要200次多,如果实施在线检测,效率十分低下。
发明内容
本发明所要解决的问题是提供一种较为准确、快速的烤箱内场景视频目标区域提取方法,它既可以得到清晰的目标边界,且其对一幅桢图像只需要迭代6-12次,实施在线检测的效率极高。本发明基于水平集的烤箱内场景视频目标区域提取方法,是通过蒙板技术、改进的水平集模型、以及区域阈值技术快速提取炉膛内场景中目标色泽较为一致的前景区域,具体步骤如下:(1)摄取烤箱炉膛内的烹饪视频,并设置采集间隔获取需要处理的视频帧图像;(2)从首帧图像上圈选兴趣区域,生成子图分割蒙板,得到子图像:在帧序列中,读入首帧图像,并人工在其上圈选包含目标的兴趣区域,求解该区域的最大外接矩形,依据此矩形构建测试图像的子图分割蒙板;(3)切割并形成子图:利用子图分割蒙板对帧图像进行初步切割,得到子图;(4)设置初始轮廓曲线:由计算机按照预设的比例在子图像的目标区域内设置一个矩形框作为初始轮廓曲线用于水平集演化;(5)水平集演化:利用改进的水平集模型的偏微分方程引导初始曲线进行演化,演化结束后获得目标区域轮廓;偏微分方程为 ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> (6)区域阈值处理:对水平集演化形成的噪声小封闭曲线采用区域阈值处理,滤去噪声封闭曲线,从而得到更为完整的目标区域轮廓;(7)目标提取:依据步骤6中得到的轮廓曲线,提取曲线内部目标,即获取目标前景图像;(8)读入后一帧图像,重复步骤(3)—(7),直至所有帧图像完成目标提取。考虑到实验图像的特性,本发明利用图像的均值信息和对比度信息为基础,构建了新的水平集演化模型,即自适应平衡水平集演化模型(ABLSE),下面对改进的水平集演化模型做进一步说明。该模型的能量函数如下所示: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> 其中ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="132"/>为改进后的局部能量项,其计算公式如下: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> Kσ(u)为高斯核函数,可表示为: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="622"/> θ(x)为窗口全局对比度,其以当前点x为中心,取r×r大小的窗口作为点x的邻域范围,r的取值与图像的分辨率有关,图像分辨率越高,r取值越大,本文r=5,θ(x)表达式为: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="563"/> (4)式中Mmax和Mmin分别表示窗口区域内图像灰度值的最大值和最小值。θi(x)为封闭曲线内部对比度,θo(x)为封闭曲线外部对比度,二者构造相同。表达式为: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> 式中θi(x)为封闭曲线内部对比度,Mi_max和Mi_min分别表示该曲线内部图像灰度值的最大值和最小值;θo(x)为封闭曲线外部对比度,Mo_max和Mo_min分别表示该曲线外部图像灰度值的最大值和最小值。 ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="97"/>为全局能量项,其计算公式如下: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> ω为自适应系数,其可以根据当前曲线的位置,动态平衡两个能量项所占比重。求解表达式为:ω=abs(α+arctan(β)/π) (7)其中α为常系数范围在0到0.5之间(本文中α=0.3),β为局部方差均值,其表达式为:β=average(var(Mr×r(φ))) (8)其中Mr×r(φ)是以演化曲线上的点为中心r×r大小的邻域,var(Mr×r(φ))是邻域的方差值。公式(7)和(8)表明,平衡系数ω的取值范围在0到1之间,且会跟随者演化曲线动态更新,这样能更好的平衡两种能量模型所占的比例。L(C)和P(φ)分别为曲线C的长度能量项和惩罚能量项,定义如下: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> 利用梯度下降法和变分法求解能量方程的最小值,得到如下的偏微分方程: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> 其中,F1和F2分别是局部作用力和全局作用力: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> 利用变分法可求得局部拟合的背景和前景f1,f2为: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> c1,c2为演化曲线内外部灰度均值,可表示为: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> 式中的Hε为Heaviside公式,其定义为: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> 其导函数表示如下: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> 其中e1,e2为对比度能量项: ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="502"/> 利用求得的偏微分方程,引导初始轮廓曲线逼近目标边界,完成演化。本发明的有益效果为:本发明所涉及的方法能够根据操作人员在首张帧图像圈选感兴趣的食品目标区域,自动生成切割蒙板、完成包含目标在内的子图序列,并能利用改进的水平集模型自动完成提取子图像序列的目标前景图像,有利于为自动检测目标区域内的色泽品质奠定基础。另本发明基于改进的水平集模型,对一幅桢图像只需要迭代6-12次就可以得到清晰的目标边界,既不会使演化越界,而且实施在线检测的效率极高。
附图说明
图1是本发明方法的流程图;图2是本发明的蒙板示意图;图3是微小区域阈值消除效果图;图4是最终提取到的目标前景图像。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,以下结合具体实施例,并参照附图,对本发明作进一步说明。本发明提供基于水平集的烤箱内场景视频目标区域提取方法是基于炉膛视频图像采集与计算设备实施的:炉膛视频图像采集与计算设备由摄像头、万能蒸烤箱与计算机设备相连接,并由相应的图像采集、传输和视频图像计算处理软件所组成;炉膛视频图像采集设备用于视频图像的采集、传输并存储到计算机中,再由视频图像计算处理软件进行相应的算法处理,并由计算机输出提取的目标前景图像。本次实施例的应用环境为:Dell inspiron 5447PC,Intel(R)i5-4210U CPU,RAM:6GB,利用matlab2012b进行实验。模型的参数λ1、λ2、λ3、λ4都设为1,参数λ5、λ6都设为10,参数ν=0.001×2552,μ=1.0,σ=3.0时间步长τ=0.1,目标为烤鸡。本发明具体实施的方法流程图如图1所示,步骤如下:1、烤鸡烹饪视频采集与图像采样将摄像头固定在万能蒸烤箱玻璃门的特定位置上,将烤箱以200℃预热2分钟后进行烹饪,同时获取烤鸡烹饪视频,传输并保存于笔记本电脑中。对获取的视频材料进行采样,取样方法为每间隔3秒获取一张视频帧图像。本次实例共选用了8张图像进行测试,按不同烹饪的各个阶段对帧图像进行标号。2、读入首帧图像,并在其上圈选兴趣区域利用图像处理算法读入首帧图像,并人工在其上圈选烤鸡目标作为兴趣区域,其操作如图2(a)所示。3、生成子图分割蒙板根据步骤2中人工圈选的一块包含烤鸡目标的兴趣区域,求解该区域的最大外接矩形,如图2(b)所示,依据此矩形构建该组测试图像的子图分割蒙板。4、初步切割并生成子图依据步骤3中分割蒙板得到如图2(c)所示的子图像,用于水平集演化。5、设置初始轮廓曲线由计算机按照预设的比例(面积为图片1/8大小,且位于图像中心)在子图像的烤鸡区域内设置一个矩形框作为初始轮廓曲线。6、水平集演化依据改进的水平集模型的偏微分方程,引导初始轮廓曲线往烤鸡边界演化,本次测试迭代次数为8次(通常设置迭代次数为6-12次)。在演化初始阶段,由于全局能量项的存在,其会全面搜索图像的信息,构成多个小区域;在随后的演化中,逐渐合并“同类”区域。当演化曲线靠近烤鸡边界时,局部能量项和对比度能量项会引导曲线演化出边界细节以及弱边界区域,从而得到更好的演化结果,演化曲线的提取结果如图3所示。7、区域阈值处理由于偏微分方程的原因,演化结果中会存在部分噪声小封闭曲线,因此对步骤6中得到的最终演化曲线进行区域阈值处理,用预设的阈值(本次实例设定的阈值为200)与噪声区域的像素点总和进行比对,滤掉小于阈值的噪声区域,减小小区域带来的误差,同时使提取的图像更加完整。8、目标提取依据步骤7中所得的结果,获取烤鸡前景图像,如图4所示。重复步骤4-8,直至本实例所有图像提取完全。我们选用精确度OI去评测提取结果,精确度OI表示本文方法所提取的目标图像和手工抠取的基准图像的重合程度。其计算公式如下所示,其值越高,表示目标提取的精确度越高。OI=|IF∩IG|/|IF∪IG|·100%式中IF为手工抠取的真实目标图像,IG为分割所得目标图像。得到本实例烤鸡图像的提取精确度和迭代次数如表1所示,均值为85.05±1.15%,能满足后继计算区域内色泽品质量化指标的需要。表1 ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> 而背景技术里的DRLSE模型对本实例烤鸡图像的提取精确度和迭代次数如表2所示:表2 ntent="drawing" img-format="TIF" inline="no" orientation="portrait" wi="700"/> 从表1和表2可以看出,本发明所提的ABLSE模型,其精确度高于DRLSE模型,且迭代次数远少于该模型。因此,本发明的提取方法既可以保证精确地提取目标,不会因为弱化的目标边界而导致演化越界,又可以大大地减少迭代次数,使在线提取目标效率极高。