本发明名称由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,本发明涉及一种由多幅图像全自动重建脚型三维表面的系统,主要步骤如下:先对鞋楦样本集进行统计分析得到统计变形模型;然后布置成像环境;再用多个相机获得标定模板及人脚的图像;然后变形统计模型,拟合脚型图像,得到初估计模型并生成稀疏的网格模型;再迭代细分网格模型;其中每一轮迭代中先从各个图像中分割出图像特征点,并把平面特征点匹配成空间点,再用空间特征点细分网格模型;最终得到与目标对象一致的脚型模型。本发明不需要在脚上设置标记点,也不需要高精度的激光测量设备,只使用相机和计算机,只需要快门成像时间和计算处理时间,速度快,可以广泛应用于精度要求不是特别高、对生物肌肤进行三维重建的情况。
1.一种由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,包括以下具体步骤:1)生成鞋楦统计变形模型:选择鞋楦样本,构成鞋楦样本集,并设计标记点,获取样本标记点的坐标生成点分布模型,然后从样本集的点分布模型集进行主成份分析生成鞋楦统计变形模型;2)设置成像环境:按鞋楦统计变形模型布置多个相机,再布置灯光;3)摄取图像:脚型标定模板成像,标定各相机的内外参数,然后再对脚型成像:4)初估计脚型:用鞋楦统计变形模型初估计脚型,包括姿势估计和形状估计;5)生成网格模型:将初估计模型转换成网格模型;6)细分网格模型:从各视图像的特征生成新增空间点,细分网格模型,细分过程多分辨率迭代进行直到各图像中无法切割出更细节的点,细分结束;7)网格整理优化,输出脚型三维模型。
2.根据权利要求1所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述标记点由鞋楦样本集的底样图及侧立面图的关键点所衍生,并能反映鞋楦形状特征。
3.根据权利要求1或2所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述生成鞋楦统计变形模型具体包括以下步骤:1)选择鞋楦样本,构成鞋楦样本集;2)设计标记点,在每只鞋楦样本上确定标记点的位置,然后把标记点的位置读取到计算机,作为样本的点分布模型;3)把鞋楦样本集中各样本的点分布模型对齐,保证整个样本集上各样本间的距离最小化:4)采用主成份分析方法在对方的点分布集合上生成鞋楦的统计变形模型,将鞋楦的形状分解成共性和个性两部分,而个性是个性因子与个性向量的乘积。
4.根据权利要求1或2所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述设置成像环境,具体包括以下步骤:1)初始步骤:引入前面步骤所产生的鞋楦统计变形模型,并预设模型点在轮廓内成像信息量的阈值、模型点在轮廓上成像信息量的阈值,将每个模型点的初始信息量设为0;2)计算相机分布球:根据相机焦距、目标大小等已知参数计算相机分布球的半径R;3)计算主形状因子信息量最多的相机位置:在相机分布球上计算出包含鞋楦统计变形模型中主形状因子信息量最多的相机位置;4)输出相机位置:确定输出的相机位置点,增加该相机位置下可见模型点及轮廓上模型点的信息量,并去除在轮廓内成像信息量、轮廓上成像信息量分别大于设定阈值的模型点;5)计算新统计变形模型:重新计算模型点减少后的新鞋楦统计变形模型;6)迭代计算:重复步骤3)、4)、5),直至统计变形模型中所有模型点都被充分成像,都能够根据图像信息重建出来;7)结束步骤:输出相机位置点的坐标,据此坐标布置相机。
5.根据权利要求1或2所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述初估计脚型,具体包括以下步骤:1)初始步骤:引入前面步骤所产生的鞋楦统计变形模型、相机参数及所摄取的脚型图像;2)计算脚型大小、方位和位置:选择从脚底方向成像、位置较正的图像,根据脚底的图像和承重玻璃板上的刻线计算脚型大小和方位,然后把脚型的多幅图像都分割为二值图像,即把脚型和背景分割开来,脚型为黑色,背景为白色,然后求取脚型在各图像平面中的重心,并由此计算脚型在空间中的重心,此即脚型的位置;3)形状初估计:把脚型的多幅图像都分割为四值图像,即把脚型和背景分割开来,脚底与玻璃板接触、图像中颜色较深的部分为黑色,脚底部分不与玻璃板接触、图像中颜色较浅的部分为深灰色,脚型上不属于脚底、图像中颜色最浅的部分为浅灰色,背景为白色,然后变化鞋楦统计变形模型中的个性因子,使模型投影点的颜色的累加和最大,得到脚型的初估计形状;4)轮廓一致性计算:轮廓一致性计算迭代进行,每一轮迭代中先把模型点区分为内点和外点,计算内点和外点的移动量,然后用整个模型仍受鞋楦统计变形模型约束,因此计算与鞋楦统计变形模型相近的新形状,逐次把初始估计模型贴合到真实脚型上去;5)光照一致性计算:在多个像素范围内搜寻光照一致性最好、亚像素级的图像匹配点,获取准确的模型点位置,生成较为精确的模型;6)结束步骤:输出捕捉了脚型大致外形的估计模型。
6.根据权利要求3所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述初估计脚型,具体包括以下步骤:1)初始步骤:引入前面步骤所产生的鞋楦统计变形模型、相机参数及所摄取的脚型图像;2)计算脚型大小、方位和位置:选择从脚底方向成像、位置较正的图像,根据脚底的图像和承重玻璃板上的刻线计算脚型大小和方位,然后把脚型的多幅图像都分割为二值图像,即把脚型和背景分割开来,脚型为黑色,背景为白色,然后求取脚型在各图像平面中的重心,并由此计算脚型在空间中的重心,此即脚型的位置;3)形状初估计:把脚型的多幅图像都分割为四值图像,即把脚型和背景分割开来,脚底与玻璃板接触、图像中颜色较深的部分为黑色,脚底部分不与玻璃板接触、图像中颜色较浅的部分为深灰色,脚型上不属于脚底、图像中颜色最浅的部分为浅灰色,背景为白色,然后变化鞋楦统计变形模型中的个性因子,使模型投影点的颜色的累加和最人,得到脚型的初估计形状;4)轮廓一致性计算:轮廓一致性计算迭代进行,每一轮迭代中先把模型点区分为内点和外点,计算内点和外点的移动量,然后用整个模型仍受鞋楦统计变形模型约束,因此计算与鞋楦统计变形模型相近的新形状,逐次把初始估计模型贴合到真实脚型上去;5)光照一致性计算:在6个像素范围内搜寻光照一致性最好、亚像素级的图像匹配点,生成空间点,生成较为精确的模型;6)结束步骤:输出捕捉了脚型大致外形的估计模型。
7.根据权利要求4所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述初估计脚型,具体包括以下步骤:1)初始步骤:引入前面步骤所产生的鞋楦统计变形模型、相机参数及所摄取的脚型图像;2)计算脚型大小、方位和位置:选择从脚底方向成像、位置较正的图像,根据脚底的图像和承重玻璃板上的刻线计算脚型大小和方位,然后把脚型的多幅图像都分割为二值图像,即把脚型和背景分割开来,脚型为黑色,背景为白色,然后求取脚型在各图像平面中的重心,并由此计算脚型在空间中的重心,此即脚型的位置;3)形状初估计:把脚型的多幅图像都分割为四值图像,即把脚型和背景分割开来,脚底与玻璃板接触、图像中颜色较深的部分为黑色,脚底部分不与玻璃板接触、图像中颜色较浅的部分为深灰色,脚型上不属于脚底、图像中颜色最浅的部分为浅灰色,背景为白色,然后变化鞋楦统计变形模型中的个性因子,使模型投影点的颜色的累加和最大,得到脚型的初估计形状;4)轮廓一致性计算:轮廓一致性计算迭代进行,每一轮迭代中先把模型点区分为内点和外点,计算内点和外点的移动量,然后用整个模型仍受鞋楦统计变形模型约束,因此计算与鞋楦统计变形模型相近的新形状,逐次把初始估计模型贴合到真实脚型上去;5)光照一致性计算:在6个像素范围内搜寻光照一致性最好、亚像素级的图像匹配点,生成空间点,生成较为精确的模型;6)结束步骤:输出捕捉了脚型大致外形的估计模型。
8.根据权利要求1或2所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述细分网格模型的步骤是:首先检测各视图像中的特征并切割特征生成平面特征点,然后匹配平面特征点生成新增空间点,然后用新增空间点细分网格,并在多分辨分析的框架下重复以上步骤迭代细分网格,直到图像中没有更细节的特征,完成稠密重建。
9.根据权利要求3所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述细分网格模型的步骤是:首先检测各视图像中的特征并切割特征生成平面特征点,然后匹配平面特征点生成新增空间点,然后用新增空间点细分网格,并在多分辨分析的框架下重复以上步骤迭代细分网格,直到图像中没有更细节的特征,完成稠密重建。
10.根据权利要求4所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述细分网格模型的步骤是:首先检测各视图像中的特征并切割特征生成平面特征点,然后匹配平面特征点生成新增空间点,然后用新增空间点细分网格,并在多分辨分析的框架下重复以上步骤迭代细分网格,直到图像中没有更细节的特征,完成稠密重建。
11.根据权利要求5所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述细分网格模型的步骤是:首先检测各视图像中的特征并切割特征生成平面特征点,然后匹配平面特征点生成新增空间点,然后用新增空间点细分网格,并在多分辨分析的框架下重复以上步骤迭代细分网格,直到图像中没有更细节的特征,完成稠密重建。
12.根据权利要求6所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述细分网格模型的步骤是:首先检测各视图像中的特征并切割特征生成平面特征点,然后匹配平面特征点生成新增空间点,然后用新增空间点细分网格,并在多分辨分析的框架下重复以上步骤迭代细分网格,直到图像中没有更细节的特征,完成稠密重建。
13.根据权利要求7所述的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的系统,其特征是,所述细分网格模型的步骤是:首先检测各视图像中的特征并切割特征生成平面特征点,然后匹配平面特征点生成新增空间点,然后用新增空间点细分网格,并在多分辨分析的框架下重复以上步骤迭代细分网格,直到图像中没有更细节的特征,完成稠密重建。
技术领域本发明涉及一种针对脚型进行三维测量和重建的系统,能够利用多个相机同时摄取脚型的多幅图像全自动地重建脚型三维表面,可用于脚型测量、鞋及楦定制、运动分析、足部医疗等多个领域,具有使用简单、成本低廉等特点。
背景技术随着社会现代化程度和物质生活水平的不断提高,人们对自己所穿鞋子的舒适性和个性化的需求日益增强。世界上不存在两个完全相同的脚型,即使穿同一鞋号的两个人,其脚的长短不同、胖瘦不同、足弓高度也会不同,走路的姿势也不相同,同一双鞋穿在脚上舒适度不会相同。尤其是从事特定职业的人员,如运动员、舞蹈演员、军人等,对个性化鞋靴的需求更加迫切。要设计出一双个性化的鞋靴,脚型三维测量是首要的技术环节。目前脚型的三维测量主要有四种方法,包括:1、手工测量方法,例如传统的老方法,用卡尺、软尺等工具测量关键部位,速度较慢、精度低,而且不能直接得到三维模型。2、激光测量方法,如CANFIT-PLUS
TMxa0Yeti
TMxa03Dxa0Footxa0Scanner,是目前十分流行的三维数据获取方式,精度高、适用范围广,但设备的价格昂贵。主要部件有高速摄像头、激光发射器、信号处理器、高精度步进电机等。由于采用了扫描的方式,因此速度慢,一般在数分钟以上;并且脚型的首尾,精度很低,难于处理。但是激光测量方法易受物件表面光学性质影响,由于脚型这种人体表面皮肤纹理丰富,光学性质多变,因此并不适用。3、接触式测量,如威力手,价格便宜,但是手动操作、速度较慢、精度较低。而且最重要的是,对于脚型这种包裹着柔软肌肤的对象,接触式测量并不合适。4、相机测量方法,如Footxa0inxa03Dxa0withxa0foamxa0impression以及潘云鹤的系列方法,等等。Footxa0inxa03Dxa0withxa0foamxa0impression是手持式的二相机设备,围绕目标对象拍照,然后从图像进行三维重建。由于设备在移动,因此不同角度的图像需要进行坐标转换,整个技术实现难度较大,需要手工调节的地方比较多,精度一般,目前还没有全自动的方法。潘云鹤捉供了一系列的相机测量脚型方法,“基于特定网格图案的三维脚型测量和建模的方法”(中请号200310108856.2)需要穿上印有特殊网格的袜子,有一定的限制,同时精度也比较低;“面向稀疏网格的基于标准脚变形的三维脚型快速获取方法”(申请号2005100612723)及“面向稀疏网格的基于曲面细分的三维脚型数据测量方法”(申请号200510061271.9),先建立标准脚型库,然后手工对齐稀疏网格模型和目标脚型,再根据的脚长脚宽信息从标准脚型库中选取一个脚长脚宽信息与之相接近的标准脚模型,再手工调整标准脚模型的位置和姿势,最后手工寻找标准脚模型和稀疏网格脚模型之间的对应点,根据对应点重新修改稀疏网格脚模型的控制顶点,由新控制顶点对稀疏网格脚模型进行重建,然后再网格细分,得到三维脚型数据,整个方法基本手工完成,并且标准脚型库难于建立。本发明所涉及的方法,不需要在脚上设置标记点,也不需要穿着特殊的袜子,直接对脚型成像进行三维重建。在重建中,不需要脚型库,而是从鞋楦样本集中生成统计变形模型,然后用统计变形模型去拟合目标脚型,然后再细分统计变形模型,最后得到目标脚型的三维表面。这样处理的优点是:从鞋楦样本集中生成统计变形模型比从脚型库生成统计变形模型简单准确,容易实施;生成的统计变形模型数据更少,操控更容易。本方法与直接从图像中恢复空间点相比,中间多了个统计变形模型的步骤,降低了难度,增加了可靠性。本方法把硬件装置和软件系统有机地结合在一起,既避免了单一硬件实现的高成本问题,也避免了单一软件实现的低精度问题,自动化程度高、可操作性强,利于推广使用。
发明内容本发明所要解决的技术问题在于,提供一种不需要在脚上设置标记点,也不需要穿着特殊的袜子,直接对脚型成像进行自动三维重建的方法。本发明的特征是包括以下具体步骤:1、生成鞋楦统计变形模型:选择鞋楦样本,构成鞋楦样本集,并设计标记点,获取样本的标记点生成点分布模型,然后从样本集的点分布模型集进行主成份分析生成鞋楦统计变形模型;2、设置成像环境:按鞋楦统计变形模型布置多个相机,再布置灯光;3、摄取图像:脚型标定模板成像,标定各相机的内外参数,然后再对脚型成像;4、初估计脚型:用鞋楦统计变形模型初估计脚型,包括姿势估计和形状估计;5、生成网格模型:将初估计模型转换成网格模型;6、细分网格模型:从各视图像的特征生成新增空间点,细分网格模型,细分过程多分辨率迭代进行直到各图像中无法切割出更细节的点,细分结束;7、网格整理优化,输出脚型三维模型。本发明的特点是先用鞋楦的统计变形模型捕捉脚型的大致外形,然后用网格细分的方法捕捉脚型的细节特征,先大特征后小特征,多分辨率、从粗到细地恢复脚型表面。其中鞋楦代表了脚型的共性,用鞋楦的点分布模型代表鞋楦,用鞋楦的统计变形模型代表鞋楦形状的统计属性;先用仅有少量点的变形模型捕捉脚型的大致外形,然后迭代细分初始模型,保证了重建模型的形状随着目标形状而变化,同时又保证重建模型所能达到的精度随各视图像所提供的信息量增加而增加,即重建模型的拓朴能自动适应目标形状,重建模型的精度能自动适应图像信息量。本发明作为一种改进,所述标记点由鞋楦样本集的底样图及侧立面图的关键点所衍生,并能反映鞋楦形状特征。本发明作为一种改进,所述生成鞋楦统计变形模型具体包括以下步骤:1、选择鞋楦样本,构成鞋楦样本集;2、设计标记点,在每只鞋楦样本上确定标记点的位置,然后用三坐标扫描仪把标记点的位置扫描到计算机,作为样本的点分布模型;3、把鞋楦样本集中各样本的点分布模型对齐,保证整个样本集上各样本间的距离最小化;4、采用PCA方法对从样本集的点分布模型集进行主成份分析,生成鞋楦的统计变形模型,将鞋楦的形状分解成共性和个性两部分,而个性是个性因子与个性向量的乘积。作为一种改进,所述根据鞋楦统计变形模型布置多个相机具体包括以下步骤:1、初始步骤:引入前面步骤所产生的鞋楦统计变形模型,并预设模型点在轮廓内成像信息量、轮廓上成像信息量的阈值,将每个模型点的初始信息量设为0;2、计算相机分布球:根据相机焦距、目标大小等已知参数计算相机分布球的半径R;3、计算主形状因子信息量最多的相机位置:在相机分布球上计算出包含鞋楦统计变形模型中主形状因子信息量最多的相机位置;4、输出相机位置:确定输出的相机位置点,增加该相机位置下可见模型点及轮廓上模型点的信息量,并去除在轮廓内成像信息量、轮廓上成像信息量分别大于设定阈值的模型点;5、计算新统计变形模型:重新计算模型点减少后的新鞋楦统计变形模型;6、迭代计算;重复本环节的步骤3、4、5,直至统计变形模型中所有模型点都被充分成像,都能够根据图像信息重建出来;7、结束步骤:输出相机位置点的坐标,据此坐标布置相机。本发明作为一种改进,所述根据鞋楦统计变形模型初估计脚型具体包括以下步骤:1、初始步骤:引入前面步骤所产生的鞋楦统计变形模型、相机参数及所摄取的脚型图像;2、计算脚型大小、方位和位置等姿势参数:选择从脚底方向成像、位置较正的图像,根据脚底的图像和承重玻璃板上的刻线计算脚型大小和方位,然后把脚型的多幅图像都分割为二值图像,即把脚型和背景分割开来,脚型为黑色,背景为白色,然后求取脚型在各图像平面中的重心,并由此计算脚型在空间中的重心,此即脚型的位置;3、形状初估计:把脚型的多幅图像都分割为四值图像,即把脚型和背景分割开来,脚底与玻璃板接触、图像中颜色较深的部分为黑色,脚底部分不与玻璃板接触、图像中颜色较浅的部分为深灰色,脚型上不属于脚底、图像中颜色最浅的部分为浅灰色,背景为白色,然后变化鞋楦统计变形模型中的个性因子,使模型投影点的颜色的累加和最大,得到脚型的初估计形状;4、轮廓一致性计算:轮廓一致性计算迭代进行,每一轮迭代中先把模型点区分为内点和外点,计算内点和外点的移动量,然后用整个模型仍受鞋楦统计变形模型约束,因此计算与鞋楦统计变形模型相近的新形状,逐次把初始估计模型贴合到真实脚型上去;5、光照一致性计算:在多个像素范围内搜寻光照一致性最好、亚像素级的图像匹配点,生成准确的模型点位置,获取较为精确的模型;6、结束步骤:输出捕捉了脚型大致外形的估计模型。本发明作为一种改进,所述细分网格模型的步骤是:首先检测各视图像中的特征并切割特征生成平面特征点,然后匹配平面特征点生成新增空间点,然后用新增空间点细分网格,并在多分辨分析的框架下重复以上步骤迭代细分网格,直到图像中没有更细节的特征,完成稠密重建。本发明解决了制鞋厂商按脚订鞋的主要技术困难,具有以下三个优点:1、不需要在脚上设置标记点,也不需要在脚上穿着特殊袜子,对任意状态下、能成像的脚,都可以三维重建。重建方法中的统计变形模型提供了初始估计,而迭代细分能把初估模型变形成目标对象,因此这个方法对目标脚型没有限制,并且既有一定的快速性也对不同形状的脚型有一定的适应性;2、本方法中采用了统计模型、变形模型、图像分割、网格迭代细分等多种方法,从脚型图像中多次提取线索进行表面重建,与其它的表面重建方法截然不同;3、这种方法只使用相机和计算机等器件,重建任务由软件全自动完成,虽然精度没有激光测量设备高,但是对脚型这种不需要也没办法达到高精度的测量,比较实用。而且不需要进行扫描,只需要快门成像时间和计算处理时间,速度快;适应面广,可以广泛应用于精度要求不是特别高的情况下。
附图说明图1为本发明的方法流程图;图2是鞋楦设计的两个关键视图,底样图和侧立面图;图3为鞋楦的标记点、经线、纬线在右侧面上位置示意图;图4为鞋楦的标记点、经线、纬线在底面上位置示意图;图5为鞋楦的标记点、经线、纬线在左侧面上位置示意图;图6为鞋楦的58个标记点空间位置示意图;图7是在鞋楦上用白色细胶带粘贴经线、纬线的示意图;图8是鞋楦样本集的点分布模型对齐算法流程图;图9为本发明的成像环境示意图;图10为脚型标定模板的示意图;图11为处于脚底位置的视图像成像原理示意图;图12为本发明成像环境的笛卡尔坐标和球坐标定义示意图;图13为本发明的成像环境、灯光布置等总体结构图;图14为相机1所成视图像;图15为相机2所成视图像;图16为相机3所成视图像;图17为相机4所成视图像;图18为相机5所成视图像;图19为相机6所成视图像;图20为相机7所成视图像;图21为相机8所成视图像;图22为8幅视图像先进行二值化,然后计算前景的重心,再由此计算脚型在空间中重心的示意图;图23为形状初估计时把脚型图像分割为四值图像的示意图;图24为图像驱动边缘投影点在空间移动的示意图;图25步骤6细分网格模型的流程图;图26为网格投影切割各视图像的示意图;图27为三角形的可见视与主视的说明图;图28为特征点、匹配点和空间点的空间位置关系;图29为平滑约束、顺序约束、光照一致性约束的约束关系示意图。
具体实施方式本发明的由多个相机同时摄取的多幅图像全自动重建脚型三维表面的实施方式,流程如图1所示,包括以下七个步骤:1、生成鞋楦统计变形模型:选择鞋楦样本,构成鞋楦样本集,并设计标记点,生成统计变形模型,获取样本的标记点生成点分布模型,然后从样本集的点分布模型集进行主成份分析生成鞋楦统计变形模型。1.1)选择鞋楦样本,构成鞋楦样本集。鞋楦样本集的选择对后面所生成的统计变形模型有着重要影响,也因此影响脚型初估计模型的精度。不同的样本集,将得到不同的统计变形模型。鞋楦样本集如果侧重某类型的鞋楦,那么统计变形模型表达此类鞋楦将更准确,而无法其它类型的鞋楦将表达得粗糙一些。如果样本集全集中在某类型特别的鞋楦上,得到统计变形模型将可能无法表达其它类型的鞋楦。因此,要从定制某种类型鞋楦,就要选择相应类型的鞋楦样本。本实施例选择了121只不同的圆头皮鞋鞋楦,其中小童、中童、大童、成年女性、成年男性各个码段的样本数量配置如表1所示,数量配置是根据鞋楦分档和人口分布统计规律两方面因素得出的。表1鞋楦样本的组成
![]()
ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/> 1.2)设计标记点,并在每只鞋楦样本上确定标记点的位置,然后把标记点的位置扫描到计算机,作为样本的点分布模型,具体包括以下四个步骤:(1.2.1)由鞋楦底样图及侧立面图的关键点衍生能反映鞋楦形状特征的鞋楦标记点。如图2是鞋楦设计的两个关键视图,底样图和侧立面图。在过去鞋楦设计时首先确定这两个图中的关键点,然后得到底样图和侧立面图中的轮廓,再由此生成三维的鞋楦。本实施例中,以楦跟端点O点为起点,楦顶端点A点为终点,OA长度为1,分别在1、0.92、0.83、0.72、0.67、0.61、0.58、0.50、0.42、0.37、0.15、0等位置设置关键点,如表2所示。表2底样图中关键点的位置
![]()
ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/> 在侧立面图上,J1点为起点,O4点为终点,J1O4长度为1,分别在位置0、0.05、0.11、0.18、0.22、0.30、0.40、0.56、0.94、1上设置点,如表3所示,其中,J1为底样图中J的对应点。表3侧立面中关键点的位置
![]()
ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/> 选择由这些关键点所衍生的点作为标记点,点共58个点,其编号及每个标记点的位置如图3、图4、图5、图6、图7所示。在鞋楦样本上确定标记点时,首先手工设定鞋楦脚尖点或平头鞋楦平头部分脚底上的中点为标记点1,过标记点1用细的带状物手工设置至少五条相对分开且能反映鞋楦特征的纬线,然后在鞋楦上用细的带状物手工设置有至少七条相对分开且能反映鞋楦特征的经线,设定经线与纬线的交点,取能反映鞋楦形状特点的交点为标记点。作为一种优选方案,所述纬线为五条,所述细的带状物为白色细胶带;第一纬线:设定鞋楦统口前点为标记点6,鞋楦统口后点为标记点9,先拉伸白色细胶带成直线再过标记点1、标记点6和标记点9粘帖到在鞋楦上成封闭线圈;第二纬线:将鞋楦摆正,自上向下观察鞋楦,用白色细胶带粘帖鞋楦上的最大轮廓构成封闭线圈;第三纬线:设定第一纬线与楦底面交点为标记点11,白色细胶带先拉伸成直线,过标记点1和标记点11粘帖白色细胶带到楦面上构成封闭线圈;第四纬线:过标记点1和标记点9粘帖白色细胶带,构成最短的封闭线圈;第五纬线:在第一纬线上取楦后跟最突出点为标记点10,胶带先拉伸成直线过标记点10和标记点1粘帖白色细胶带到楦面上为第五纬线,所述第五纬线取鞋楦后跟部分。5条纬线位置的确定如图3、图4、图5所示。作为一种优选方案,所述经线为八条,取点1和点11的线段长度为1,以标记点11为起点,分别在长度0.15、0.25、0.37、0.42、0.58、0.61、0.67、0.72、0.83、0.92的位置取标记点,记为H、H3、G、G3、F、J、E、D、C、B,其中H点为标记点12,H3为标记点13,G3为标记点14,J为标记点15,B为标记点17;第七经线:过H点粘帖在楦底上垂直于第一纬线且在楦面上与第二纬线垂直的封闭线圈;第六经线:过H3点粘帖垂直于第一纬线、过标记点6且在楦面上构成围长最小的封闭线圈;第五经线:过G粘帖与第一纬线垂直的直线,所述直线与第二纬线在楦底面外侧的交点作为G1,即标记点24,过标记点24、标记点14和标记点6在楦面上粘帖构成围长最小的封闭线圈;第四经线:过标记点24、标记点14和楦背上最凹的点粘帖白色细胶带为第四经线,第四经线是经过标记点24、标记点14围长最小的封闭线圈;第三经线:过F作垂直于第一纬线的直线,所述直线与第二纬线在楦底面外侧的交点作为F1,即标记点23,过E作垂直于第一纬线的直线,此直线与第二纬线在楦底面内侧的交点为E1,即标记点30,过标记点23、标记点15和标记点30在楦面上粘帖构成围长最小的封闭线圈就是第三经线;第二经线:过D作垂直于第一纬线的直线,此直线与第二纬线在楦底面外侧的交点为D1,即标记点22,过C作垂直于第一纬线的直线,此直线与第二纬线在楦底面内侧的交点为C1,即标记点31,过标记点22、标记点31在楦面上粘帖构成围长最小的封闭线圈;第一经线:过B点粘帖垂直于第一纬线的白色细胶带,构成围长最小的封闭线圈;第八经线:过标记点11、标记点6在楦面上粘帖构成围长最小的封闭线圈。8条经线位置的确定如图3、图4、图5所示。如图3、图4、图5、图6、图7所示,采用上述的设定方法后,在鞋楦上设定了58个点。其中,点1-点17(第一纬线)是侧样图的关键点,点1和点21-点32(第二纬线)是底样图的关键点。点1、点11和点41-点51构成第三纬线,以及点1、点9和点60-点75构成第四纬线,点80、点10和点81构成第五纬线。第一纬线-5共5条纬线。而点17、点21、点41、点75、点2、点60、点51、点32(第一经线)构成的截面,点22、点16、点31、点50、点61、点3、点74、点42(第二经线)构成的截面,点23、点15、点30、点49、点62、点4、点73和点43(第三经线)构成的截面,点24、点14、点29、点48、点63、点5、点72和点44(第四经线)构成的截面,点24、点14、点29、点47、点64、点6、点71(第五经线)构成的截面,点25、点13、点28、点46、点65、点6、点70和点45(第六经线)构成的截面,点26、点12、点27、点80、点67、点68和点81(第七经线),点6、点66、点80、点11、点81和点69(第八经线)构成的截面,共8个截面构成鞋楦曲面的经线,8条经线位置的确定如图6、图7所示,这些经线都是脚型测量中国家标准规定测量位置。图6中方框中的点是前面可见的标记点,圆圈中的点是背面不可见的标记点。(1.2.2)标记点提取方法。为了保证同名标记点在不同的鞋楦上对应位置,在扫描之前,先在鞋楦上用白色细胶带标记经纬线,如图7所示。因为经纬线是有意选择比较容易确定位置的标记点所确定的线,因此经纬线的交点位置也得能得保证。(1.2.3)然后采用接触式的三坐标扫描仪Immersionxa0MicroScribexa0MX将标记点扫描到计算机。(1.2.4)一个鞋楦样本扫描得到的一个点分布模型,121只鞋楦样本扫描得到的121个点分布模型。1.3)把鞋楦样本集中各样本的点分布模型对齐到同一坐标系下,然后用ICP算法把各个点分布模型的同名点对齐,保证整个样本集上各样本间的距离最小化,得到鞋楦样本集的对齐点分布模型,流程如图8所示,具体包括有以下6个步骤:(1.3.1)求各个点分布模型的平均模型S,平均模型S是把所有点分布模型的同名点坐标求平均后得到的新点分布模型,计算式如下:
S=1121Σi=1121si]]> 式中,s
i表示各鞋楦样本的点分布模型。(1.3.2)各点分布模型s
i对齐到平均模型S时经过缩放λ、平移T、旋转R等运算。平移矢量T的三个坐标分量分别为T
x、T
y、T
z,旋转R对应的与三个坐标的夹角为α、β、γ。总对齐运算量C定义为:
C=1121Σi=1121(|λ|+|Tx|+|Ty|+|Tz|+|α|+|β|+|γ|)]]> 总对齐运算量C清零。(1.3.3)选择某一鞋楦样本的点分布模型s
i,将此点分布模型经缩放λ、平移T、旋转R等运算对齐到平均模型。如果点分布模型s
i与平均模型距离最小,即点分布模型s
i中各标记点与平均模型中各标记点之间距离的累加和最小,执行下一步;否则继续缩放、平移、旋转。点分布模型s
i与平均模型的距离D定义如下:D=[S-s
i]
IW[s
i-S]式中,W是单位对角阵。将此样本点分布模型对齐到平均模型的缩放λ、平移T、旋转R的运算量加入总对齐运算量C。(1.3.4)判断样本集每一点分布模型都已经处理完毕,若是执行下一步;若否,继续执行本环节的步骤1.3.3;(1.3.5)对齐后的点分布模型集更加整齐,然后再求新的平均模型。新平均模型比上一次的平均模型更加准确,更能代表整个样本集的共性。如此迭代,直到所有模型都已对齐,对齐运算量不再增加,平均模型也不再变化。收敛条件为总对齐运算量C在迭代中不再变化,即本次对齐的运算量与上次对齐的运算量相比,变化幅度ΔC接近于0,即:ΔC=∑(|Δλ|+Δ|T
x|+Δ|T
y|+Δ|T
z|+Δ|α|+Δ|β|+Δ|γ|)→0(1.3.6)输出对应点模型。本实施例没有一次性对齐各样本点模型,而是迭代对齐,以两个模型上所有点的同名点间距离之和累加作为两个模型的距离,以各个样本的点模型到平均鞋楦的对齐移动量收敛为对齐操作的结束条件,包括比例λ、旋转R和平移T不再变化,这种对齐能让每个标记点的分布尽量反映真实情况。1.4)采用主成份分析方法从样本集的点分布模型集生成鞋楦的统计变形模型,将鞋楦的形状分解成共性和个性两部分,而个性是个性形状因子与个性形状因子系数的乘积。主成份分析方法是一种信息提取方法,将原来相关的多个变量重新组合成一组相互独立的少数几个综合指标,并且反映原多个变量的主要信息。这些独立的少数综合指标就称为个性形状因子。主成分分析计算步骤如下:首先把每个点分布模型表示成58个标记点P
1,P
2…P
58的列向量s
i={P
1,P
2…P
58}
T而每个标记点P
i表示成1×3的行向量。设d(s
i)表示点分布模型s
i与平均模型S的偏差d(s
i)=s
i-S所有点分布模型的偏差一起构成偏差矩阵Δs=[d(s
1)d(s
2)…d(s
121)]则协方差矩阵C
∑可以表示为
CΣ=1121Σi=1121{d(si)[d(si)]T}=1121Δs(Δs)I]]> 求解协方差矩阵C
∑的特征值和单位特征向量,并按特征值从大到小地排序,设排序后的特征值和单位特征向量分别为λ
PCAi和U
i:C
∑U
i=λ
PCAiU
ixa0xa0xa0xa0i=1,2…,λ
PCAi≥λ
PCA(i+1)式中,U
1,U
2…U
174依次是单位特征向量,也是鞋楦的个性形状的组成部分,即个性形状因子,λ
PCA1,λ
PCA2…λ
PCA174表示了相应个性形状因子占总个性形状的权重,即对总个性形状影响的大小。由于d(s
i)是零均值的,因此小的特征值意味着对总个性形状的影响很少,可以忽略不计,因此用排序在前、权重大的N个单位特征向量就可以准确地描述原来所有单位特征向量所描述的形状信息,去除了重复冗余的信息,并且失去的信息不多。这正是主成分分析方法进行数据压缩和信号降维的依据。在本实施例中,选择14个排序在前、权重大的单位特征向量,排列成行向量U=[U
1xa0U
2…U
14],称为个性形状因子向量。在本实施例中,对121只鞋楦形状的统计分析表明,这14个排序在前、权重大的单位特征向量占据了总个性形状的96%,因此个性形状向量U可以充分地表达鞋楦形状,并且损失不大。鞋楦的统计变形模型,表达为:
si=S+U×b3D=S+Σi=114Ui×bi]]> 其中,S是平均模型,代表鞋楦的共性部分;U是个性形状因子向量,代表鞋楦个性形状因子的组合。b
3D=[b
1xa0b
2…b
14]是个性形状因子系数向量,其中的元素b
i是个性形状因子系数。对个性形状向量按个性形状因子系数向量b
3D进行线性组合,就得到具体鞋楦;不同的个性形状因子系数向量b
3D值,对应不同的鞋楦形状。个性形状因子系数向量b
3D中的每个因子只能在一定范围内变化,可以认为,超出此范围的模型就不再是鞋楦。设:b
i∈[b
iminxa0xa0b
imax]个性形状因子系数向量b
3D的范围,可以称为鞋楦空间,由各个个性形状因子系数的范围共同界定,具体数值由鞋楦空间样本集的统计结果确定,范围大小设为D
max。显然,本步骤的说明仅作为举例。在不脱离本发明权利要求所述的原则和范围的情况下,可以对本步骤所涉及的标记点、各个分步骤所采用的计算方法进行种种变化。2、设置成像环境:按鞋楦样本集形状的统计属性布置多个相机和灯光,如图9、图10、图11、图12、图13所示,包括有:2.1)相机支撑框架1。如图9所示,所述相机支撑框架1设置有四根相互平行、间距相同且等高的纵梁11,所述四根相互平行的纵梁11上端通过两个相互交叉的横梁12固定,所述四根相互平行且间距相同的纵梁11中下部之间设置有四根支撑梁13,所述四根支撑梁13中的相对设置的撑梁13上设置有两模板支撑梁14,所述标定模板2通过两模板支撑梁14设置在相机支撑框架1中,所述相机3通过夹子设置在相机支撑框架1上,一种优选方案,所述纵梁11为1.7m,横梁12长度为2.1m,四条纵梁11和两条横梁12条方形钢条做成一个长方体的框架,在高度0.7m的地方用四根支撑梁13围成方形,然后方形的中间放置间距0.7m的两模板支撑梁14。2.2)脚型标定模板2。如图10所示,所述脚型标定模板2为透明的有机玻璃板,所述脚型标定模板2上具有多行多列且相隔一定间距的格子线,所述脚型标定模板2中心设置有中心标识,所述中心标识外围还设置有方位标识组,所述脚型标定模板2通过支架设置在相机支撑框架1中,一种优选方案,所述脚型标定模板2是一块长宽0.5m×0.7m、厚5cm的有机玻璃板,由聚甲基丙烯酸甲酯组成,高度透明,透光率达90%-92%,折射率n为1.49,用直径1cm的平头铣刀在有机玻璃板上刻标识,单面有如图10所示,共16×16条纵横线,线间距3cm,中心标识为“O”字与“十”的叠加体,以脚型标定模板2为原点,纵横线中的横线为X轴,纵横线的纵线为Y轴,方位标识组的位置及布局如下:坐标为[(-10.5,1.5)(-7.5,-1.5)]的方格中有0字;坐标为[(-10.5,10.5)(-7.5,7.5)]的方格中有1字;坐标为[(7.5,10.5)(10.5,7.5)]的方格中有2字;坐标为[(7.5,-7.5)(10.5,-10.5)]的方格中有4字;坐标为[(-10.5,-7.5)(-7.5,-10.5)]的方格中有3字;坐标为[(-16.5,16.5)(-13.5,13.5)]的方格中有6字;坐标为[(13.5,16.5)(16.5,13.5)]的方格中有7字;坐标为[(13.5,-13.5)(16.5,-16.5)]的方格中有8字;坐标为[(-16.5,-13.5)(-13.5,-16.5)]的方格中有9字;坐标为[(-19.5,19.5)(-16.5,16.5)]的方格中有”/”字;坐标为[(16.5,19.5)(19.5,16.5)]的方格中有”×”字;坐标为[(16.5,-16.5)(19.5,-19.5)]的方格中有”*”字;坐标为[(-19.5,-16.5)(-16.5,-19.5)]的方格中有”十”字;坐标为[(-22.5,22.5)(-19.5,19.5)]的方格中有”O”字;坐标为[(19.5,22.5)(22.5,19.5)]的方格中有”OO”字;坐标为[(19.5,-19.5)(22.5,-22.5)]的方格中有”OOO”字;坐标为[(-22.5,-19.5)(-19.5,-22.5)]的方格中有”OOOO”字。上述坐标中四个数值分别表示左上角的x、y坐标,右下角的x、y坐标。上述方位标识组为不同图案的四组,每组方位标识组为相对于中心标识位于不同的层次上的四个图案,设置方位标识组有利于辨识方位,降低建模中的计算量;采取至少三组方式标识,是为了防止脚遮住部分方位标识后的仍能方便地辨识方位,方位标识设计三组或五组或其它组数也可。2.3)脚底图像的补偿。如图9所示,有三个相机3处于脚型标定模板2下方的位置,必须透过有机玻璃板成像,由于光线穿过有机玻璃板时有侧向偏移,因此下方的相机3所成图像必须经过补偿计算后才能用于多视重建,处于脚底位置的视成像模型如图11所示。补偿方法:如图11所示,脚型标定模板2下方相机3采集到的图像中每一像素点根据已知参数,包括脚型标定模板厚度D、相机3坐标、相机3离脚型标定模板高度H、像素点坐标、折射率n,计算出像素点在相机平面上偏移距离du和dv,重新成像。相机3在玻璃板下高H的地方,按几何光学的原理,模板上的点P(X
P,Y
P,0)成像为p,相比没有玻璃板的情况,侧向移动了距离d:
d=Dsinα1(1-cosα1n2-sin2α1)]]> 设相机光心坐标(X
C,Y
C,Z
C),有如下关系:Z
C=-(D+H)
sinα1=(Xc-Xp)2+(Yc-Yp)2/H2+(Xc-Xp)2+(Yc-Yp)2cosα1=H/H2+(Xc-Xp)2+(Yc-Yp)2]]> 经过计算,坐标(0,0)的坐标原点在位置为(-600,-200,-440)的相机上偏移d为2.2193mm。从上式可以看出,可以用du和dv代替d,u、v方向可以分开处理,计算出du和dv。2.4)相机3的布置。为了分析相机布置的问题,对人眼的观察机制进行总结,正常状态时观察人时只需要正面一张照片,就可得知此人是谁;但即使是熟人,如果仅有特征不明显的侧面照片,那么就很难猜到此人是谁的内容;如果是背面照片,更难得知,这说明不同的视有不同的信息量,从信息量丰富的视可以获得较多的三维重建线索,因此,视布置的主要任务就是让每个视包含的信息尽量多,视间重复的信息尽量少。因为鞋楦统计变形模型代表了鞋楦形状的统计属性,并且其中的个性形状变化因素有人有小、有主有次。按照鞋楦形状的统计属性计算相机的位置,选择能在图像中尽量反映主要形状变化因素的视角成像。样本鞋楦的统计变形模型为:
si=S+U×b3D=S+Σi=114Ui×bi]]> 个性因子系数向量b
3D唯一地决定了鞋楦的形状。因此,能尽量反映地个性因子系数向量b
3D中各个元素的视就是信息含量大的视。设P
proj是向某图像平面成像的投影矩阵,模型s
i投影后为:P
proj×s
i=P
proj×S+P
proj×U×b
3DP
proj×U×b
3D是投影后得到的平面形状,可以认为:投影后得到的平面形状P
proj×U×b
3D的变化空间越大,对空间的个性因子系数向量b
3D表现得越充分,视包含的信息量越多;投影后得到的平面形状P
proj×U×b
3D的变化空间越小,对空间的个性因子系数向量b
3D表现得越不充分,视包含的信息量越少。P
proj×U×b
3D的变化空间V
proj按下式计算:
![]()
ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/> 式中λ
PCAi个性形状因子U
i特征值,(b
imax-b
imin)是个性因子系数向量b
3D中元素b
i的变化空间,λ
PCAi是为各个个性因子设置权重。14个个性因子系数变化空间投影后的累加,可以看作此位置下相机对主要形状变化的反映,也可以看作此位置视的信息量。根据以上原理,相机首先选择信息量最大的位置,然后在保证信息重复尽量少的情况下计算其余位置中信息量最大的位置。为了保证视间信息重复尽量少,用平均鞋楦模型的标记点的成像次数来排除视间信息冗余。原则上,每个标记点被两个相机成像,就可以被重建;但事实上,标记点可能需要两个以上相机成像,才能被准确重建。并且,如果标记点成像在模型的轮廓上,将比成像在轮廓内更容易定位、匹配和重建,两种情况所需要的相机成像数量不同。因此对平均鞋楦的58个标记点设置在轮廓内成像信息量、轮廓上成像信息量两个纪录。当标记点在轮廓内成像信息量和在轮廓上的成像信息量都大于预设阈值时,标记点就能够被重建,不再参与计算;对其余标记点,重新计算新的统计变形模型。因为新统计变形模型的主要个性形状因子不再相同,因为由此确定的信息量最大的相机位置也不会相同。以上过程迭代进行,直到58个标记点在轮廓内成像信息量和在轮廓上的成像信息量都大于预设阈值时,就可以计算出合理的相机布置。根据以上原理,相机3的位置按以下步骤计算:(2.4.1)初始步骤:引入前面步骤1所产生的鞋楦统计变形模型,并预设模型点在轮廓内成像信息量、轮廓上成像信息量的阈值,将每个模型点的初始信息量设为0;(2.4.2)计算相机分布球:如果以脚型标定模板2的中心为原点,以模板支撑梁14的方向为Y方向,以竖直方向为Z方向,由此定义笛卡尔坐标,采用相同的原点和X轴,定义球坐标,如图12所示,根据已知参数(包括相机焦距、目标人小)计算相机分布球的半径R;(2.4.3)计算主形状因子信息量最多的相机位置:遍历相机分布球上各个位置,计算出信息量最人的相机位置;(2.4.4)确定输出的相机位置点,增加该相机位置下可见标记点及轮廓上标记点的信息量,并删除在轮廓内成像信息量、轮廓上成像信息量分别大于设定阈值的标记点;(2.4.5)计算新统计变形模型:重新计算标记点减少后的新统计变形模型;(2.4.6)迭代计算:重复步骤(2.4.3)、(2.4.4)、(2.4.5),直至统计变形模型中所有标记点都被充分成像,都能够根据图像信息重建出来;(2.4.7)结束步骤:输出相机位置点的坐标,据此坐标布置相机。按照上述方法对平均鞋楦的58个标记点进行计算,在理想状态下,六个位置点即可满足三维重建的要求,但为使重建效果更好,本实施例提供了一定的冗余,采用八个位置。定义笛卡尔坐标如图12所示,采用相同的原点和X轴,定义球坐标,那么由脚型的统计变形模型计算出的8个相机布置一种方案如图9和表4所示,其中相机3分辨率640×480,焦距40mm。相机3用夹子夹在相应位置,而且相机3可以二个方向旋转,表中角度α、β为球坐标,相机都处于半径746mm的球面上。表4各视实际位置(r=746mm,角度单位弧度,坐标单位mm)
![]()
ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/> 2.5)灯源4的布置。采用了8盏50W的灯源4,与相机3的相同定位坐标系下,每一相机3所在半径的延长线上设置有相同的灯源4,所述八个灯源4位于同一球面上,位置如表5所示,所述灯源4球面半径大于所述相机3球面半径,相机支撑框架1、脚型标定模板2、相机3和灯源4的总体布置如图13所示,灯源4球面半径为10m。表5各日光灯位置(r=10m,角度单位弧度)
![]()
ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/> 显然,本步骤的说明仅作为举例。在不脱离本发明权利要求所述的原则和范围的情况下,可以对本步骤所涉及的相机支撑框架、脚型标定模板、相机布置计算方法进行种种变化。3、摄取图像。先对环境中有刻度的透明脚型标定模板成像,据此图像标定各相机的内外参数,确定各相机的准确位置和焦距、光心等成像参数,然后脚型放置在模板上,获取脚型的8幅视图像。获取的脚型8幅视图像如图14、图15、图16、图17、图18、图19、图20、图21所示。4、初估计脚型。将鞋楦的统计变形模型作为脚型的初步估计模型,从各视图像中估计模型的姿势和形状,包括位置、大小、方向、形状,具体如下:4.1)初始步骤:引入前面步骤所产生的鞋楦统计变形模型、相机参数及所摄取的脚型图像;4.2)计算脚型大小:因为脚型轻踩在模板上,模板上刻写有如图10所示的图案。因此,从下向上看的视图中,将可以清晰地反映脚型的大小,如图18、图19、图20所示。根据鞋楦设计规律,脚型的长度取为脚底长度的1.067倍,将此长度赋给初估计模型。4.3)计算脚型方位:根据脚型的多幅图像估计脚型的方位。因为只对脚踝骨以下的部分感兴趣,小腿与玻璃平板的其余两个夹角对脚型没有影响,仅需计算玻璃平板上的旋转角度。从图14、图15、图16、图17、图21可以看出这点。因此,从下向上看的视图,如图18、图19、图20所示,可以清晰地反映脚型的方位。将此方位赋给初估计模型。因为有后继的迭代变形方法,因此重心和方位不需要精确估计。重心和方位的偏差在模型的变形能力范围内,经过多次迭代后会被移到准确位置。4.4)计算脚型位置:把脚型的多幅图像分割为二值图像,即把脚型和背景分割开来,脚型为黑色,背景为白色,如图22所示,然后求取脚型在各平面图像中的重心。根据交比不变性,脚型的中心投影到各视,仍然是各视的中心。根据各视图像的脚型平面重心,估计在空间中的脚型重心,将此重心作为初估计模型的重心,此即脚型的位置。4.5)形状初估计:把脚型的多幅图像都分割为四值图像,即把脚型和背景分割开来,脚底与玻璃板接触、图像中颜色较深的部分为黑色,脚底部分不与玻璃板接触、图像中颜色较浅的部分为深灰色,脚型上不属于脚底、图像中颜色最浅的部分为浅灰色,背景为白色,如图23所示,然后变化鞋楦统计变形模型中的个性因子,把模型点投影所在位置的颜色为模型点的颜色,使模型投影点的颜色的累加和最大,多次迭代得到脚型的初估计形状;4.6)轮廓一致性计算:初估计模型是鞋楦的统计变形模型,变化其中的个性形状因子系数,以使其在各视中的投影能与脚型在各视中的图像一致。本方法类似于用仅有少量点撑起的弹性袜子套到目标脚型上。如果袜子与目标对象不一致,有些点在脚型表面以外,而有些点在脚型表面以内,那么把在外面的点向里面移动,而里面的点向外面移动。同时,由于袜子的支撑点是鞋楦的统计模型,受到鞋楦统计参数的约束,必须仍然保持鞋楦的形状,因此每次这些移动不能只移动在外面的点或者在里面的点,而必须全部点一起移动。这些点相互牵制,不能一次移动就与目标对象一致,但是每次移动后,无论是外面还是里面的点,都更接近于目标对象。经过多次这样的移动,袜子必然与脚型一致,两者在各视图像中的投影吻合。具体包括以下五个步骤:(4.6.1)根据步骤3计算得到的各相机参数,把模型点向各视图像投影。把投影区域的外轮廓线连接起来,在轮廓上的点称为投影边缘点,相应的空间点称为边缘投影点。边缘投影点分为内点和外点,在真实脚型之内的点是为内点,否则就是外点;(4.6.2)区分内点和外点。把所有的边缘投影点设置为内点;如果此点在一个或者一个以上视图像上的投影处于真实脚型图像的平面区域之外,那么此点为外点;如果此点所有视图像上的投影都在真实脚型的平面区域之内,那么此点为内点。(4.6.3)计算每个边缘投影点与真实脚型的距离,由此距离驱动边缘投影点向目标表面移动。对每个边缘投影点P
i,如果仅在一个视上投影为边缘点,那么在其投影为投影边缘点的视图像V
m上,选取与投影边缘点p
im距离最近的真实脚型平面图像上的平面点p
m,构造由投影边缘点p
im作为起点、目标平面点p
m作为终点的平面变形矢量。边缘投影点按此矢量进行空间移动,初估计模型s
i变为新模型s
i’。如果边缘投影点P
i在多个视上投影为边缘点,按同样的方法在其投影为边缘点的多个视图像将可以构造多个平面变形矢量。如图24所示,标记点P
i在视V
m和视V
n中投影点分别是P
im和P
in。如果p
im在视V
m中平面变形矢量为
Tim→=(um,vm)]]> p
in视V
n中平面变形矢量为
Tin→=(un,vn)]]> 因为是已标定的图像,设视V
m的投影矩阵为P
prom,视V
n的投影矩阵为P
Prom,那么:
pim=PpromPipin=PpronPi]]> 空间变形矢量
![]()
ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="41"/>同样满足投影关系,因此:
pim=Tim→=Pprom(Pi+Ti→)pin+Tin→=Ppron(Pi+Ti→)]]> 上面两式相减得:
Tim→=umvm1′=PpromTi→Tin→=unvn1′=PpronTi→]]> 式中3个未知数、4个方程,求取最小二乘意义下的
![]()
ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="57"/>即空间变形矢量。将边缘投影点按空间变形矢量移动后,得到新的初估计模型s
i’。(4.6.4)因为模型必须保持鞋楦的形状,因此新模型s
i’必须满足鞋楦的统计变形模型s′
i=S+U×b
3D即b
3D=U
-1×(s’
i-S)因为个性因子系数向量b
3D只能在统计得到的范围内变化。如果由s
i’计算的b
3D超出了范围D
max,那么模型将不再是鞋楦的形状。因此,要把b
3D移入许可范围,即求取与此b
3D最接近、并且在范围内的b
3D’。新的个性因子系数向量b
3D’中各分量b
i’由原分量b
i按下式计算:
bi′=bi×Σi14(bi2/λPCAi)Dmax]]> 由新的个性因子系数向量b
3D’所确定的新鞋楦模型为:s″
i=S+U×b′
3D(4.6.5)重复本环节的步骤(4.5.1)、(4.5.2)、(4.5.3)、(4.5.4),每一轮迭代中先区分内点和外点,计算移动量,然后用形状约束移动量,最后计算新的形状,逐次把初始估计模型贴合到真实脚型上去,最后得到脚型的初估计模型。重复计算的结束条件为,新一轮迭代计算所得个性因子系数向量相比上次的个性因子系数向量的变化量Δb
3D,接近于0,即:Δb
3D→04.7)光照一致性计算:通过形状初估计、轮廓一致性计算,模型已经大致与脚型一致,除脚尖点外其余模型点的误差在2mm范围内。由于采用了鞋楦统计变形模型,脚尖点误差比较大。在小范围内搜寻光照一致性最好、亚像素级的图像匹配点。例如分辨率640×480的相机取10个像素,对此范围线性插值为100个亚像素,并对每个模型点在此范围内计算灰度最一致的匹配点,再生成空间点。4.8)结束步骤:输出捕捉了脚型大致外形的估计模型。显然,本步骤的说明仅作为举例。在不脱离本发明权利要求所述的原则和范围的情况下,可以对本步骤所涉及的初步估计计算方法进行种种变化。5、生成网格模型:将初估计点模型网格化,生成网格模型。6、细分网格模型。从各视图像的特征生成新增空间点,细分网格模型,细分过程多分辨率迭代进行直到各图像中无法切割出更细节的点,细分结束。流程如图25所示,包括以下五个步骤:6.1)将网格投影到各视图像,将各幅图像分割成块,如图26所示。可以看出,这种不同视中的平面三角形之间有对应关系。并且不同视中的对应平面三角形,包含有相应空间三角形不同的信息量。正向面对空间三角形的视,包含的信息量最丰富,可以获得较多的三维重建线索;非正向面对空间三角形的视,包含的信息量较少。对于空间网格,将各个网格点进行投影,同时再考虑网格三角形的法向与相机光轴的位置关系以及此三角形是否被遮挡,就能得到网格的投影。如图27所示,相机V
p、V
q在三角形的背面,三角形被遮挡,此三角形在V
p、V
q视图像上没有投影;而相机V
i、V
j、V
k没有被遮挡,是此三角形的可见视。将相机法向与过三角形中心的法线之间的夹角定义了视角,如图27中的θ。将可见视按视角θ升序排列,得到三角形的可见视队列,图27中三角形的可见视队列为{V
i,V
j,V
k}。其中第一个视,即视角θ最小的视,被称为主视。主视是与三角形法线的夹角最小、三角形在其上投影面积最大、视线最“正”的,显然,主视最能反映空间三角形中的特征。6.2)采用特征检测算法,检测各视图像中的特征并切割特征生成平面特征点。其中特征检测算法采用多分辨率,分辨出的特征等级由特征检测算法的参数确定。抽取图像特征的方法很多,例如Marr-Hildreth算子、LOG算子、Canny算子、Wallis算子、Sobel算子、LOG滤波器、小波分析、基于广义熵映射的方法等等。一种优选方案,采用Marr-Hildreth算子检测图像特征,然后切割特征,生成平面特征点。切割特征是用半径为r的圆去截取特征,以特征的一边端点为圆心,以半径作圆,与特征相交生成一个特征点;然后以此特征点为圆心,向另一端点推进,继续切割,直到到达另一边的端点。如果边缘两端点间间距小于半径,将边缘的任一端点作为切割出的交点。随着算法的不断迭代,切割图像特征的圆半径也逐渐变小的,特征越来越细。设定所有视图像中的投影三角形的最长边长度为L
maxinmesh,最短边长度为L
mininmesh,两者最大的比例范围为2。如果边长超过比例,则在长边的1/3-2/3范围内,取灰度梯度最大值的位置作为切割点。同时,在如果特征点在网格点投影的0.1×L
mininmesh范围内,则被删除,不再进行后面的处理。因为有时切割点会聚集在网格点的投影附近,用这些点细分网格会产生大量尺度两极分化的三角形。6.3)在其它视图像对应的分割区内搜索平面特征点的匹配点,生成新增空间点,然后用新增空间点细分网格。对每个空间三角形进行以下处理:首先找到空间三角形的主视,然后在主视的相应投影三角形内找到特征点,再在空间三角形的其它可计算视中寻找这些特征点的匹配点,然后特征点与匹配点生成新增空间点,然后用新增空间点细分网格,不是主视中相应投影三角形内的特征点,不做处理。其中搜索特征点的匹配点结合了对极约束、空间网格对图像投影分割图像约束、光照一致性约束来保证匹配点的准确性。寻找匹配点的主要依据是对极约束、唯一约束、平滑约束、顺序约束、光照一致性约束等五种线索,如图28、图29所示。图28中,空间点M在二个视O和O`中分别成像m和m`,并且O`的光心在O中的像为e,O的光心在O’视中的像为e’。由投影几何关系可知,视图像O中过e和m两点的直线l与视图像O’中过e’和m’两点的直线l’是对应的直线,两条直接线上的点一一对应。如果已知特征点m,那么匹配点m’就在与直线l的对应线l’上,这就是对极约束;而且m与匹配点m’两者是唯一对应的,这被称为唯一约束;如图29所示,如果空间点L、X所成像都比较接近,并且灰度变化不大,那么这两点的空间距离也不会远,这被称为平滑约束;并且,空间点L、X在各视图像之间的位置关系在一定条件下是相同的,L在一个视中的像出现在X的像上边,在其它视中也会如此,这是顺序约束;而最重要的是,空间点在各个视中的像,在理论上灰度应该是一样的,这被称为光照一致性约束,如图28中的m和m’两点的色彩和灰度都应该一致;空间位置约束,如图26中的灰色空间三角形投影在两个视图像中,那么视V
i中的特征点在视V
j中的对应匹配点就一定在相应灰色平面三角形内。在本实施方式中,对极约束、网格对图像投影分割图像约束和光照一致性约束二个约束就可以准确地为特征点找到匹配点。如果特征点及其匹配点都已知,如图28中的m和m`已知,并且相机的焦距、位置等参数全部已知,那么根据几何关系就能够还原空间点M。作为一种改进,增加了空间三角形的主视的概念,并且只匹配、重建处理主视中的特征点,增加了匹配、重建的准确性。作为一种改进,在对主视的特征点匹配、重建时,由于存在有多个可计算视的情况,因此特征点会有多个匹配点,直接计算将产生多个空间点。但是事实上,特征点与这些匹配点实际上是同一空间点的投影。例如图29中空间点X在三个视图中所成像m
1、m
2、m
3,相互间是对应的。但是由于成像质量等因素的影响,所找到的三个点与m
1、m
2、m
3有偏移,则三个图像点会计算出三个空间点。在本系统中的计算是,以三个直接计算出的空间点,其中心为真实空间点的位置。作为一种改进,优先用最靠近空间三角形中心的新增空间点细分空间三角形,然后其余新增空间点再细分被分解出的三角形,保证每次细分后网格中各个三角形的人小相近、三角形之间不相互纠缠,有利于保证网格的拓朴结构能自动与目标对象的外形一致。网格细化以后可能会产生空三角形、相交三角形、空洞。如果三角形在各个视中的投影都在目标对象的图像之外就是空三角形。如果网格中的边只附着在一个三角形上,那么这个地方就有空洞。整理网格就是要删除空三角形,厘清相交三角形,填补空洞。如果三角形相交,按如下的方法去除相交。设置4个三角形队列:存储种子三角形的种子队列SQ,存储相交三角形的相交队列IQ,要删除的三角形队列DQ和存储最后的合格三角形队列VQ。种子三角形是没有相交的三角形,在开始时从三角形网格中随机抽取的。对每个种子三角形,首先放入队列VQ,然后检查相邻三角形。如果相邻三角形没有相交,放入种子队列SQ;否则放入相交队列IQ。如果种子队列空,除了相交队列外还有未处理三角形,从未处理三角形中再取种子三角形,继续处理直到没有未处理三角形。这些操作是计算机图形学教材中的常规内容,不再赘述。6.4)不断减小特征检测算法参数,迭代检测图像特征,重复步骤6.1、6.2、6.3,直到图像中没有更细节的特征,网格迭代细分逼近目标对象。6.5)网格各顶点重定位至亚像素精度;因为空间点在一个视中的投影正好在一个像素点上,而在另一视中的投影,有可能没在一个像素点上,而在两个像素点之间。因此把网格各顶点重投影同各视图像,检查投影的色彩与灰度是否一致。如果一致,说明顶点位置准确;如果不一致,则在邻近区域的亚像素级范围内插值,寻找更准确的位置。显然,本步骤的说明仅作为举例。在不脱离本发明权利要求所述的原则和范围的情况下,可以对本步骤所涉及的网格迭代细分方法进行种种变化。7、网格整理优化,生成Delaunay三角网格,得到重建的网格,输出脚型三维模型。显然,本发明的上述实施例仅仅是为清楚地说明所作的举例,而并非是对本发明实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的精神所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。