3D打印是一种增材制造技术 ^{[ 1]} ,能够快速完成工业设计或是模具制造. 随着这项技术的兴起,使一些具有突破意义的方法能够获得实现. 由北京工业大学承担的北京市科委重大课题“3D打印肿瘤医疗导板成型装备及检测设备工程样机研制”,在这方面取得了突破. 这种治疗方法根据患者病情设计出的导板模型,通过3D打印技术生成治疗导板,医生将治疗探针沿着导板上的导向孔插入患者肿瘤位置,实现放射性治疗,因此导向孔的成型对治疗效果影响很大. 但是,导向孔的成型不能保证直接使用.

与3D打印技术的快速发展不匹配,3D打印产品质量检测目前还处于空白,缺少系统地检测手段. 3D打印产品具有很强的个性化特征,以本文的额面肿瘤导板为例,每一个导板都是针对病人设计,每一个导向孔的位置和方向都不会与其他的导板相同,因此以前用于流水线产品检测方案不适用于个性化的3D打印产品检测.

近年来,计算机视觉技术飞速发展,基于视觉的产品质量检测技术逐步走向产品应用. Atas等 ^{[ 2]} 研制了红辣椒受黄曲霉毒素污染程度的机器视觉系统. Dowlati等 ^{[ 3]} 开发了基于机器视觉的金头鲷新鲜程度智能检测系统. Nashat等 ^{[ 4]} 提出了利用机器视觉技术检测饼干表面微小裂纹的方案. 该方案是对待测物的某一个平面进行检测,且每一个产品需要检测的平面是相同,这样使相机与待测物保持一个相对固定的位置关系,无法满足3D打印产品多角度的检测需求.

Keser等 ^{[ 5]} 提出了基于机器视觉的瓷砖自动视觉质量控制智能系统. 王磊 ^{[ 6]} 提出了一种基于机器视觉的扣式电池在线检测系统. 这些系统是加上传送带使产品检测更加自动化,可以逐次检测多个产品,但是对每一个产品的依然是保持一个相对静止的关系.

王亚运 ^{[ 7]} 提出基于机器视觉的机器人涂胶质量在线检测系统. 该系统通过专用标定物离散标定,然后基于广义回归神经网络去预测标定信息,在机械臂运动过程中实时标定,检测标定物直径和位置完成质量检测. 该系统虽然能够完成对车盖曲面的检测,但是其需要大量样本进行训练,而3D打印产品的个性化程度高,无法提供足够的样本完成训练集的建立.

可以发现,基于机器视觉的产品质量检测是目前的研究热点,但是目前的检测系统多是综合了计算机视觉和控制模块,检测产品比较单一,检测路径固定,待测产品大部分只检测一个面或固定产品使其待测部分与视觉系统位置不变,因此很难适应不在设计模板内的产品,若以传统的质量检测系统检测3D打印产品,必然会因为3D打印产品的高自由度设计造成检测效率降低甚至无法检测.

针对上述问题,本文提出了一套系统化的3D打印产品质量检测框架,并开发原型系统进行了原理验证. 该系统以模型引导为基础,机械系统配合,辅以视觉监控,实现对3D打印额面肿瘤治疗导板导向孔的质量检测. 其主要思路是利用导板和导板三维模型上对应的各3个不共线点对齐导板和模型的坐标,然后根据导向孔三维模型上的三角面几何特征提取导向孔中心坐标和法向量并规划出检测路径,最后通过导向孔的图像,依据导向孔的圆度、长宽比、直径、孔心间距等条件,判断导向孔是否合格. 相比于人工质量检测,提出的算法和系统缩短了检测周期,提高了检测精度.

1 系统整体设计框架

本文的3D打印额面肿瘤治疗导板质量检测是对导向孔外形的质量检测,其本质是三维模型和产品的一致性检测. 采用机器视觉的方法 ^{[ 8]} 是比较高效的一种方式,且安装简单、成本较低,但是传统的机器视觉方法对于导板方向各异分布不规则的导向孔来说,无法完成检测. 因此本文提出一种通过模型引导计算检测路径,机械系统配合机器视觉对产品进行定位和质量检测的3D打印产品外形质量检测框架,系统整体框架如 图1所示.

图  1  系统整体框架

Figure  1.  Overall solution of quality testing and puncturing system of medical guide made by 3D printer

下载: 全尺寸图片 幻灯片

其中软件模块分析模型计算出运动路径,使导向孔取向能够与相机光轴平行,且位于相机中心,然后传输运动路径给控制模块,控制模块发射信号到机械模块电机,控制机械模块运动,改变视觉模块相对于导板的位置,此时软件模块可控制视觉模块采集图像并反馈给软件模块. 运动到位后机械模块反馈信号至控制模块,控制模块根据信号反馈软件模块当前机械模块位置.

2 系统硬件设计

3D打印医疗导板质量检测和试穿系统硬件系统主要负责图像采集与传输,导板位置和相机位置的移动以及当前位置的信息读取等. 根据上述任务,论文设计的硬件系统结构如 图2所示. 该硬件系统主要包含机械结构和电气控制系统.

图  2  系统硬件系统

Figure  2.  Hardware system structure

下载: 全尺寸图片 幻灯片

2.1 机械结构

导板模型可以简化为一个半球形,导向孔即插在这个半球体上,为了使导向孔运动到相机中心,且取向平行于相机光轴,本文基于五轴数控机床原理设计包含2个旋转轴 θ ₁、 θ ₂和3个平移轴 xyz的机械系统,其中 y轴上安装单个工业相机与 x轴构成CCD检测机构, θ ₁和 θ ₂安装与 z轴上, θ ₁可带动 θ ₂转动,三者构成三维度工作台.

2.2 电气控制系统

基于模型引导和视觉监控的3D打印额面肿瘤导板智能化质量检测系统电气系统主要由上位机,电机控制组件,图像采集设备构成. 上位机采用通用PC机,在win7系统运行自己编写的3D打印额面肿瘤导板智能化质量检测软件. 电机控制组件是基于CAN协议通信的工控机,CAN卡使用copley的CAN-PCI-02. 图像采集设备使用Siliconsoftware_mico-renableiv_vd4-cl图像采集卡,相机选用SP2000的高清相机.

3 导板质量检测算法

结合机械系统,导板质量检测算法的框架如 图3所示. 该算法主要分为以下3个部分:

图  3  质量检测算法框架

Figure  3.  Framework of the quality testing algorithm

下载: 全尺寸图片 幻灯片

1) 模型位置初始化. 为了保证模型与产品一致,首先要保证模型坐标和导板坐标保持一致,因此需要通过模型位置初始化,使导板三维模型坐标与导板世界坐标对齐.

2) 导向孔路径计算. 每一个3D打印产品都有对应的模型,这是3D打印产品的一个优势,可以先通过模型预先估算出待测目标的位置,从而确定检测路径,比单纯的通过计算机视觉技术检测要高效和方便,这也是本文模型引导的意义所在.

3) 导向孔检测. 将导向孔移动待测位置后,通过图像的方式进行质量检测.

对一个待检测的3D打印肿瘤导板,首先选定导板和模型上的3个近似点,根据伪双目立体视觉求导板上3个点在机械系统下的世界坐标,然后求模型坐标变换到导板世界坐标过程中的变换矩阵,再将导板其他点以此过程变换完成模型坐标与导板世界坐标对齐. 然后提取导板模型中导向孔横截面的中心坐标和法向量,再将其转换为机械系统可识别的运动路径,以Dijkstra算法对其优化,控制机械系统以检测路径进行运动,使一个导向孔移动到待测位置后,停止运动,采集图像并分析,矫正导向孔位置使导向孔轮廓中心位于图像中心. 最后以导向孔轮廓的圆度、长宽比、直径以及与上一个孔的间距等信息判断导向孔是否合格.

3.1 基于伪双目立体视觉的模型位置初始化

通常3D打印的模型通过三维模型编辑软件设计或由三维扫描仪扫描数据得到,因此每个模型从每个顶点坐标来说,除特别要求外,可以认为是没有约束的. 以本文的3D打印肿瘤治疗导板来说,不同模型在同一个坐标系中的位置,方向都有很大的差别,因此用一个单一的矩阵变换公式来使三维模型和实物位置对齐是不可能的. 而若已知1个物体上3个不共线的点,基本可确定这个物体的姿态,本文通过伪双目立体视觉 ^{[ 9]} 确定导板3个不共线点的世界坐标和通过鼠标拾取三维模型上相对应的点,根据双目立体视觉图像到世界坐标的计算公式,结合机械结构,推导导板标记点世界坐标计算公式

$\begin{array}{c}\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]\end{array}=\begin{array}{c}\left[\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 0& -1& c_y-D\\ 0& 1& 0& -c_z\\ 0& 0& 0& 1\end{array}\right]\end{array}\begin{array}{c}\left[\begin{array}{c}\frac{f{t}_x-X_r{t}_z}{f(X_r-X_l)}{X}_l\\ \frac{f{t}_x-X_r{t}_z}{f(X_r-X_l)}{Y}_l\\ \frac{f{t}_x-X_r{t}_z}{X_r-X_l}\\ 1\end{array}\right]\end{array}$ (1)

式中: x _w、 y _w、 z _w为机械系统下导板标记点世界坐标; c _x 、 c _y 、 c _z 为机械系统水平旋转中心,恰好是图像中心时相机坐标系下的坐标; D为水平旋转中心到前后翻转中心的距离; f为相机焦距; t _z 为相机平移距离; X _l、 Y _l为标记点左相机的图像坐标; X _r、 Y _r为标记点右相机的图像坐标.

把模型上的点变换到导板实际世界坐标的位置,首先根据以空间中按任意轴旋转 ^{[ 10]} 的方式将模型上的3个点旋转,然后将模型上3个点所构成的三角形旋转到与导板上的3个点所构成的三角形对应边平行,最后平移模型上的3个点到导板上3个点的近似位置. 根据这个变换过程变换模型其他的点,使导板模型与导板实际位置对齐.

3.2 导向孔检测和路径计算

3.2.1 导向孔三维坐标和法向量提取算法

本文主要对3D打印额面肿瘤治疗导板进行导向孔的质量检测. 每个导板都对应2个三维模型,一个是导板进行3D打印的成型模型,另一个是与其匹配的导针模型,如 图4所示. 根据三维模型STL的特征即模型由一个三角面拼接而成,并且已知每个三角面的3个顶点坐标和法向量. 通过手动提取导孔端面的三角面,发现此处三角面与其他三角面的不同的几何特征,因此采用基于几何特征滤波和聚类的导向孔三维坐标和法向量提取算法.

图  4  导板与导针模型

Figure  4.  Guide plate and guide pin model

下载: 全尺寸图片 幻灯片

首先根据三角面的长度和面积滤除导针模型中不符合导向孔横截面特征的三角面,然后用 K-means聚类算法根据法向量进行聚类,得到同一个方向的三角面集合,再对集合内部进行三角形内心间距的 K-means聚类,分割出每一个可能是导向孔横截面的三角面集合,求各个集合的中心坐标和法向量. 通过一组中心坐标和法向量预估导板模型上的导向孔横截面位置,仅保留在预估位置处的三角面进行下一步计算. 然后通过Meyer ^{[ 11]} 提出的基于Voronoi图的三角网格顶点离散曲率计算方法计算剩余三角面的离散曲率

K= $\begin{array}{c}\frac{2\pi -\sum {\theta }_i}{S}\end{array}$ (2)

式中: K为 V ₀离散曲率; θ _i 为 V ₀和 V _{i+ 1}之间的夹角; S为包含 V ₀的三角形面积和.

通过实验,若三角形的3个顶点的离散曲率为二正一负,则认为是符合要求的三角形,反之则过滤. 计算模型如 图5所示.

图  5  离散曲率计算模型

Figure  5.  Discrete curvature calculation model

下载: 全尺寸图片 幻灯片

过滤后的三角面沿着法向量投影到一个平面,通过Hough变换 ^{[ 12]} 检测是否为一个圆,如果为圆则认为是导向孔横截面,根据三角面在三维坐标系下的坐标,用求取多边形中心的方法求得圆心,并以三角面法向量的平均值作为导向孔横截面的法向量. 反之则认为不是导向孔横截面.

3.2.2 导向孔检测路径计算与规划

由于机械运动无法根据坐标和法向量直接运动,因此需根据提取出的导向孔坐标和法向量,规划出符合机械设备运动的路径的算法,运动目的为使导孔朝向即导孔法向量垂直于相机平面且导孔中心位于图像中心,如 图6所示.

图  6  导孔正确到位示意图

Figure  6.  Diagram of guide hole right moving

下载: 全尺寸图片 幻灯片

先把法向量相近的中心坐标分为一组,然后从三维旋转矩阵入手,将法向量分解,求出法向量如何通过绕 y轴和绕 x轴旋转能与 y轴平行,如 图7所示.

图  7  法向量旋转示意图

Figure  7.  Diagram of normal rotation

下载: 全尺寸图片 幻灯片

2个旋转角度 α和 β为

$\begin{array}{c}\left\{\begin{array}{c}\beta =\mathit{arccos}\frac{c}{\sqrt[]{a^2+c^2}}\\ \alpha =\mathit{arccos}\frac{b}{\sqrt[]{a^2++b^2+c^2}}\end{array}\right.\end{array}$ (3)

根据旋转角度,旋转后该组内各点的坐标为

$\begin{array}{c}\left[\begin{array}{c}\mathit{x\text{'}}\\ \mathit{y\text{'}}\\ \mathit{z\text{'}}\\ 1\end{array}\right]\end{array}=\begin{array}{c}\left[\begin{array}{cccc}\mathit{cos\beta }& 0& -\mathit{sin\beta }& 0\\ 0& 1& 0& 0\\ \mathit{sin\beta }& 0& \mathit{cos\beta }& 0\\ 0& 0& 0& 1\end{array}\right]\end{array}·\begin{array}{c}\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \mathit{cos\alpha }& \mathit{sin\alpha }& 0\\ 0& -\mathit{sin\alpha }& \mathit{cos\alpha }& 0\\ 0& 0& 0& 1\end{array}\right]\end{array}\begin{array}{c}\left[\begin{array}{c}\begin{array}{c}x\\ y\\ z\end{array}\\ 1\end{array}\right]\end{array}$ (4)

最后,根据Dijkstra ^{[ 13]} 算法对组内坐标进行路径规划得到平移路径. 重复上诉过程遍历完每一个孔,其旋转的角度和平移的距离构成机械系统的运动路径.

3.3 基于图像分析的导向孔质量检测.

根据得到的运动路径将导向孔移动待测位置后,通过图像的方式进行质量检测. 依据导向孔为圆形,以导孔运动到位后采集图像的轮廓 ^{[ 14]} 为判断依据. 首先通过轮廓的中心及轮廓形状判断导向孔是否位于图像中心,监视导向孔位置并进行矫正. 然后,根据以下3个条件对导向孔成型质量进行检查.

1) 导向孔的直径. 通过视觉计算计算导向孔直径,

min ( max (d _x-x), max (d _y-y))≥Td(5)

2) 导向孔是否为类圆形状. 在这里引入一个圆度的概念,已知标准圆面积与周长满足c ²/4 πs=1,c为圆的周长,s为圆的半径,并求其轮廓的长宽比k,运用式(5)中的d _x-x和d _y-y之比,另k=d _x-x∕d _y-y. 两者都大于既定阈值时认为其合格.

3) 导向孔孔心的实际距离和模型中对应导向孔孔心距离的差值. 通过当前孔与上一个孔在机械平移轴上的记录的坐标求得实际距离,通过模型提取出的中心坐标求得模型距离,当二者差值小于设定阈值时,认为合格.

4 实验

用一个导板共37个导向孔的成型质量进行检测,检测参数包括导向孔直径、圆度ρ、长宽比k、孔心间距误差等,如 图8所示.

图  8  检测结果示意图

Figure  8.  Line chart of testing results

下载: 全尺寸图片 幻灯片

从 图8中可以看出,各个结果较为稳定,与导板实际情况大致相符. 其中出现2个不合格的导孔,经过人工检查,2个导孔都存在一定程度上的角度偏差,但是真正影响ρ值的是2个导孔提取的轮廓都不够圆润,2个导孔都存在一定程度的毛刺,符合检查结果,说明检查结果可靠.

为验证直径与孔心间距的测量准确性,2项指标分别与人工测量进行对比,统计通过系统自动检测和人工测量得到的各个导向孔直径和孔心间距的数据,并计算二者之间的误差,结果如 图9所示.

图  9  检测结果对比

Figure  9.  Comparison of test result

下载: 全尺寸图片 幻灯片

可以看出,直径与孔心间距与人工测量误差相比很小,计算平均绝对误差和标准误差,如 表1所示.

表  1  检测精度

Table  1.  Calculation accuracymm

精度指标	导孔直径	孔心间距
平均绝对误差	0.0327	0.1127
标准误差	0.0407	0.1397

下载: 导出CSV 

| 显示表格

从 表1中可以看出,视觉计算出的直径和孔心间距与人工测量的误差相比,不影响质量检测.

因此,可以得出,本文提出的模型引导、机械系统配合、视觉系统监控相结合的3D打印额面肿瘤导板导向孔质量检测方法精度不低于人工检测,同时检测效率和检测速度得到了很大的提升.

5 结论

随着3D打印技术和应用的不断深入,3D打印产品质量检测成为一个热点问题,本文对这一问题进行了初步的研究. 针对额面肿瘤导板导向孔的质量检测问题,提出了一种基于模型引导、机械系统配合、视觉分析相结合的3D打印产品质量检测框架,该算法仅需很少的人工干预,即可实现对3D打印肿瘤导板的质量检测,并且该框架可扩展用于其他3D打印产品外形检测. 实践应用证明,该系统能达到对导向孔的检测要求,保证了导孔成型中的合格率,有良好的市场运用前景.