(12)发明专利申请
(10)申请公布号 CN 110335266 A(43)申请公布日 2019.10.15
(21)申请号 201910601456.6(22)申请日 2019.07.04
(71)申请人 五邑大学
地址 529020 广东省江门市迎宾大道中99
号(72)发明人 冯跃 徐红 林卓胜 梁淑芬
余义斌 岳洪伟 李澄非 (74)专利代理机构 广州新诺专利商标事务所有
限公司 44100
代理人 李德魁(51)Int.Cl.
G06T 7/00(2017.01)G06T 17/00(2006.01)G06T 7/12(2017.01)G06T 7/168(2017.01)
权利要求书2页 说明书11页 附图1页
G06T 7/277(2017.01)G06T 7/269(2017.01)G06K 9/62(2006.01)
CN 110335266 A(54)发明名称
一种智能中医目诊图像处理方法及装置(57)摘要
本发明公开了一种智能中医目诊图像处理方法及装置。该方法包括：获取眼部视频图像；按照预设的采集周期从眼部视频图像中采集眼部区域图像并建立眼部三维模型；利用DLIB库提取每帧眼部区域图像的眼部关键点并采用HOUGH变换算法定位和分割出其眼部五轮区域以确定目色特征；采用LK光流法和卡尔曼滤波算法检测和提取每帧眼部图像中的眼部特征点以确定神态特征；将目色特征和神态特征送入预设的SVM分类器以进行目诊病症状态分类并输出至预设的目诊数据库。采用本发明的方法及装置能为病情诊断提供定量的参考数据，使诊测更全面和准确。
CN 110335266 A
权 利 要 求 书
1/2页
1.一种智能中医目诊图像处理方法，其特征在于，包括：获取使用者的眼部视频图像，其中，使用者的眼部视线在眼部视频图像的获取过程中跟随显示界面上预设小球图形移动；
按照预设的采集周期从所述眼部视频图像中采集眼部区域图像以构建眼部三维模型；利用DLIB库提取每帧所述眼部区域图像的眼部关键点，以采用HOUGH变换算法定位和分割出其眼部五轮区域，并提取所述眼部五轮区域的五色特征并转换为目色特征；所述五色特征用于指示中医学定义的人体体表病色中青、红、黄、白、黑中的一种，所述目色特征用于指示所述眼部五轮区域所呈现出的病症等级；
采用LK光流法和卡尔曼滤波算法对所述眼部视频图像中的连续两帧眼部图像进行跟踪，以检测和提取所述眼部视频图像中每帧眼部图像的眼睑特征点、眼角特征点和眼球特征点；
根据所述眼部视频图像中每帧眼部图像的眼睑特征点、眼角特征点和眼球特征点，确定每个采集周期内使用者的眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度并送入预设的第一SVM多分类器确定神态特征；所述跟随角速度误差用于指示眼球跟随预设小球图形时产生的角速度误差，所述神态特征用于指示眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度所呈现出的病症等级；
将所述目色特征和所述神态特征送入预设的第二SVM分类器以进行目诊病症状态分类并输出至预设的目诊数据库。
2.如权利要求1所述的智能中医目诊图像处理方法，其特征在于，获取使用者的眼部视频图像包括如下步骤：
通过高分辨率摄像机组成的双目相机获取使用者的眼部视频图像；获取使用者的眼部区域图像包括如下步骤：对所述眼部视频图像进行预处理，所述预处理包括图像增强处理和图像滤波处理；采用HAAR特征及ADABOOST算法对预处理后的眼部视频图像进行眼部检测，以得到眼部区域图像。
3.如权利要求2所述的智能中医目诊图像处理方法，其特征在于，所述眼部三维模型通过如下步骤建立：
采用相机标定法计算所述高分辨率摄像机组成的双目相机内参数和外参数；根据所述内参数、所述外参数和世界坐标系中的定标点建立所述双目相机对应的双目模型相机之间的位置关系，得到所述双目模型相机的投影矩阵；
对每帧所述眼部区域图像进行特征点提取并进行特征匹配，以建立眼部区域图像匹配点对集；
根据所述投影矩阵和所述眼部区域图像匹配点对集进行三维重建，得到眼部三维模型。
4.如权利要求1所述的智能中医目诊图像处理方法，其特征在于，所述眼部关键点包括眉毛关键点、上下眼睑关键点和内外眼角关键点，通过如下步骤确定所述眼部五轮区域：
根据每帧所述眼部区域图像的眉毛关键点、上下眼睑关键点和内外眼角关键点定位所述眼部区域图像中的眼角区域、眼睑区域、眼仁区域、眼白区域和瞳孔区域；
采用HOUGH变换分割出所述眼部区域图像中的眼仁区域、眼白区域和瞳孔区域，以形成
2
CN 110335266 A
权 利 要 求 书
2/2页
眼部五轮区域。
5.如权利要求4所述的智能中医目诊图像处理方法，其特征在于，通过如下步骤提取所述眼部五轮区域的五色特征：
根据所述眼部五轮区域中每个区域各个像素的R分量、G分量、B分量计算各个像素的RGB平均值；
根据所述各个像素的RGB平均值计算所述每个区域中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述每个区域的五色特征。
6.如权利要求1所述的智能中医目诊图像处理方法，其特征在于，所述眼睑特征点包括位移向量，所述眼睑特征点包括上眼睑特征点；所述每个采集周期内使用者的眼睛平均闭眼速度通过如下步骤确定：
根据所述每个采集周期内每帧眼部图像中上眼睑特征点的位移向量计算位移；
根据所述每个采集周期内全部帧眼部图像的位移与采集周期的比值计算平均闭眼速度。
7.如权利要求1所述的智能中医目诊图像处理方法，其特征在于，所述每个采集周期内使用者的跟随角速度误差通过如下步骤确定：
当所述每个采集周期结束时，获取结束帧眼部图像的眼球特征点；
根据所述结束帧眼部图像的眼球特征点和所述眼部三维模型确定其眼睛视线信息，所述眼睛视线信息用于指示所述结束帧眼部图像的眼部特征点在所述眼部三维模型中与预设小球图像之间的位置信息；
根据所述眼睛视线信息计算眼睛跟随所述预设小球图形的眼睛跟随角速度，所述眼睛跟随角速度用于指示眼睛视线与所述预设小球图像之间夹角与跟随时间的比值；
根据所述眼睛视线信息的初始值与所述预设小球图形当前位置之间的夹角和所述跟随时间，计算平均跟随角速度；
计算所述眼睛跟随角速度与所述平均跟随角速度之间的差值，得到当前采集周期内使用者的跟随角速度误差。
8.如权利要求1所述的智能中医目诊图像处理方法，其特征在于，所述每个采集周期内使用者的眼球移动幅度通过如下步骤确定：
根据每个采集周期内每帧眼部图像的眼角特征点和眼球特征点计算两者之间的距离，得到对应的眼球移动幅度；
计算所述每个采集周期内全部帧眼部图像中眼球移动幅度的平均值，得到眼球移动幅度。
9.一种智能中医目诊图像处理装置，其特征在于，所述装置存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1～8中任一项所述的智能中医目诊图像处理方法。
10.一种智能中医目诊图像处理装置，其特征在于，包括处理器、与所述处理器连接的存储器，所述存储器存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1～8中任一项所述的图像处理方法。
3
CN 110335266 A
说 明 书
一种智能中医目诊图像处理方法及装置
1/11页
技术领域
[0001]本发明涉及人工智能技术领域，尤其涉及一种智能中医目诊图像处理方法及装置。
背景技术
[0002]中医学在诊断与疾病防治中的重要思想是把人体看作是一个有机整体，强调内脏与体表组织器官在结构和机能上的协调性、完整性，在生理上的密切联系以及病理上的相互影响。眼是五脏六腑精气上注的器官，而“望、闻、问、切”中的望目可测知内脏精气及经络功能的盛衰，对脏腑疾病的诊断有重要意义，对于一些疾病的早期诊断可以起到见微知著的作用。所以，通过目诊对眼部的神、色、形、态等进行观察，能够直接反应出脏腑及经络功能的重要信息。[0003]然而，由于传统的目诊主要是依靠中医师目测进行判断，其判断方式建立在医生理论学习和医疗实践的积累之上，主观性较强，共识性较差，在一定程度上限制了中医诊断技术的传承、发展和应用。[0004]近年来，智能中医诊断随着各种科学技术的进步有着极大的发展，如望诊的舌象信息科学化工程化取得了不少成果，但目诊的客观化数字化研发目前还是罕见。因此，为了更好的推广中医目诊，利用人工智能技术量化两眼的目色、神态的异常改变，以便为目诊提供定量的参考数据，以克服因经验不足或判断差异而产生的问题，具有广泛应用研究意义。发明内容
[0005]针对上述问题，本发明的一种智能中医目诊图像处理方法及装置本，能够对目诊图像进行定量分析，为病情诊断提供准确的定量参考数据，提升诊测的全面性和准确性。[0006]为解决上述技术问题，本发明的一种智能中医目诊图像处理方法，包括：[0007]获取使用者的眼部视频图像，其中，使用者的眼部视线在眼部视频图像的获取过程中跟随显示界面上预设小球图形移动；
[0008]按照预设的采集周期从所述眼部视频图像中采集眼部区域图像以构建眼部三维模型；[0009]利用DLIB库提取每帧所述眼部区域图像的眼部关键点，以采用HOUGH变换算法定位和分割出其眼部五轮区域，并提取所述眼部五轮区域的五色特征并转换为目色特征；所述五色特征用于指示中医学定义的人体体表病色中青、红、黄、白、黑中的一种，所述目色特征用于指示所述眼部五轮区域所呈现出的病症等级；
[0010]采用LK光流法和卡尔曼滤波算法对所述眼部视频图像中的连续两帧眼部图像进行跟踪，以检测和提取所述眼部视频图像中每帧眼部图像的眼睑特征点、眼角特征点和眼球特征点；
[0011]根据所述眼部视频图像中每帧眼部图像的眼睑特征点、眼角特征点和眼球特征点，确定每个采集周期内使用者的眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度并
4
CN 110335266 A
说 明 书
2/11页
送入预设的第一SVM多分类器确定神态特征；所述跟随角速度误差用于指示眼球跟随预设小球图形时产生的角速度误差，所述神态特征用于指示眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度所呈现出的病症等级；
[0012]将所述目色特征和所述神态特征送入预设的第二SVM分类器以进行目诊病症状态分类并输出至预设的目诊数据库。[0013]作为上述方案的改进，获取使用者的眼部视频图像包括如下步骤：[0014]通过高分辨率摄像机组成的双目相机获取使用者的眼部视频图像；[0015]获取使用者的眼部区域图像包括如下步骤：[0016]对所述眼部视频图像进行预处理，所述预处理包括图像增强处理和图像滤波处理；
[0017]采用HAAR特征及ADABOOST算法对预处理后的眼部视频图像进行眼部检测，以得到眼部区域图像。
[0018]作为上述方案的改进，所述眼部三维模型通过如下步骤建立：
[0019]采用相机标定法计算所述高分辨率摄像机组成的双目相机内参数和外参数；[0020]根据所述内参数、所述外参数和世界坐标系中的定标点建立所述双目相机对应的双目模型相机之间的位置关系，得到所述双目模型相机的投影矩阵；[0021]对每帧所述眼部区域图像进行特征点提取并进行特征匹配，以建立眼部区域图像匹配点对集；
[0022]根据所述投影矩阵和所述眼部区域图像匹配点对集进行三维重建，得到眼部三维模型。
[0023]作为上述方案的改进，所述眼部关键点包括眉毛关键点、上下眼睑关键点和内外眼角关键点，通过如下步骤确定所述眼部五轮区域：[0024]根据每帧所述眼部区域图像的眉毛关键点、上下眼睑关键点和内外眼角关键点定位所述眼部区域图像中的眼角区域、眼睑区域、眼仁区域、眼白区域和瞳孔区域；[0025]采用HOUGH变换分割出所述眼部区域图像中的眼仁区域、眼白区域和瞳孔区域，以形成眼部五轮区域。
[0026]作为上述方案的改进，通过如下步骤提取所述眼部五轮区域的五色特征：[0027]根据所述眼部五轮区域中每个区域各个像素的R分量、G分量、B分量计算各个像素的RGB平均值；
[0028]根据所述各个像素的RGB平均值计算所述每个区域中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述每个区域的五色特征。[0029]作为上述方案的改进，所述眼睑特征点包括位移向量，所述眼睑特征点包括上眼睑特征点；所述每个采集周期内使用者的眼睛平均闭眼速度通过如下步骤确定：
[0030]根据所述每个采集周期内每帧眼部图像中上眼睑特征点的位移向量计算位移；[0031]根据所述每个采集周期内全部帧眼部图像的位移与采集周期的比值计算平均闭眼速度。
[0032]作为上述方案的改进，所述每个采集周期内使用者的跟随角速度误差通过如下步骤确定：
[0033]当所述每个采集周期结束时，获取结束帧眼部图像的眼球特征点；
5
CN 110335266 A[0034]
说 明 书
3/11页
根据所述结束帧眼部图像的眼球特征点和所述眼部三维模型确定其眼睛视线信
息，所述眼睛视线信息用于指示所述结束帧眼部图像的眼部特征点在所述眼部三维模型中与预设小球图像之间的位置信息；
[0035]根据所述眼睛视线信息计算眼睛跟随所述预设小球图形的眼睛跟随角速度，所述眼睛跟随角速度用于指示眼睛视线与所述预设小球图像之间夹角与跟随时间的比值；[0036]根据所述眼睛视线信息的初始值与所述预设小球图形当前位置之间的夹角和所述跟随时间，计算平均跟随角速度；
[0037]计算所述眼睛跟随角速度与所述平均跟随角速度之间的差值，得到当前采集周期内使用者的跟随角速度误差。[0038]作为上述方案的改进，所述每个采集周期内使用者的眼球移动幅度通过如下步骤确定：
[0039]根据每个采集周期内每帧眼部图像的眼角特征点和眼球特征点计算两者之间的距离，得到对应的眼球移动幅度；
[0040]计算所述每个采集周期内全部帧眼部图像中眼球移动幅度的平均值，得到眼球移动幅度。
[0041]本发明还提供一种智能中医目诊图像处理装置，所述装置存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的智能中医目诊图像处理方法。[0042]本发明还提供一种智能中医目诊图像处理装置，该装置包括处理器、与所述处理器连接的存储器，所述存储器存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的智能中医目诊图像处理方法。[0043]与现有技术相比，实施本发明的方法及装置，具有如下有益效果：通过眼部视频图像建立眼部三维模型，利用DLIB库和HOUGH变换定位和分割出眼部视频图像中眼部五轮区域，进而提取眼部五轮区域的五色特征并转换为目色特征，并且通过LK光流法和卡尔曼滤波算法跟踪眼部视频图像中的眼部图像并提取每帧图像中的眼部特征点构成眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度样本数据集，从而利用SVM分类器确定神态特征，如此，运用人工智能的机器学习算法对来自图像源的4类样本数据进行使用者的病症状态分类，为病情诊断提供定量的参考数据，能够克服因经验不足或判断差异而产生的问题，使得诊测更加全面和准确。
附图说明
[0044]图1是本发明实施例提供的一种智能中医目诊图像处理方法的流程示意图。[0045]图2是本发明实施例提供的一种智能中医目诊图像处理装置的结构示意图。具体实施方式
[0046]在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0047]下面结合具体实施例和附图对本发明的技术方案进行清楚、完整的描述。[0048]请参见图1，是本发明实施例提供的一种智能中医目诊图像处理方法的流程示意
6
CN 110335266 A
说 明 书
4/11页
图。
如图1所示，该智能中医目诊图像处理方法包括：
[0050]S1、获取使用者的眼部视频图像，其中，使用者的眼部视线在眼部视频图像的获取过程中跟随显示界面上预设小球图形移动；[0051]在步骤S1中，通过高分辨率摄像机组成的双目相机采集使用者的眼部视频图像。[0052]S2、按照预设的采集周期从所述眼部视频图像中采集眼部区域图像以构建眼部三维模型；
[0053]在步骤S2中，眼部区域图像通过如下步骤得到：[0054]S201、对所述眼部视频图像进行预处理，所述预处理包括图像增强处理和图像滤波处理；
[0055]S201、采用HAAR特征及ADABOOST算法对所述的眼部视频图像进行眼部检测，以得到眼部区域图像。[0056]其中，在步骤S201中，ADABOOST算法是一种迭代算法，其核心思想是针对训练集训练不同的分类器(即，弱分类器)，然后采用这些不同的分类器构建成一个强分类器，以提高眼部区域图像识别的准确度。。[0057]在步骤S2中，眼部三维模型通过如下步骤建立：[0058]S211、采用相机标定法计算所述双目相机的内参数和外参数；[0059]其中，在步骤S211中，相机标定法首先将双目相机模型简化为线性模型，再利用透视矩阵变换法求解其内参数和外参数。[0060]S212、根据所述内参数、所述外参数和世界坐标系中的定标点建立所述双目相机对应的双目模型相机之间的位置关系，得到所述双目模型相机的投影矩阵；[0061]S213、对所述每帧眼部区域图像进行特征点提取并进行特征匹配，以建立眼部区域图像匹配点对集；[0062]S214、根据所述投影矩阵和所述眼部区域图像匹配点对集进行三维重建，得到眼部三维模型。
[0063]具体地，在步骤S214中根据透视投影的关系和最小二乘法，则可以由摄像机投影矩阵和眼部区域图像匹配点对集将眼部区域图像在空间坐标系的三维坐标进行恢复，进而重建出眼部图像的三维模型。[0064]S3、利用DLIB库提取每帧眼部区域图像的眼部关键点，以采用HOUGH变换算法定位和分割出其眼部五轮区域，并提取所述眼部五轮区域的五色特征并转换为目色特征；所述五色特征用于指示中医学定义的人体体表病色中青、红、黄、白、黑中的一种；[0065]在步骤S3中，眼部关键点包括4个位于眉毛的关键点、2个位于眼睑的关键点(即上眼睑和下眼睑各1个)、2个位于眼角的关键点(即内眼角和外眼角各1个)。[0066]在步骤S3中，通过如下步骤确定所述眼部五轮区域：[0067]S31、采用所述眼部关键点中的眉毛关键点、上下眼睑关键点和内外眼角关键点定位所述眼部区域图像中的眼角区域、眼睑区域、眼仁区域、眼白区域和瞳孔区域；[0068]S32、采用HOUGH变换分割出所述眼部区域图像中的眼仁区域、眼白区域和瞳孔区域，以形成眼部五轮区域，所述眼部五轮区域用于指示中医五轮学说中的眼部区域。[0069]在中医色诊理论中五色指青、红、黄、白、黑五种颜色，因而步骤S3通过识别眼部五
7
[0049]
CN 110335266 A
说 明 书
5/11页
轮区域中的五色来为后续目诊提供判断依据。具体地，在步骤S3中，通过如下步骤提取所述眼部五轮区域的五色特征：[0070]S33、根据所述眼部五轮区域中每个区域各个像素的R分量、G分量、B分量计算各个像素的RGB平均值；[0071]其中，由于眼部五轮区域中每个区域的图像在计算机内是通过像素来表达，每个像素的颜色是由红色分量(R)、绿色分量(G)、蓝色分量(B)三个值来表示，且每个颜色分量都有256(0～255)级灰度，因而通过计算各个像素的RGB平均至可以精确的描述各种颜色。[0072]S34、根据所述各个像素的RGB平均值计算所述每个区域中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述每个区域的五色特征。[0073]在步骤S34中，通过如下方式计算每个区域图像中红色比例、青色比例、黄色比例、白色比例和黑色比例：红色像素数量/像素总数、青色像素数量/像素总数、黄色像素数量/像素总数、白色像素数量/像素总数、黑色像素数量/像素总数，最后设定比例值最大的颜色为区域图像的五色特征。例如，当确定一张五轮角膜区域图像中青色比例最大时，则青色为该张五轮角膜区域图像的眼部五色特征。[0074]为此，根据中医病色交错理论，通过依据如下表1所示转换五色特征为目色特征：[0075]表1病色交错表
[0076]
也是说，假定眼部和各五轮区域呈现如下对应：
[0078]角膜区域呈现青色，泪阜、内外眦及附近血管区域呈现红色，上下眼睑区域呈现黄色，球结膜及浅表巩膜区域呈现白色，瞳孔、虹膜后组织区域呈现黑色，其体表特征为病症呈现；[0079]角膜区域呈现黑色，泪阜、内外眦及附近血管区域呈现青色，上下眼睑区域呈现红色，球结膜及浅表巩膜区域呈现黄色，瞳孔、虹膜后组织区域呈现白色，其体表特征为病症一般；[0080]角膜区域呈现红色，泪阜、内外眦及附近血管区域呈现黄色，上下眼睑区域呈现白色，球结膜及浅表巩膜区域呈现黑色，瞳孔、虹膜后组织区域呈现青色，其体表特征为病症
8
[0077]
CN 110335266 A
说 明 书
6/11页
加深；
角膜区域呈现黄色，泪阜、内外眦及附近血管区域呈现白色，上下眼睑区域呈现黑
色，球结膜及浅表巩膜区域呈现青色，瞳孔、虹膜后组织区域呈现红色，其体表特征为病症严重；[0082]角膜区域呈现白色，泪阜、内外眦及附近血管区域呈现黑色，上下眼睑区域呈现青色，球结膜及浅表巩膜区域呈现红色，瞳孔、虹膜后组织区域呈现黄色，其体表特征为病症非常严重；[0083]因此，目色特征为：病症呈现、病症一般、病症加深、病症严重、病症非常严重。[0084]S4、采用LK光流法和卡尔曼滤波算法对所述眼部视频图像中的连续两帧眼部图像进行跟踪，以检测和提取每帧眼部图像中的眼部特征点，所述眼部特征点包括眼睑特征点、眼角特征点和眼球特征点；[0085]具体地，步骤S4包括：[0086]S41、采用LK光流法计算连续两帧眼部图像之间跟踪特征点的光流；其中，跟踪特征点为连续两帧眼部图像的第一帧眼部图像中位于预设的空心矩形内的多个像素点；[0087]在对连续两帧眼部图像进行跟踪之前，需通过一次眼部检测来确定相关的眼部区域，以从眼部区域中提取跟踪特征点，其步骤包括：[0088]S411、当获取初始的眼部图像时，对初始的眼部图像依次进行灰度化处理、高通滤波、差分运算和中值滤波，得到预处理后的眼部图像；[0089]S412、采用基于Adaboost算法的Haar分类器对预处理后的眼部图像进行眼部检测，以标出眼部相关区域；[0090]S413、将检测到的眼部区域设为跟踪目标Orect，并设定一个空心矩阵Hrect；其中，Orect∈Hrect，该空心矩形Hrect的内框比跟踪目标Orect小20％，该空心矩形Hrect的外框比跟踪目标Orect大20％；[0091]S414、将空心矩阵Hrect中的像素点作为初始的跟踪特征点。[0092]接下来，对步骤S411进行详细说明。[0093]眼部图像采用高分辨率摄像机采集，且其具有较高采集频率，因而跟踪特征点满足LK光流法的三种假设，即跟踪特征点在连续两帧眼部图像之间亮度恒定、小运动且空间一致，下面以跟踪特征点中则跟踪特征点的亮度I(x,y,t)满足：[0094]根据亮度恒定条件，I(x,y,t)＝I(x+Δx,y+Δy,t+Δt)；
[0095][0081]
根据小运动条件，即，其中，vx和vy是跟
踪特征点的光流；
[0096]根据空间一致条件，假设空心矩阵Hrect内有一个大小为e×e的小窗，其内的跟踪
9
CN 110335266 A
说 明 书
7/11页
特征点i运动是一致的，则得到超定方程组：其中，是跟踪特
征点i在x方向上的偏导数，数是跟踪特征点i在y方向上的偏导数，是跟踪特征点i的
时偏导数；其中i＝1，2，3，…e，e≥2且为整数，则采用最小二乘法求解，可解得连续两帧眼部图像之间跟踪特征点的光流vx、vy。[0097]S42、通过光流预测跟踪特征点在连续两帧眼部图像的第二帧眼部图像中的位置；[0098]S43、根据跟踪特征点在所述第一帧眼部图像中的位置以及预测在第二帧眼部图像中的位置，计算跟踪特征点的位移；[0099]S44、将位移按照从小到大的顺次进行排序，得到位移中值；[0100]S45、当位移满足预设条件时，从第二帧眼部图像中提取眼部特征点；其中，预设条件为位移的位移量小于位移中值，且位移的数量大于或等于跟踪特征点数量的50％。[0101]在步骤S45中，当位移满足预设条件时，则对第二帧眼部图像跟踪成功，确定位移量小于位移中值所对应的跟踪特征点为下一轮跟踪的跟踪特征点，实现跟踪特征点的动态更新。
[0102]在步骤S45中，当位移满足预设条件时，采用角点特征检测算法从第二帧眼部图像中提取眼部特征点。
[0103]根据位置坐标从高速摄像机采集的眼部图像中搜索眼部图像，以提取并跟踪眼部图像的眼部特征点；[0104]具体地，步骤S4采用卡尔曼滤波算法实现眼部图像的眼部特征点的跟踪，步骤包括如下步骤：
[0105]根据眼部特征点的位置坐标确定观测特征点；该观测特征点用于指示所续两帧眼部图像中第一帧眼部图像的眼部特征点；[0106]其中，在步骤S41中，由于眼部图像中的眼部特征点通过LK光流法跟踪以及采用角点检测算法获取，因而该眼部特征点可用位置和速度表示，即设定该眼部特征点提取的时间t＝k，则可确定该眼部特征点的位置坐标为(xk,yk)，该眼部特征点在x轴和y轴上移动的速度分别为uk、vk，进而根据该眼部特征点的位置坐标(xk,yk)在第一帧眼部图像中搜索观测点，设定观测特征点在t时刻的状态向量为Xk＝[xk,yk,uk,uk]。[0107]首先，根据位置坐标和速度信息构建第一帧眼部图像的状态向量方程；[0108]具体地，由于在第一帧眼部图像之前无输入，则构建的状态向量方程为：Xk+1＝AkXk+Wk，其中，由于高速摄像机的采集频率高，连续两帧图像的时间间隔较短，因而观测特征点
10
CN 110335266 A
说 明 书
8/11页
可看作是匀速线性，则Ak可表示为Wk为状态向量的过程噪声；
[0109]
然后，根据状态向量和预设的观测矩阵确定观测模型为：Zk＝HXk+Vk，其中，
Vk为观测噪声，并根据状态向量和观测模型确定连续两帧眼
部图像中第二帧眼部图像的搜索范围；[0110]最后，当在搜索范围内搜索到观测特征点时，将搜索到的观测点设定为第二帧眼部图像的眼部特征点，实现对眼部图像的眼部特征点提取。[0111]当在搜索范围内未搜索到观测特征点时，就出现目标丢失，此时需利用高速摄像机采集的眼部图像重新确定眼部图像的眼部特征点，进而重新确定观测特征点。[0112]S5、根据所述眼部视频图像中每帧眼部图像的眼睑特征点、眼角特征点和眼球特征点，确定每个采集周期内使用者的眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度，并送入预设的第一SVM多分类器确定神态特征；所述跟随角速度误差用于指示眼球跟随预设小球图形时产生的角速度误差，所述神态特征用于指示眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度所呈现出的病症等级；[0113]具体地，眼睑特征点包括位移向量，在步骤S5中，所述每个采集周期内使用者的眼睛平均闭眼速度通过如下确定：
[0114]根据每个采集周期内每帧眼部图像中上眼睑特征点的位移向量计算位移；根据每个采集周期内全部帧眼部图像的位移与采集周期的比值计算平均闭眼速度。[0115]据统计，正常人平均闭眼速度要大于100°/ms。而，闭眼速度小于或等于100°/ms及大于60°/ms，其体表特征为病症呈现；闭眼速度小于或等于60°/ms及大于30°/ms，其体表特征为病症一般；闭眼速度小于或等于30°/ms及大于10°/ms，其体表特征为病症加深；闭眼速度小于或等于10°/ms及大于5°/ms，其体表特征为病症严重；闭眼速度小于或等于5°/ms，其体表特征为病症非常严重。[0116]进一步地，在步骤S5中，所述每个采集周期内使用者的跟随角速度误差通过如下步骤确定：[0117]S511、当所述每个采集周期结束时，获取结束帧眼部图像的眼球特征点；[0118]S512、根据所述结束帧眼部图像的眼球特征点和所述眼部三维模型确定其眼睛视线信息，所述眼睛视线信息用于指示所述结束帧图像的眼部特征点在所述眼部三维模型中与所述预设小球图像之间的位置信息；[0119]S513、根据所述眼睛视线信息计算眼睛跟随所述预设小球图形的眼睛跟随角速度，所述眼睛跟随角速度用于指示眼睛视线与所述预设小球图像之间夹角与跟随时间的比值；
[0120]S514、根据所述眼睛视线信息的初始值与所述预设小球图形当前位置之间的夹角和所述跟随时间，计算平均跟随角速度；[0121]S515、计算所述眼睛跟随角速度与所述平均跟随角速度之间的差值，得到当前采
11
CN 110335266 A
说 明 书
9/11页
集周期内使用者的跟随角速度误差。[0122]在步骤S515中，当跟随角度误差为0时，则不呈病症；当跟随角速度误差大于或等于1°/ms及小于3°/ms，则表示体表特征为病症呈现；当跟随角速度误差大于或等于3°/ms及小于6°/ms，则表示体表特征为病症一般；当跟随角速度误差大于或等于6°/ms及小于8°/ms，则表示体表特征为病症加深；当跟随角速度误差大于或等于8°/ms及小于10°/ms，则表示体表特征为病症严重；当跟随角速度误差大于或等于10°/ms，其体表特征为病症非常严重。
[0123]具体地，在步骤S5中，所述每个采集周期内使用者的眼球移动幅度通过如下步骤确定：
[0124]S521、根据每个采集周期内每帧眼部图像的眼角特征点和眼球特征点计算两者之间的距离，得到对应的眼球移动幅度；[0125]S522、计算所述每个采集周期内全部帧眼部图像中眼球移动幅度的平均值，得到眼球移动幅度。
[0126]在步骤S522中，当眼球移动幅度接近为0时，则表示病症状态非常严重；当眼球移动幅度小于或等于12°及大于8°，则表示体表特征为病症呈现；当眼球移动幅度小于或等于8°及大于6°，则表示体表特征为病症一般；当眼球移动幅度小于或等于6°及大于3°，则表示体表特征为病症加深；当眼球移动幅度小于或等于3°及大于1°，则表示体表特征为病症严重；当眼球移动幅度小于或等于1°，其体表特征为病症非常严重。[0127]S6、将所述目色特征和所述神态特征送入预设的第二SVM分类器以进行目诊病症状态分类并输出至预设的目诊数据库。[0128]具体地，在步骤S6中，通过如下步骤在预定的采集周期内进行目诊神态状态分类确定神态特征：[0129]利用眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度作为样本数据构建SVM多分类器，具体如下：[0130]S61、在预定的采集周期内分别收集N个眼睛平均闭合速度、N个跟随角速度误差和N个眼球移动幅度作为样本数据，并对该样本数据进行归一化得到样本集P；其中，N＝60，
a1,n表示归一化后的N个眼睛平均闭合速度，作为样本集P中的第一子样本；[0132]a2,n表示归一化后的N个跟随角速度误差，作为样本集P中的第二子样本；[0133]a3,n表示归一化后的N个眼球移动幅度，作为样本集P中的第三子样本；[0134]其中，n＝1,2,3,…，N。[0135]S62、通过主成分分析对每个子样本进行降维，使得样本集P中的样本数据减少一半，得到样本集P1；[0136]S63、从降维后的样本集P1中选取70％的样本数据作为SVM多分类器的训练集D，其余30％的样本数据作为测试集T；[0137]S64、设定的训练集D＝{(x1,l1)，(x2,l2)，…，(xm,lm)}，其中，D∈P1li∈{-1,1}xi是样本数据，li是样本标记；
[0131]
12
CN 110335266 A[0138]
说 明 书
10/11页
S65、假设该训练集可被一个超平面ωTx+b＝0线性划分，其中，ω是决定超平面的
法向量，b是原点与超平面距离的位置，则问题转化为最优化超平面问题：
[0139]
[0140][0141]
其中，ξc为惩罚参数；i是0/1损失函数，
S66、对于非线性可分情况，选用RBF径向基核函数
则
SVM多分类器的优化问题最终转化为参数(C，δ)的选择问题；其中，δ≥0为径向基核函数的宽度参数，用于控制径向基核函数的径向作用范围。[0142]具体地，在步骤S66中，通过如下步骤构建训练分类模型：[0143]S661、以2-10≤c≤27和2-10≤δ≤23为范围、步距为0.1构建取值范围内的所有c和δ组成的参数对；[0144]S662、依次取参数对(C，δ)作为基于RBF径向基核函数的SVM分类器参数的初始值，利用交叉验证K-CV方法得到每组参数对(C，δ)下训练集D验证分类准确率；[0145]S663、选取最高分类准确率所对应的参数对(Co，δ得到所求SVM分o)作为最佳参数，类模型的模型参数。[0146]进一步地，在步骤S66中通过如下步骤进行模型预测：[0147]采用上述步骤得到的模型参数(Co，δ得到使用者目o)对测试集T进行SVM分类预测，诊神态特征，即病症呈现、一般、加深、严重、非常严重。[0148]进一步地，在步骤S6中，将上述步骤S5得到的神态特征和步骤S2得到目色特征送入预设的第二SVM分类器以进行目诊病症状态分类并输出至预设的目诊数据库。所述目诊病症状态是使用者病症呈现、病症一般、病症加深、病症严重、病症非常严重状态中的一种。[0149]本发明实施例还提供一种智能中医目诊图像处理装置，所述装置存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的智能中医目诊图像处理方法。[0150]如图2所示，本发明实施例还提供另一种智能中医目诊图像处理装置，该装置包括处理器1、与所述处理器1连接的存储器2，所述存储器2存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的智能中医目诊图像处理方法。[0151]与现有技术相比，本发明的方法及装置具有以下有益效果：[0152](1)通过眼部视频图像建立眼部三维模型，利用DLIB库和HOUGH变换定位和分割出眼部视频图像中眼部五轮区域，进而提取眼部五轮区域的五色特征并转换为目色特征，并且通过LK光流法和卡尔曼滤波算法跟踪眼部视频图像中的眼部图像并提取每帧图像中的眼部特征点构成眼睛平均闭眼速度、跟随角速度误差和眼球移动幅度样本数据集，从而利用SVM分类器确定神态特征，如此，运用人工智能的机器学习算法对来自图像源的4类样本数据进行使用者的病症状态分类，为病情诊断提供定量的参考数据，能够克服因经验不足或判断差异而产生的问题，使得诊测更加全面和准确。[0153](2)本发明采用LK光流法与卡尔曼滤波算法实现对连续两帧眼部图像跟踪以及眼部特征点的快速检测与提取，减少计算量，提升诊测速度。
13
CN 110335266 A[0154]
说 明 书
11/11页
(3)由于双目相机采用具有较高的采集速度的高分辨率摄像机组成，，能有效避免
标准摄像机采样次数不足的局限性，提高检测准确度。[0155]以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，故凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
14
CN 110335266 A
说 明 书 附 图
1/1页
图1
图2
15
因篇幅问题不能全部显示，请点此查看更多更全内容