技术领域
[0001] 本发明涉及图像处理技术领域，具体涉及一种果树冠层的提取方法及装置。
相关背景技术
[0002] 目前，准确地获取果树冠层分布不仅是树木长势监测、产量估计、农业金融保险应用和灾情评估等的重要依据，也是宏观掌控果树生长和调控果实贸易的依据。
[0003] 近年来，无人机低空遥感技术和传感技术在农作物长势、病虫害检测等领域得到了广泛应用，可以为树冠的精准管理提供崭新的技术手段和数据基础。
[0004] 相关技术中，大多数的果树冠层提取方法对样本数量和样本质量依赖度较高，需要精确勾画、标注树冠轮廓作为训练样本集，且训练过程需要大量的数据集。果树冠层提取在特征选取、特征融合、阈值参数设置等方面多数是针对特定实验场景、特定种类的果树定制化的方法。不同果树类型、不同地域，提取模型往往不能适用，需要重新勾画树冠轮廓作为样本数据集。因此，相关技术中的果树冠层提取方式的适用性差。
具体实施方式
[0039] 下面这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
[0040] 在本发明实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明实施例。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0041] 应当理解，尽管在本发明实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
[0042] 本发明实施例提供的一种果树冠层的提取方法，利用果树大概高度分布范围、果树所在位置存在局部高程顶点、果树植被指数在一定阈值范围内和果树冠形态近似圆形等常识性先验知识，自动生成果树冠层分割提示信息，结合SAM图像分割模型，采样迭代学习的方法，无需像其他基于深度学习方法一样需要精确勾画树冠轮廓样本，无需精确人工设定阈值，也能实现对特定树木冠层(本发明中为果树)的精准提取。可以解决现有果树冠层提取方法严重依赖人工勾画样本数量和样本质量、不同场景下模型迁移性、适用性差的问题。
[0043] 下面结合附图对本发明实施例提供的果树冠层的提取方法和装置进行详细阐述。
[0044] 实施例1
[0045] 图1为本发明实施例提供的一种果树冠层的提取方法的流程示意图。如图1中所示，可以包括下述的步骤101至步骤104：
[0046] 步骤101、电子设备基于无人机航拍图像进行图像预处理，生成数字正射影像和果树的冠层高度模型图像。
[0047] 通常，无人机航拍图像是具有正射投影性质的遥感影像。
[0048] 其中，数字正射影像，为一种经过几何纠正(比如使之拥有统一的比例尺)的航摄像片，相当于是正射投影的航摄相片，是利用数字高程模型对扫描处理的数字化的航空像片/遥感影像(单色/彩色)，经逐个象元进行投影差改正，再按影像镶嵌，根据图幅范围剪裁生成的影像数据。
[0049] 冠层高度模型(Canopy Height Mode，CHM)是表达植被距离地面高度的表面模型，通常可以基于数字表面模型(Digital Surface Model，DSM)以及数字高程模型(Digital Elevation Model，DEM)生成CHM，具体地CHM＝DSM‑DEM。其中，数字表面模型也可以称为数字树冠模型(Digital Canopy Model，DCM)
[0050] 步骤102、电子设备分别裁剪数字正射影像和冠层高度模型图像。
[0051] 其中，数字正射图像和冠层高度模型图像两张图是分别单独裁剪的。其中，冠层高度模型图像表示了数字正射图像中物体的高度信息。
[0052] 步骤103、电子设备采用SAM图像分割模型对裁剪后的数字正射影像进行全分割，得到图像预分割结果。
[0053] 具体地，电子设备将裁剪后的数字正射影像输入图像分割模型(Segment Anything Model，SAM)，对裁剪后的数字正射影像进行图像预分割，输出图像预分割的结果。
[0054] 具体可以利用SAM分割模型的全分割特性获得图像预分割结果。
[0055] 步骤104、电子设备基于果树先验知识、裁剪后的冠层高度模型图像和裁剪后的数字正射影像，筛选图像预分割结果得到的部分图斑，基于部分图斑生成果树冠层交互分割的分割提示信息，基于分割提示信息和SAM图像分割模型对裁剪后的数字正射影像进行交互分割，得到果树冠层的提取结果。
[0056] 其中，果树先验知识包括果树的空间特征、光谱特征和形态特征。
[0057] 具体地，空间特征指示果树的高度分布范围；光谱特征指示果树植被指数范围；形态特征指示果树的形状、冠层长宽比、面积范围。
[0058] 例如：常识性的先验知识1(空间特征)：果树的高度通常分布在[0m，3m]范围内。常识性的先验知识2(光谱特征)：植被GLI灰度值通常分布于[0,1]范围。常识性的先验知识3(形态特征)：果树树冠的形状近似圆形，其冠层长宽比(最小外接矩形的长轴与短轴的比值)接近1，通常分布于[0.8,1.2]范围。所述范围值可根据场景实际情况进行调整。
[0059] 在本发明实施例中，可以基于空间特征学习一张图像中的树高分布范围，探测果树树冠顶点位置获取果树的树高；可以基于光谱特征学习树冠植被指数分布范围；可以基于形态特征学习一张图像中的树的面积分布范围。进而可以利用空间特征、光谱特征和形态特征，从预分割结果中筛选符合果树特征的图斑。
[0060] 本发明实施例提供的一种果树冠层的提取方法，电子设备可以基于无人机航拍图像进行图像预处理，生成数字正射影像和果树的冠层高度模型图像；然后分别裁剪数字正射影像和冠层高度模型图像；之后采用SAM图像分割模型对裁剪后的数字正射影像进行全分割，得到图像预分割结果；基于果树先验知识、裁剪后的冠层高度模型图像和裁剪后的数字正射影像，筛选图像预分割结果得到的部分图斑，基于部分图斑生成果树冠层交互分割的分割提示信息，基于分割提示信息和SAM图像分割模型对裁剪后的数字正射影像进行交互分割，得到果树冠层的提取结果。由于使用的果树先验知识包括果树的空间特征、光谱特征和形态特征，可以准确学习到数字正射影像中的分割提示信息，基于学习到的分割提示信息对裁剪后的数字影像进行特定目标为果树冠层的交互分割，进而准确快速提取到果树冠层。因此无需像其他基于深度学习方法一样需要精确勾画树冠轮廓样本，无需精确人工设定阈值，也能实现对特定树木冠层(本发明中为果树)的精准提取。可以解决现有果树冠层提取方法严重依赖人工勾画样本数量和样本质量、不同场景下模型迁移性、适用性差的问题。
[0061] 可选地，在本发明实施例提供的一种果树冠层的提取方法中，上述的步骤101具体可以包括步骤11至步骤13：
[0062] 步骤11、电子设备基于无人机航拍图像拼接及处理软件和无人机航拍图像，生成数字正射影像、数字表面模型图像和数字地形模型图像。
[0063] 通常，数字表面模型(digital surface model，DSM)指物体表面形态以数字表达的集合。是一个表示地面特征空间分布的数据库，一般用一系列地面点坐标(x，y，z)及地表属性(目标类别、特征等)绗成数据阵列，以此组成数字地面模型。
[0064] 数字地形模型(Digital Terrain Model，DTM)包括数字高程模型、数字坡度模型、数字坡向模型等：地形是“地表形态”或“地貌形态”的简称。地形可以用高程来描述，也可以用坡度、坡向等信息来描述。利用一个任意坐标系中大量选择的已知x、y、z的坐标点对连续地面的一种模拟表示。x、y表示该点的平面坐标，z值可以表示高程、坡度、温度等信息，当z表示高程时，即为数字高程模型(Digital Elevation Model，DEM)。
[0065] 步骤12、电子设备统一数字表面模型图像和数字地形模型图像的分辨率。
[0066] 步骤13、电子设备基于第一图像和第二图像的灰度值的差值，生成冠层高度模型图像。
[0067] 其中，第一图像为统一分辨率后的数字表面模型图像，第二图像为统一分辨率后的数字地形模型图像。
[0068] 在本发明实施例中，裁剪前需要先统一数字正射图像和冠层高度模型图像的分辨率和坐标系，从而可以保证同一场景下两图像的地理范围具有一致性。
[0069] 基于该方案，电子设备可以通过图像预处理，基于无人机航拍图像生成该数字正射影像以及对应的数字表面模型图像和数字地形模型图像；基于统一分辨率后的数字表面模型图像和数字地形模型图像的灰度值的差值，生成果树的冠层高度模型图像，从而使得后续可以基于数字正射影像和冠层高度模型图像准确地学习到果树冠层的交互分割的分割提示信息，从而可以准确基于该分割提示信息进行果树冠层的提取处理。
[0070] 可选地，在本发明实施例提供的一种果树冠层的提取方法中，步骤102可以具体通过下述的步骤21至步骤23执行：
[0071] 步骤21、电子设备对准数字正射影像和冠层高度模型图像的坐标系和空间位置。
[0072] 步骤22、电子设备分别裁剪对准后的数字正射影像和冠层高度模型图像为多张小尺寸图像。
[0073] 其中，裁剪后的同一场景下的数字正射影像和冠层高度模型图像具有相同的地理位置，且相邻两张小图像具有一定的重叠度。
[0074] 可以理解，数字正射影像为一张高分辨率大尺寸图像，难以用于计算机设备的运行，因此可以把一张大图裁剪切割成多张小图像，作为输入SAM分割模型的待检测图像。
[0075] 需要说明的是，本发明实施例中，电子设备将一张大图切割成多张小图，使用时放在文件夹内，SAM分割模型依次批量处理。
[0076] 在上述步骤22中，进行的是重叠裁剪，可以防止图像分割时出现果树目标不完整的现象，裁剪后的相邻两个小图像间有一定的重叠距离(重叠度)。
[0077] 具体地，电子设备按照同样的裁剪规则，分别对图1和图2裁剪。即把图1这张大图裁剪分成多张小图，再把图2这张大图分成多张小图。图1数字正射影像可以理解为人肉眼可以看到的真实物体，图2冠层高程模型图像表示图1中物体高度的信息，每一个像素值表示为高度值。
[0078] 基于该方案，在电子设备获取到冠层高层模型图像之后，可以将数字正射影像和冠层高度模型图像的分辨率对齐、坐标系和空间位置均对准，然后将两张图像按照相同的裁剪方式，分别裁剪成多张尺寸固定的小尺寸图像，可以作为输入SAM分割模型的待检测图像，便于电子设备的运行及学习。且相邻两个小图像间有一定的重叠度，防止图像分割时出现果树目标不完整的现象。
[0079] 基于空间特征，学习图像中的树的高度分布范围。
[0080] 可选地，在本发明实施例提供的一种果树冠层的提取方法中，空间特征指示果树的高度分布范围为第一高度分布范围，步骤104中，可以包括步骤411至步骤414以学习果树冠层的高度分布范围。
[0081] 步骤411、电子设备基于冠层高度模型图像进行局部极大值点检测，将局部极大值点作为树冠顶点，将树冠顶点处的像元值作为树的高度值。
[0082] 其中，冠层高度模型图像的分辨率高。可以理解，在得到图像预分割结果之后，可以先将该图像预分割结果转换为图像，然后基于冠层高度模型图像计算得到局部极大值点。
[0083] 可以理解，通过该步骤可以获取部分果树树冠顶点位置和部分果树的高度值。
[0084] 步骤412、电子设备筛选高度值在第一高度分布范围内的树冠顶点，并统计筛选后的各个树冠顶点处的像元值，获取树的高度分布直方图。
[0085] 示例性地，第一高度分布范围为[0m，3m]，树冠顶点处的像元值即为树高度值。
[0086] 步骤413、电子设备基于高度分布直方图，计算果树的高度均值和高度标准差，确定果树的第二高度分布范围。
[0087] 例如，基于果树的先验知识1，筛选高度值在0‑3米范围内的顶点，统计筛选后的顶点处像元值，得到无人机航拍图像对应的树的高度分布直方图。基于无人机航拍图像的树的高度分布直方图，计算树高度的均值μ1和高度的标准差σ1，基于公式(1)获取该无人机航拍图像中的树的高度分布范围。
[0088] H＝μ1±1.96σ1 公式(1)
[0089] 需要说明的是，平均值加减标准差是用来描述数据的分布范围，一般情况，平均值加减两个标准差，可以包含95％的数据点，这个范围称为标准差范围。
[0090] 基于该方案，在电子设备生成了该数字正射影像对应的冠层高度模型图像之后，可以对冠层高度模型图像进行局部极大值检测，将各个局部极大值点作为树冠顶点，将每个树冠顶点处的像元值作为树的高度值，然后基于先验知识筛选第一高度分布范围内的树冠顶点，统计符合第一高度分布范围内的树冠顶点的像元值，得到该数字正射影像的树的高度分布直方图，从而可以学习得到果树的第二高度分布范围；可以使得后续基于学习得到的果树的第二高度分布范围对全分割后的图像中的果树图斑进行准确的筛选，从而可以提高提取的准确率。
[0091] 基于光谱特征，学习树冠植被指数分布范围。
[0092] 需要说明的是，根据果树树冠属于植被的特征，考虑到可见光数据(仅含红、绿、蓝三波段)的适用性，在本发明实施例中，选用GLI(Green Leaf Inde，绿叶指数)作为果树冠层提取的植被指数。
[0093] 可选地，在本发明实施例提供的一种果树冠层的提取方法中，光谱特征指示果树的目标植被指数灰度值在第一灰度范围，目标植被指数为绿叶指数。
[0094] 进而，上述的步骤104可以包括下述的步骤420至步骤423：
[0095] 步骤420、电子设备基于裁剪后的数字正射影像的波段，确定目标植被指数的植被指数灰度图像。
[0096] 步骤421、电子设备基于植被指数灰度图像，获取第二高度分布范围过滤后的树冠顶点处的植被指数灰度值。
[0097] 步骤422、电子设备筛选植被指数灰度值在第一灰度范围内的树冠顶点，并统计筛选后的各个树冠顶点处的植被指数灰度值，得到果树的植被指数分布直方图。
[0098] 步骤423、电子设备基于植被指数分布直方图，计算果树的植被指数均值和植被指数标准差，确定果树的植被指数分布范围。
[0099] 首先对数字正射影像波段计算获取植被指数灰度图像。可以基于公式(2)，确定数字正射影像的GLI。
[0100]
[0101] 其中，Green表示绿色像素值、Red表示红色像素值、Blue表示蓝色像素值。
[0102] 示例性地，根据果树先验知识1筛选后的果树顶点，叠加GLI灰度图像，获取果树顶点处的灰度值。根据果树先验知识2筛选GLI值在[0,1]之间的果树顶点。统计筛选后的顶点处的GLI值，得到果树GLI分布直方图，计算果树GLI的均值μ2和果树GLI的标准差σ2，基于公式(3)得到果树的GLI分布范围。
[0103] G＝μ2±1.96σ2 公式(3)
[0104] 基于该方案，电子设备可以基于先验知识中的绿叶指数的范围，通过数字正射影像生成GLI灰度图像，然后获取已经经过学习后的第二高度分布范围过滤后的树冠顶点处的GLI灰度值，基于树冠顶点处的GLI灰度值，确定数字正射影像中的GIL分布直方图，从而可以学习得到该数字正射影像中果树的绿叶指数分布范围，可以使得后续基于学习得到的绿叶指数分布范围对分割后的图像中的果树图斑进行准确的筛选，从而可以提高提取的准确率。
[0105] 基于形态特征，学习图像中的树冠面积分布范围。
[0106] 可选地，在本发明实施例提供的一种果树冠层的提取方法中，形态特征指示果树的冠层长宽比在第一长宽比范围内；通常，果树树冠的形状近似圆形，其冠层长宽比(最小外接矩形的长轴与短轴的比值)接近1。利用这一先验知识将长宽比设置为0.5‑1.5之间筛选图斑，以确保更符合果树冠形状，从而获取更准确的果树图斑。
[0107] 进而，上述的步骤104可以包括步骤430至步骤433：
[0108] 步骤430、电子设备检测图像预分割结果中的图斑的最小外接矩形，得到每个图斑的长宽比。
[0109] 步骤431、电子设备筛选图像预分割结果中长宽比在第一长宽比范围内的图斑。
[0110] 步骤432、电子设备检测长宽比筛选后的图斑轮廓内的像素点集，得到果树图斑的面积分布直方图。
[0111] 步骤433、电子设备基于果树图斑的面积分布直方图，计算果树图斑的面积均值和果树图斑的面积标准差，得到果树的树冠面积分布范围。
[0112] 示例性地，通常情况下，果树树冠的形状近似圆形，其冠层长宽比(最小外接矩形的长轴与短轴的比值)接近1。电子设备筛选长宽比在[0.5,1.5]之间的图斑。检测筛选后图斑轮廓内像素点集，统计图斑面积，得到图斑面积分布直方图。根据图斑面积分布直方图，计算图斑面积的均值μ3和图斑面积的标准差σ3。基于公式(4)，根据图斑面积的均值μ3和图斑面积的标准差σ3，获取树冠图斑面积分布范围。
[0113] S＝μ3±1.96σ3 公式(4)
[0114] 其中，像素点集乘以地面分辨率(米/像素)转换为平方米来表示树冠面积。
[0115] 基于该方案，电子设备可以在将裁剪后的数字正射影像全分割后，检测分割后的图像中的图斑的最小外接矩形，得到每个图斑的长宽比；然后基于果树先验知识指示的第一长宽比范围，筛选长宽比在第一长宽比范围内的图斑；之后检测符合范围的果树图斑轮廓内的像素点集得到果树图斑的面积分布直方图，从而可以学习得到该数字正射影像中果树的树冠面积分布范围，可以使得后续基于学习到得到的果树的树冠面积分布范围对分割后的图像中的果树图斑进行准确的筛选，从而可以提高提取的准确率。
[0116] 示例：
[0117] 图2为本发明实施例提供的一种学习分割提示信息的逻辑示意图，如图2中所示，基于无人机航拍图像得到数字正射影像，通过预处理和图像预分割可以得到预分割结果图像和冠层高度模型图像。可以基于预分割结果和冠层高度模型图像进行极大值检测，然后检测图斑顶点，获取顶点处的高度值，通过先验知识1的高度分布范围筛选顶点，统计筛选后的顶点高度值，进而获得高度分布范围。基于数字正射影像计算植被指数，然后确定植被指数灰度图，基于高度筛选后的顶点和植被指数灰度图，确定筛选后的顶点的灰度值，再用先验知识2筛选灰度值符合范围的顶点，统计筛选后的顶点处的植被指数，进而得到植被指数分布范围。基于预设分割结果图像计算图斑的长宽比，使用先验知识3筛选长宽比符合范围的图斑，然后统计筛选后的各个图斑的面积，进而得到树冠面积分布范围。之后，根据学习得到的树的高度分布范围、植被指数分布范围和树冠面积分布范围筛选本次图像预分割结果中的图斑，得到果树冠层的部分图斑(中间结果)。
[0118] 可选地，在本发明实施例中，基于学习得到的树高度值范围、植被指数灰度值范围、树冠面积分布范围，筛选图像预分割结果中的果树图斑，得到提取后的果树冠层的部分图斑。
[0119] 进而，在本发明实施例提供的一种果树冠层的提取方法中，上述的步骤104还可以包括下述的步骤440至步骤442：
[0120] 步骤440、电子设备从图像预分割结果中筛选树高在第二高度分布范围内的第一组图斑。
[0121] 步骤441、电子设备从第一组图斑中筛选植被指数灰度值在植被指数灰度值范围内的第二组图斑。
[0122] 步骤442、电子设备从第二组图斑中筛选长宽比在第三范围内，且树冠面积在树冠面积分布范围内的第三组图斑，第三组图斑为果树冠层的部分图斑。
[0123] 示例地，图3为本发明实施例提供的一种筛选逻辑示意图，如图3中所示，针对图像预分割结果中的图斑，先使用树高度值筛选图斑，再使用树冠植被指数筛选图斑，最后使用树冠长宽比和面积筛选图斑，得到果树冠层的部分图斑，即最后一个筛选条件筛选完之后得到最终的果树冠层的部分图斑的提取结果。
[0124] 基于该方案，电子设备可以先基于学习得到的树高度分布范围筛选图像预分割结果中的图斑、然后再基于学习得到的GLI范围从高度筛选得到的图斑中继续筛选，最后基于学习得到的树冠面积分布范围从GLI筛选得到的图斑中继续筛选，从而可以得到的果树冠层的部分图斑。
[0125] 可选地，在本发明实施例提供的一种果树冠层的提取方法中，在上述的步骤442之后，上述的步骤104还可以包括下述的步骤443至步骤445：
[0126] 步骤443、电子设备基于果树冠层的部分图斑中每个图斑的外接矩形的四个角点的坐标，计算该每个图斑的中心点坐标点。
[0127] 示例性地，基于公式(5)确定图斑的横向中心坐标，基于公式(6)确定图斑的纵向中心坐标。
[0128]
[0129]
[0130] 其中，Xmin表示图斑的外接矩形的最大横坐标，Xmax表示图斑的外接矩形的最小横坐标；Ymin表示图斑的外接矩形的最大纵坐标，Ymax表示图斑的外接矩形的最小纵坐标。
[0131] 步骤444、电子设备将上述果树冠层的部分图斑的中心坐标点作为第1轮交互分割的分割提示信息，基于SAM图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第1轮交互分割，得到第1轮交互分割结果。
[0132] 其中，本发明中的特定目标的交互分割是指基于上一轮确定的果树图斑的各个中心点坐标作为分割提示信息，利用SAM分割模型交互分割对裁剪后的数字正射影像进行图像分割。
[0133] 步骤445、电子设备将第i轮交互分割结果中每个图斑的中心坐标点作为果树冠层的第i+1轮交互分割的分割提示信息，基于第i+1轮交互分割的分割提示信息和SAM图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第i+1轮的交互分割，得到第i+1轮交互分割结果。
[0134] 其中，i为小于K的正整数，K为迭代次数，K为大于1的正整数。
[0135] 步骤446、将第K‑1轮生成的分割提示信息作为特定目标为果树冠层的交互分割的分割提示信息的学习结果。
[0136] 具体地，可以重复多次执行上述的步骤445，得到果树冠层的分割提示信息。
[0137] 可以理解，电子设备可以通过多次迭代学习果树的冠层提取的分割提示信息，可以使得得到的结果更加准确。
[0138] 示例：
[0139] 第1轮：基于图像预分割结果和先验知识训练，得到果树冠层图斑的筛选信息，基于筛选信息筛选图像预分割结果得到果树冠层的部分图斑，将该部分图斑的中心点作为第1轮交互分割的分割提示信息1，基于分割提示信息1对裁剪后的数字正射影像进行第1轮特定目标为果树冠层的交互分割，得到的第一轮的果树冠层的提取图斑；基于第1轮果树冠层的提取图斑中心点得到分割提示信息2；
[0140] 第2轮：基于分割提示信息2对裁剪后的数字正射影像进行第2轮特定目标为果树冠层的交互分割，得到第2轮果树冠层的提取图斑；将第2轮果树冠层的提取图斑的中心点作为第3分割提示信息。
[0141] 重复K次执行上述的第2轮的步骤，将上一轮的分割结果中的图斑的中心点作为下一轮特定目标的交互分割的分割提示信息，得到最终的提取结果。其中，K可以为设置的最大迭代次数，也可以为满足迭代条件时的迭代次数。
[0142] 基于该方案，电子设备可以将上一轮图像分割得到图斑中心点作为分割提示信息，重新对裁剪后的数字正射影像进行特定目标为果树冠层的交互分割，然后基于上一轮学习到果树冠层的分割提示信息和本轮特定目标的交互分割的结果，多次迭代学习得到新的分割提示信息，从而可以学习到准确的果树图斑的分割提示信息。
[0143] 可选地，在本发明实施例提供的一种果树冠层的提取方法中，在上述的步骤446之后，还可以包括下述的步骤447：
[0144] 步骤447、电子设备基于第K‑1轮学习得到的分割提示信息，SAM图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第K轮交互分割，得到果树冠层最终的提取图斑。
[0145] 基于该方案，电子设备在迭代学习到分割提示信息之后，可以将学习到的分割提示信息和裁剪后的数字正射影像输入到SAM图像分割模型进行特定目标为果树冠层的交互分割，从而可以准确得到无人机航拍图像中的果树冠层的提取图斑。
[0146] 图4为本发明实施例提供的一种果树冠层的提取方法的整体逻辑示意图。可以基于常识性先验知识和无人机航拍图像，通过在线学习获取果树高度值的分布范围、植被指数灰度值的分布范围和面积值的分布范围。然后基于分割提示信息筛选并提取果树冠层图斑，得到最终的果树冠层图斑提取结果。
[0147] 实验数据：
[0148] 实验环境：Windows 10操作系统、计算机显卡为Intel(R)Xeon(R)CPU E5‑2620 v4@2.10GHz(32CPUs)、配备两个处理器(共32个CPU核心)8GB显存，搭载NVIDIV Quadro P4000GPU，基于Pytorch2.1.0.框架，采用了python 3.9和torchvision 0.8，CUDA版本12.1，CUDNN版本8801。
[0149] 本发明通过两个不同地理环境场景下的不同类型果树冠层提取进行了实验对比验证。其中场景一实验园区为柑橘果树实验果园，场景二实验园区为橙子果树。设计两个对比实验，证明了本发明的方法可行，可以实现零样本条件下果树冠层提取的可行性和通用性。试验结果显示，在零样本的条件下果树冠层提取精度均达到了99％。
[0150] 场景一：输入SAM图像分割模型的图像尺寸为3072×3072；
[0151] 场景二：输入SAM图像分割模型的图像尺寸为512×512。
[0152] 实验1：基于本发明的果树冠层提取方法，利用常识性先验知识分别针对场景1和场景2自动生生成果树冠层提取的分割提示信息，结合SAM图像分割模型提取果树冠层。
[0153] 实验2：基于常用的深度学习模型U‑net分别针对场景1和场景2提取果树冠层。
[0154] 本发明通过两个不同场景下的不同类型果树冠层提取实验进行了实验验证，在上述实验中，通过本发明所提出的零样本果树冠层分割方法，对两个不同场景的不同类型果树获取果树冠层提取结果。
[0155] 图5为本发明实施例提供的果树冠层提取方法的实验结果。如图5中所示，第一行为场景一的实验结果，第二行为场景二的实验结果，第一列为数字正射影像，第二列为图像预分割结果，第三列为筛选的部分果树图斑，第四列为筛选的部分图斑，第五列为果树冠层提取结果。
[0156] 随着迭代次数的增加，分割提示信息的准确性逐渐得到改善和提高，本发明在迭代过程中不断学习并适应果树冠层的特征，从而能够更加准确地识别果树冠层与其他地物之间的细微差异，进而更精确地进行交互分割。随着迭代次数的增加，对于果树冠层的边界、形状等特征的理解和捕捉逐渐加深，使得分割结果更加清晰和可靠。
[0157] 图6为本发明实施例提供的一种实验对比结果示意图，通过本发明提出的果树冠层提取方法和U‑net方法对试验区的图像分割，获得果树冠层提取结果如图6中所示，第一行为场景一的实验对比结果，第二行为场景二的实验对比结果，其中第一列为不同的数字正射图像，第二列为本发明的提取结果，第三列为U‑net方法的提取结果。
[0158] 需要说明的是，在彩色的对比结果中，图6中的本发明结果中提取的果树图斑整体较大，U‑net方法的提取结果中的果树图斑整体较小。图6中最后一行的后两幅图像中，标记为白色圆形的图斑未被准确提取，可以看出，本发明未被准确提取的数量远小于使用U‑net方法中未被准确提取的数量。
[0159] 经典的深度学习语义分割模型U‑net进行果树冠层提取，在果树冠层与杂草之间的像素差异不明显时，往往出现了明显的欠分割和漏分割问题，少量的树冠可能被错误地归类为背景，导致分割结果的准确性受到影响。
[0160] 相比之下，本发明提出的方法明显优于经典的深度学习语义分割模型U‑net方法，能够更好地保留冠层结构，确保果树的完整性得到了有效维持，这一结果不仅在分割精度上有所体现，更在冠层形状和结构的完整性方面表现出显著优势。
[0161] 通过目视方法统计果树冠层提取数量，并结合目视所得真实目标数量，分析果树冠层提取精度。目视以一个完整的覆盖果树树冠的多边形作为一个正确提取到的冠层，不完整覆盖以及错误覆盖树冠外的多边形被认为是错误提取的冠层，树冠内没有多边形覆盖被认为是漏提取到的冠层。
[0162] 图7和图8显示使用本发明提取两个场景的果树冠层提取结果及在研究区的分布情况。
[0163] 图7显示场景1整个实验园区的柑橘果树冠层提取结果。图8显示场景2整个实验园区的橙子果树冠层提取结果。第一列为数字正射图像，第二列为果树冠层提取结果图斑。
[0164] 为了评估本研究提出的方法在果树冠层提取任务中的准确性，基于两个场景下整个实验园区内的真实果树数量与实验提取结果之间的差异，构建了混淆矩阵，并通过计算准确率来进行整个园区果树计数的精度统计分析。
[0165] 使用本发明场景1整个园区共1852棵树，正确提取到1852棵，错误提取到2棵，漏提取0棵，准确率99.9％；场景2整个园区共3122棵树，正确提取到3118棵，错误提取9颗，漏提取5颗，准确率99.8％。
[0166] 使用U‑net深度学习方法，表现出较好的准确率，但是与本发明方法相比，准确率仍然较低。同时存在少量提取错误和漏提取的问题，导致准确率的较低。从数值上看，本发明法提取结果的准确度较高，能够满足果园实际应用的需求。
[0167] 本发明实施例提供的果树冠层提取方法中，提供了一种新型的零样本果树冠层分割方法，无需人工勾画样本，无需精确设定阈值即可提取果树冠层。由于图像分割过程不需要人工调参，使得冠层提取不受特定参数的限制，对于不同场景的不同类型果树冠层提取具有较高的迁移性和适用性，可大幅提高冠层提取工作效率。本发明中零样本果树冠层分割方法，操作简单，实用性好，易于应用推广。
[0168] 实施例2：
[0169] 与前述方法的实施例相对应，本发明实施例还提供了装置及其所应用的终端的实施例。本发明实施例果树冠层的提取方法的实施例可以应用在电子设备上，例如服务器或终端设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在文件处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图9所示，为本发明实施例果树冠层的提取方法所在电子设备的一种硬件结构图，除了图9所示的处理器910、内存930、网络接口920、以及非易失性存储器940之外，实施例中装置931所在的服务器或电子设备，通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
[0170] 如图10所示，图10为本发明实施例提供的一种果树冠层的提取装置1000的框图，该果树冠层的提取装置1000包括：图像预处理模块1001、裁剪模块1002、SAM图像分割模块1003、筛选模块1004和生成模块1005；图像预处理模块1001，用于基于无人机航拍图像进行图像预处理，生成数字正射影像和果树的冠层高度模型图像；裁剪模块1002，分别裁剪数字正射影像和冠层高度模型图像；SAM图像分割模块1003，用于采用SAM图像分割模型对裁剪后的数字正射影像进行全分割，得到图像预分割结果；筛选模块1004，用于基于果树先验知识、裁剪后的数字正射影像和裁剪后的冠层高度模型图像，筛选图像预分割结果中的图斑得到部分图斑，生成模块1005，用于基于部分图斑生成果树冠层交互分割的分割提示信息；
SAM图像分割模块1003还用于基于分割提示信息和SAM图像分割模型对裁剪后的数字正射影像进行交互分割，得到果树冠层的提取结果；其中，果树先验知识包括果树的空间特征、光谱特征和形态特征。
[0171] 可选地，图像预处理模块1001具体用于：基于无人机航拍图像拼接及处理软件和无人机航拍图像，生成数字正射影像、数字表面模型图像和数字地形模型图像；统一数字表面模型图像和数字地形模型图像的分辨率；基于第一图像和第二图像的灰度值的差值，生成冠层高度模型图像；其中，第一图像为统一分辨率后的数字表面模型图像，第二图像为统一分辨率后的数字地形模型图像。
[0172] 可选地，裁剪模块1002具体用于：对准数字正射影像和冠层高度模型图像的坐标系和空间位置；分别裁剪对准后的数字正射影像和冠层高度模型图像为多张小尺寸图像；其中，裁剪后的同一场景的数字正射影像和冠层高度模型图像具有相同的地理位置，且具有重叠区域。
[0173] 可选地，空间特征指示果树的高度分布范围为第一高度分布范围；筛选模块1004具体用于：基于裁剪后的冠层高度模型图像进行局部极大值点检测，将局部极大值点作为树冠顶点，将树冠顶点处的像元值作为树的高度值；筛选高度值在第一高度分布范围内的树冠顶点，并统计筛选后的各个树冠顶点处的像元值，获取树的高度分布直方图；基于高度分布直方图，计算果树的高度均值和高度标准差，确定果树的第二高度分布范围。
[0174] 可选地，光谱特征指示果树的目标植被指数灰度值在第一灰度范围，目标植被指数为绿叶指数；生成模块1005具体用于：基于裁剪后的数字正射影像的波段，确定目标植被指数的植被指数灰度图像；基于植被指数灰度图像，获取基于第二高度分布范围过滤后的树冠顶点处的植被指数灰度值；筛选植被指数灰度值在第一灰度范围内的树冠顶点，并统计筛选后的各个树冠顶点处的植被指数灰度值，得到果树的植被指数分布直方图；基于植被指数分布直方图，计算果树的植被指数均值和植被指数标准差，确定果树的植被指数分布范围。
[0175] 可选地，形态特征指示果树的冠层长宽比在第一长宽比范围内；生成模块1005具体用于：检测图像预分割结果中的图斑的最小外接矩形，得到每个图斑的长宽比；筛选图像预分割结果中长宽比在第一长宽比范围内的图斑；检测长宽比筛选后的图斑轮廓内的像素点集，得到果树图斑的面积分布直方图；基于果树图斑的面积分布直方图，计算果树图斑的面积均值和果树图斑的面积标准差，得到果树的树冠面积分布范围。
[0176] 可选地，筛选模块1004具体用于：从图像预分割结果中筛选树高在第二高度分布范围内的第一组图斑；从第一组图斑中筛选植被指数灰度值在植被指数灰度值范围内的第二组图斑；从第二组图斑中筛选长宽比在第三范围内，且树冠面积在树冠面积分布范围内的第三组图斑，第三组图斑为果树冠层的部分图斑。
[0177] 可选地，生成模块1005具体用于：基于果树冠层的部分图斑中每个图斑的外接矩形的四个角点的坐标，计算部分图斑中每个图斑的中心坐标点；将部分图斑中每个图斑的中心坐标点作为第1轮交互分割的分割提示信息，基于第1轮交互分割的分割提示信息和SAM图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第1轮交互分割，得到第1轮交互分割结果；将第i轮交互分割结果中每个图斑的中心坐标点作为果树冠层的第i+1轮交互分割的分割提示信息，基于第i+1轮交互分割的分割提示信息和SAM图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第i+1轮交互分割，得到第i+1轮交互分割结果；i为小于K的正整数，K为迭代次数，K为大于1的正整数；将第K‑1轮生成的分割提示信息作为特定目标为果树冠层的交互分割的分割提示信息的学习结果。
[0178] 可选地，SAM图像分割模块1003还用于，基于第K‑1轮学习得到的分割提示信息，和SAM图像分割模型对裁剪后的数字正射影像进行特定目标为果树冠层的第K轮交互分割，得到果树冠层最终的提取图斑。
[0179] 需要说明的是，本发明实施例提供的果树冠层的提取装置可以实现上述实施例1中的各个方法实施例的步骤，进而也可以达到上述方法的效果，此处不再赘述。
[0180] 相应的，本发明实施例还提供一种电子设备，电子设备包括有处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：基于无人机航拍图像进行图像预处理，生成数字正射影像和果树的冠层高度模型图像；分别裁剪数字正射影像和冠层高度模型图像为多张小图；采用SAM图像分割模型对裁剪后的数字正射影像进行全分割，得到图像预分割结果；基于果树先验知识、裁剪后的数字正射影像和裁剪后的冠层高度模型图像，筛选图像预分割结果中的图斑得到部分图斑，基于部分图斑生成果树冠层交互分割的分割提示信息，基于分割提示信息和SAM图像分割模型对裁剪后的数字正射影像进行交互分割，得到果树冠层的提取结果；其中，果树先验知识包括果树的空间特征、光谱特征和形态特征。
[0181] 上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0182] 本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述果树冠层的提取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0183] 其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如ROM、RAM、磁碟或者光盘等。
[0184] 本发明实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述果树冠层的提取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0185] 应理解，本发明实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
[0186] 本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上述的果树冠层的提取方法的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0187] 对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0188] 上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0189] 本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0190] 应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
[0191] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
