基于深度學(xué)習(xí)的機(jī)載高光譜影像樹(shù)種分類研究

一、引言

樹(shù)種識(shí)別是森林資源監(jiān)測(cè)的重要內(nèi)容之一，及時(shí)準(zhǔn)確地獲取樹(shù)種信息是可持續(xù)森林管理和資源評(píng)估的基礎(chǔ)。傳統(tǒng)的樹(shù)種識(shí)別主要依靠人工實(shí)地踏勘，費(fèi)時(shí)費(fèi)力。遙感技術(shù)的快速發(fā)展彌補(bǔ)了人工調(diào)查方法的不足，與其他數(shù)據(jù)源相比，機(jī)載高光譜影像具有豐富的光譜信息和空間信息，能探測(cè)到不同樹(shù)種間細(xì)微的差異，可實(shí)現(xiàn)高精度的樹(shù)種識(shí)別。傳統(tǒng)的高光譜圖像分類算法(如支持向量機(jī)、隨機(jī)森林)需要提前對(duì)特征進(jìn)行選擇，會(huì)造成信息損失并降低分類精度。深度學(xué)習(xí)提供一種端到端的學(xué)習(xí)范式，可以自主地從大量數(shù)據(jù)中學(xué)習(xí)復(fù)雜非線性特征，避免了傳統(tǒng)算法提取特征的復(fù)雜性和局限性。本文利用機(jī)載高光譜影像和深度學(xué)習(xí)方法對(duì)三個(gè)研究區(qū)中的樹(shù)種進(jìn)行分類研究。

二、研究區(qū)概況

鐵崗水庫(kù)位于中國(guó)廣東省深圳市寶安區(qū)東南部(22°36′30″N，113°54′30″E)，地理位置如圖1所示。該地區(qū)屬亞熱帶季風(fēng)氣候，氣候溫和，光照充足，雨量豐沛。多年平均氣溫 21.7℃，平均降水量 1664mm。平均海拔高度為23-76m。鐵崗水庫(kù)庫(kù)區(qū)的自然地帶性植被為季風(fēng)常綠闊葉林，現(xiàn)存植被以人工次生林和人工林為主，在局部地區(qū)保存少量的次生灌木叢和濕地草甸，主要樹(shù)種有水松、樟樹(shù)、小葉榕、側(cè)柏、紅錐木、桉樹(shù)和高山榕等。濕地草甸主要由喬本科和莎草科構(gòu)成。本研究選擇鐵崗水庫(kù)內(nèi)一塊森林樣地作為研究區(qū)域，區(qū)域范圍如圖1紅框標(biāo)注所示。

圖1 鐵崗水庫(kù)研究區(qū)位置概況圖

2.1數(shù)據(jù)獲取

高光譜影像于2022年8月16日在晴朗無(wú)云的條件下獲取。本研究利用某研究院自主集成的無(wú)人機(jī)高光譜系統(tǒng)對(duì)研究區(qū)進(jìn)行數(shù)據(jù)采集。高光譜系統(tǒng)搭載在四旋翼無(wú)人機(jī)上，由高光譜成像儀、IMU和GPS三大部分組成，具備體積小、重量輕、靈活機(jī)動(dòng)、實(shí)時(shí)性強(qiáng)等優(yōu)勢(shì)。高光譜傳感器是一種推掃式掃描儀，在400-1000nm光譜范圍內(nèi)記錄112個(gè)波段，光譜分辨率5nm。表2-2總結(jié)了高光譜傳感器的詳細(xì)參數(shù)。飛行高度設(shè)置為離地面約100m，空間分辨率為0.1m，飛行速度設(shè)置為4m/s。在飛行期間，共產(chǎn)生了7條航帶，旁向重疊度為30%地面實(shí)測(cè)數(shù)據(jù)在飛行活動(dòng)結(jié)束后進(jìn)行集，共記錄了7種樹(shù)木。此外，本研究還利用高分辨率影像圖進(jìn)行目視解譯，進(jìn)一步擴(kuò)充實(shí)地樣本。具體的地面真實(shí)標(biāo)簽情況如表1示。

表1 鐵崗水庫(kù)數(shù)據(jù)集的地面真實(shí)標(biāo)簽情況。

2.2數(shù)據(jù)處理

利用無(wú)人機(jī)高光譜系統(tǒng)獲取的數(shù)據(jù)有原始高光譜數(shù)據(jù)、POS信息數(shù)據(jù)和時(shí)間同步數(shù)據(jù)。原始數(shù)據(jù)無(wú)法直接使用，需進(jìn)行一定的數(shù)據(jù)預(yù)處理，如異常值去除、輻射定標(biāo)、幾何校正、大氣校正等。流程圖如圖2所示。

圖 2 高光譜數(shù)據(jù)預(yù)處理流程圖

（1）去除異常值

利用無(wú)人機(jī)高光譜系統(tǒng)采集圖像的過(guò)程中，會(huì)在某些像元中產(chǎn)生異常值，如圖3所示，在某個(gè)波段處DN值會(huì)突然升高或突然降低。為此，需要通過(guò)算法對(duì)這些異常值進(jìn)行去除。觀察異常值可發(fā)現(xiàn)其有兩大特點(diǎn)：①不是中位數(shù)；②與周圍的DN值相差較大。本文根據(jù)異常值的特點(diǎn)提出了一種算法對(duì)其進(jìn)行去除。

以某一含有異常值的像元為例，去除的主要步驟如下：

①依次遍歷波段值，取其左右像素組成一個(gè)列表[xi-1,xi,xi+1]

②若該值為中位數(shù)，則繼續(xù)遍歷，若該值不是中位數(shù)，則計(jì)算與左右像素的相差值。

③如果Mean(xi- xi-1+ xi- xi+1)＞n′ xi+1- xi-1（其中n為閾值），則判斷該值為異常值，使用xi-1和xi+1的平均值來(lái)替代。

本文通過(guò)不同的算法對(duì)某一植被像元進(jìn)行異常值去除，結(jié)果如圖3所示?！?/span>

圖 3 異常值去除

可以看出，中值濾波雖然可以對(duì)異常值進(jìn)行去除，但該算法會(huì)更改其他光譜值。SG濾波對(duì)異常值起到平滑作用，并不能完全去除異常值。MAD算法相比前兩種算法來(lái)說(shuō)效果更好，但會(huì)將非異常值判斷為異常值。與其他算法相比，本文提出的去除算法效果更好，在去除異常值的過(guò)程中，不會(huì)更改其他非異常值。本研究利用該算法對(duì)整幅圖像進(jìn)行處理，去除光譜曲線中的異常值。

（2）輻射定標(biāo)

高光譜傳感器記錄的是數(shù)字量化值（DN值），其無(wú)單位，是非物理量。為此，需要進(jìn)行輻射定標(biāo)來(lái)將圖像的DN值轉(zhuǎn)化為輻射亮度值或者反射率值等物理量。本文利用高光譜傳感器廠商提供的定標(biāo)公式和定標(biāo)文件對(duì)圖像進(jìn)行輻射定標(biāo)。定標(biāo)公式如式(9)所示

其中：L是傳感器測(cè)得地面目標(biāo)的總輻射亮度，單位為mW/(cm2×sr× nm)；calibration_gain為輻射定標(biāo)系數(shù)，由傳感器廠商提供，某一位置的定標(biāo)系數(shù)如圖3(a)所示；

圖 3 輻射定標(biāo)參數(shù)

image_DN為傳感器記錄的原始DN值；dark_DN為對(duì)應(yīng)像元的暗電流DN值，在采集高光譜數(shù)據(jù)時(shí)會(huì)同步記錄暗電流數(shù)據(jù)，某一位置的暗電流DN值如圖3(b)所示；integration_time為積分時(shí)間。圖4展示了植被像元輻射定標(biāo)前后的光譜曲線差異。

圖 4 輻射定標(biāo)

 （3）幾何校正

利用無(wú)人機(jī)高光譜系統(tǒng)獲取的原始數(shù)據(jù)不包含地理坐標(biāo)信息，且在飛行過(guò)程中，由于無(wú)人機(jī)的姿態(tài)（俯仰、翻滾、偏航）、高度、速度和傳感器自身特性等因素，會(huì)造成高光譜原始影像中地物形狀扭曲和反向。因此需要對(duì)圖像進(jìn)行幾何校正。本研究首先通過(guò)無(wú)人機(jī)平臺(tái)搭載的GPS和IMU解算出航跡坐標(biāo)信息，然后利用航跡坐標(biāo)信息、高精度DEM數(shù)據(jù)、時(shí)間同步文件構(gòu)建模型，為高光譜影像賦予地理坐標(biāo)信息并進(jìn)行幾何校正。第7航帶幾何校正前后的影像如圖5。

圖 5 幾何校正

（4）大氣校正

在數(shù)據(jù)采集的過(guò)程中，高光譜傳感器最終測(cè)得的地面目標(biāo)的總輻射亮度并不是地表真實(shí)反射率的反映，其中包含了由大氣吸收，尤其是散射作用造成的輻射量誤差。大氣校正就是消除這些由大氣影響所造成的輻射誤差，反演地物真實(shí)的表面反射率的過(guò)程。本研究利用ENVI軟件自帶的FlAASH大氣校正模塊對(duì)每一條航帶進(jìn)行大氣校正。圖6展示了植被像元大氣校正前后的光譜曲線差異。

圖 6 大氣校正

（5）圖像掩膜與圖像拼接

本文的研究對(duì)象是森林樹(shù)種，但獲取的高光譜影像中含有水體、道路等非植被地物。為消除非植被地物對(duì)分類結(jié)果的影響，本研究首先計(jì)算影像的NDVI值，通過(guò)設(shè)置合適的閾值（如NDVI≥0.5），創(chuàng)建NDVI掩膜；然后將NDVI掩膜應(yīng)用于高光譜影像中；最后得到只含有植被的高光譜影像圖。最后本研究利用ENVI軟件中自帶的鑲嵌模塊，對(duì)各個(gè)航帶進(jìn)行拼接。最終得到的高光譜影像圖如圖7所示。各樹(shù)種的光譜曲線差異如圖8所示。

圖 7 鐵崗水庫(kù)研究區(qū)高光譜影像圖

圖 8 鐵崗水庫(kù)數(shù)據(jù)集的樹(shù)種光譜曲線

三、小結(jié)

針對(duì)鐵崗水庫(kù)數(shù)據(jù)集，本文提出了一種異常值去除算法，與其他經(jīng)典去噪算法相比，本文提出的方法效果最好。為避免非植被地物對(duì)分類結(jié)果的影響，本文分別創(chuàng)建CHM掩膜和NDVI掩膜對(duì)TEF數(shù)據(jù)集和鐵崗水庫(kù)數(shù)據(jù)集進(jìn)行處理，得到只包含植被的高光譜影像圖。

四、基于改進(jìn) Mask R-CNN 的單木分割

4.1 實(shí)驗(yàn)過(guò)程與結(jié)果

4.1.1 數(shù)據(jù)集標(biāo)注與劃分

本研究將正射影像圖作為神經(jīng)網(wǎng)絡(luò)的輸入。數(shù)據(jù)集標(biāo)注的流程如圖9所示，由于圖像中除樹(shù)木外，還包含草地、裸地等非樹(shù)種地物，它們會(huì)對(duì)數(shù)據(jù)的標(biāo)注和模型的訓(xùn)練造成干擾，如圖10(a)中紅框部分，其實(shí)際為草地，但在進(jìn)行標(biāo)注過(guò)程中，容易將其判別為樹(shù)木。

圖 9 數(shù)據(jù)集標(biāo)注流程圖

圖 10 數(shù)據(jù)集標(biāo)注

為解決這一問(wèn)題，本文利用CHM數(shù)據(jù)生成高度掩膜(CHM≥5)，去除草地、裸地等地物，掩膜后的結(jié)果如圖10(b)所示，可以看到圖像中只保留了樹(shù)木。然后在圖像中隨機(jī)選擇大小為512×512的子圖像制作數(shù)據(jù)集，其中選擇100張子圖像作為訓(xùn)練集，20張子圖像作為測(cè)試集。最后利用圖像標(biāo)注工具對(duì)子圖像進(jìn)行實(shí)例標(biāo)注。然而，由于本研究使用的數(shù)據(jù)是具有地理坐標(biāo)信息的RGB圖像(TIF格式)，標(biāo)注工具并不支持這種格式的讀取。因此在數(shù)據(jù)集制作的過(guò)程中，本文不僅保存了TIF格的圖像，還保存了對(duì)應(yīng)的PNG格式的圖像。利用標(biāo)注工具對(duì)PNG格式的圖像進(jìn)行實(shí)例標(biāo)注，之后將獲得的標(biāo)注結(jié)果與TIF圖像進(jìn)行融合，完成數(shù)據(jù)集的標(biāo)注。某一圖像的標(biāo)注結(jié)果如圖10(c)所示。

4.1.2實(shí)驗(yàn)結(jié)果

本文在特征提取部分選擇ResNet50作為主干網(wǎng)絡(luò)，并利用MaskR-CNN在大規(guī)模數(shù)據(jù)集上預(yù)先訓(xùn)練好的模型權(quán)重進(jìn)行訓(xùn)練。本文從輸入數(shù)據(jù)的類型和是否在網(wǎng)絡(luò)中加入注意力機(jī)制兩個(gè)方面出發(fā)，設(shè)計(jì)了六種不同的分割方案。在網(wǎng)絡(luò)中加入注意力機(jī)制時(shí)，有三種方案，分別針對(duì)輸入數(shù)據(jù)為RGB、CHM以及RGB+CHM的情況。同樣地，當(dāng)網(wǎng)絡(luò)中不包含注意力機(jī)制時(shí)，也有三種方案。六種方案獲得的分割結(jié)果如表2所示，

表 2 不同設(shè)計(jì)方案下獲得的單木分割結(jié)果

可以看出，當(dāng)輸入數(shù)據(jù)為RGB且在網(wǎng)絡(luò)中加入SimAM注意力機(jī)制時(shí)，獲得的分割性能最好，AP值達(dá)到41.5%，其中IoU閾值為0.5時(shí)（即AP50），精度最高，有74.5%。除了輸入數(shù)據(jù)為CHM的情況外，其他所有模型對(duì)中目標(biāo)的分割能力最好，APM值高于APS值和APL值，如模型RGB+SimAM的APM值為47.6%，高于APS值（32.4%）和APL值（33.6%）10多個(gè)百分點(diǎn)。當(dāng)在網(wǎng)絡(luò)中加入SimAM注意力機(jī)制時(shí)，分割性能均得到提升。其中，當(dāng)輸入數(shù)據(jù)為RGB且網(wǎng)絡(luò)中不加入注意力機(jī)制時(shí)，獲得的AP50值為72.3%，加入注意力機(jī)制后，AP50值提高到74.5%，增加了2.2個(gè)百分點(diǎn)。這證明了SimAM注意力機(jī)制的有效性。模型獲得的分割效果如圖11所示，

圖 11單木分割結(jié)果

可以看出，網(wǎng)絡(luò)能夠準(zhǔn)確地識(shí)別并分割出圖像中的樹(shù)木，但也存在一定的問(wèn)題，比如欠分割的情況。如圖11(c)所示的預(yù)測(cè)掩膜圖，紅框部分應(yīng)為多棵樹(shù)，但模型將其分割為同一棵樹(shù)。此外，模型對(duì)圖像邊緣部分的分割效果不太良好，如圖11(c)中的藍(lán)框部分，其不是一棵完整的樹(shù)，模型將其分割為一棵樹(shù)。

續(xù)~~

推薦：

便攜式高光譜成像系統(tǒng)iSpecHyper-VS1000

專門用于公安刑偵、物證鑒定、醫(yī)學(xué)醫(yī)療、精準(zhǔn)農(nóng)業(yè)、礦物地質(zhì)勘探等領(lǐng)域的最新產(chǎn)品，主要優(yōu)勢(shì)具有體積小、幀率高、高光譜分辨率高、高像質(zhì)等性價(jià)比特點(diǎn)采用了透射光柵內(nèi)推掃原理高光譜成像，系統(tǒng)集成高性能數(shù)據(jù)采集與分析處理系統(tǒng)，高速USB3.0接口傳輸，全靶面高成像質(zhì)量光學(xué)設(shè)計(jì)，物鏡接口為標(biāo)準(zhǔn)C-Mount，可根據(jù)用戶需求更換物鏡。