基于光譜信息與圖割模型求解的高光譜圖像拼接方法

發(fā)表文獻：

Zongyi Peng, Yong Ma, Yujie Zhang, Hao Li, Fan Fan, Xiaoguang Mei:

Seamless UAV Hyperspectral Image Stitching Using Optimal Seamline Detection via Graph Cuts. IEEE Trans. Geosci. Remote. Sens. 61: 1-13 (2023)，中科院一區(qū)TOP期刊

關(guān)鍵詞：圖形切割、高光譜圖像 （HSI） 拼接、*佳接縫線檢測、光譜相似性。

背景：

高光譜遙感圖像因同時具有空譜信息而得到了廣泛的應(yīng)用。現(xiàn)有的高光譜圖像傳感器主要分為基于衛(wèi)星載荷與無人機載荷兩種。然而，衛(wèi)星傳感器載荷成本較高，圖像空間分辨率較低且成像過程中易受到大氣云層的干擾。近年來，無人機載傳感器由于其靈活便捷性、低成本等優(yōu)勢而受到了廣泛的關(guān)注。無人機傳感器所采集的高光譜圖像具有較高的空譜分辨率，但是由于無人機的成像視場角較小，所采集的單張圖像無法涵蓋大范圍環(huán)境信息，因此，基于高光譜圖像拼接的研究具有重要意義。

普通圖像的拼接領(lǐng)域已經(jīng)獲得了較多成果，但高光譜圖像拼接的研究還并不是十分成熟。用于遙感探測的高光譜圖像通常由機載設(shè)備拍攝，無人機拍攝的條件不穩(wěn)定，飛機振動、曝光時飛機快速運動導(dǎo)致的像點偏移等現(xiàn)象會使拍攝得到的圖像質(zhì)量下降并且存在非剛性變換。傳統(tǒng)的圖像拼接方法會雖然能將相鄰圖像的重疊區(qū)域進行幾個對齊，但在圖像融合過程中會不可避免地存在諸如模糊、重影等人工痕跡。此外，由于高光譜圖像中的眾多單波段灰度圖像具有不同的空間特征，傳統(tǒng)的基于二維圖像空間信息的*優(yōu)拼縫線探測手段在處理不同單波段灰度圖像時會得到不同的結(jié)果，導(dǎo)致高光譜圖像中眾多波段拼接結(jié)果難以統(tǒng)一，引起光譜失真問題。針對無人機所采集的單張高光譜圖像空間范圍小，傳統(tǒng)拼接方法所得到的結(jié)果具有模糊重影、光譜失真等問題，提出基于光譜信息與圖割模型求解的高光譜圖像拼接方法。

實驗設(shè)計：

本文所進行實驗的數(shù)據(jù)集為無人機拍攝的真實高光譜數(shù)據(jù)，拍攝場景為四川省某植物園，拍攝高度為300米，相鄰圖像具有較大的重疊區(qū)域，單張圖像空間分辨率為960×1057，光譜范圍覆蓋400-1100nm，每隔4nm獲取一幅單波段灰度圖像，共176個波段。該數(shù)據(jù)集包含有豐富的地物信息，包括樹林、灌木叢、草地、道路、建筑物等，數(shù)據(jù)在拍攝過程中受到噪聲影響，且相鄰圖像間具有一定視差，因此在該數(shù)據(jù)集上所進行的實驗?zāi)芊从潮疚姆椒ㄔ谡鎸嵀h(huán)境與應(yīng)用中的有效性。所有實驗均在2.8GHZ英特爾酷睿i7-7700HQ的CPU和8GB內(nèi)存的電腦上測試，方法以Matlab代碼實現(xiàn)。數(shù)據(jù)集中18幅高光譜源圖像如圖1所示，為了便于觀察，所展示的圖像為數(shù)據(jù)集中第76波段（對應(yīng)波長700nm）、第38波段（對應(yīng)波長548nm）及第13波段（對應(yīng)波長448nm）三個波段所融合而成的偽彩色圖像形式。

圖1實驗所采用的高光譜圖像數(shù)據(jù)集。

結(jié)論

在拼接圖像空間視覺效果的驗證實驗中，將直接對數(shù)據(jù)集中18幅高光譜圖像拼接而成的全景圖像進行性能驗證，實驗中將與現(xiàn)有的5個先進拼接算法進行對比，分別為ANAP、SPHP、DHW、NISwGSP與REW。不同拼接算法對18幅高光譜源圖像進行拼接所得到的全景圖像拼接結(jié)果如圖2所示，總體來看，所有拼接算法均成功將18幅源圖像配準至統(tǒng)一坐標系下，得到了一幅完整的全景拼接圖像。為了對拼接圖像的細節(jié)效果進行評估，將全景圖像中四處典型地物局部區(qū)域進行放大，展示在對應(yīng)全景圖像右邊的紅、藍、黃、綠色矩陣方框中。從圖中可以看出，ANAP與SPHP算法拼接結(jié)果中的放大區(qū)域中均存在不同程度的模糊與重影，尤其是在藍色局部矩形區(qū)域中的白色正方形地物具有明顯的人工拼接痕跡。NISwGSP算法所得到的拼接結(jié)果在具有視覺重影的同時，其黃色與藍色矩形區(qū)域局部矩形區(qū)域中出現(xiàn)了明顯的條紋狀幾何錯位。相對于上述結(jié)果，雖然DHW算法所得到的全景圖像更加清晰平滑，但紅色和黃色的局部矩形區(qū)域的地物仍然存在明顯的顏色失真痕跡。由于REW算法與本文配準方法具有相同的策略，即將圖像局部單應(yīng)變換與全局相似進行結(jié)合，因此在圖2（e）與圖2（f）中，所得到的全景拼接圖像具有大體上幾乎一致的幾何形狀，然而通過觀察局部放大區(qū)域可以發(fā)現(xiàn)，REW算法的紅色與黃色矩形區(qū)域內(nèi)，典型地物仍具有明顯重影，而本章所提出方法的局部放大圖像中，所有地物均呈現(xiàn)出清晰的形貌特征，無任何明顯的人工拼接痕跡。因此，通過圖2中所展示的結(jié)果可以得出，本章提出方法所得到的全景拼接圖像具有更加清晰平滑的視覺效果，所有地物均呈現(xiàn)出清晰的形貌特征。此外，通過對相同局部放大區(qū)域的視覺效果進行對比可以看出，本章方法的拼接圖像克服了對比算法結(jié)果中的所有缺陷，局部區(qū)域無任何明顯的人工拼接痕跡，具有更加良好的視覺效果。

圖2 不同拼接算法的空間視覺效果對比圖。（a）ANAP；（b）SPHP；（c）DHW；（d）NISwGSP；（e）REW；（f）本文方法。

本節(jié)實驗將對本文方法在高光譜圖像中所探測的最優(yōu)拼縫線性能進行評估，并與現(xiàn)有的5個先進最優(yōu)拼縫線探測算法進行對比。用于對比的最優(yōu)拼縫線算法包括有seam-driven、動態(tài)規(guī)劃（Dynamic Programming，DP）、一種增強的動態(tài)規(guī)劃（Effective Dynamic Programming，EDP）、快速魯棒拼縫評估（Fast and Robust Seam Estimation，F(xiàn)ARSE）以及基于5/2范數(shù)的拼縫線探測方法。拼縫線質(zhì)量評估實驗結(jié)果如圖3所示，其中圖3（a）為本章實驗數(shù)據(jù)集中具有豐富地物背景的相鄰圖像（即數(shù)據(jù)集中的第8和第9幅圖像），圖3（b）為兩幅源圖像經(jīng)配準后的結(jié)果，圖3（c）至圖3（h）分別為不同算法所得到的拼縫線，此外，除去拼縫線的主觀視覺效果外，為了對不同方法所得到拼縫線的質(zhì)量進行更客觀的評估，實驗中基于拼縫線的SSIM系數(shù)以進行定量評估。

圖3 本文提出方法與其它拼縫線檢測方法的拼縫線質(zhì)量比較。利用SSIM指數(shù)對所有探測到的拼縫線進行了定量對比。為了便于觀察，圖像同樣以偽彩色形式展示。（a）輸入兩幅高光譜源圖像；（b）配準圖像；（c）Seam-driven，SSIM = 0.9098；（d）DP，SSIM = 0.8887；（e）EDP，SSIM = 0.8717；（f）Farse，SSIM = 0.9195；（g）5/2 normed，SSIM = 0.9203；（h）本章方法，SSIM = 0.9371。

通過圖3可以看出，最優(yōu)拼縫線探測策略對于去除圖像重疊區(qū)域內(nèi)的模糊與重影誤差具有顯著效果，所有拼接圖像均呈現(xiàn)出較為平滑清晰的視覺效果。然而，seam-driven與FARSE算法所得到的拼縫線均穿過了圖中的唯一白色建筑物。通過觀察圖3（f）可以看出，F(xiàn)ARSE算法在路徑規(guī)劃的過程中還容易陷入局部最優(yōu)解，拼縫線中部分位置出現(xiàn)像素大量堆積的現(xiàn)象。圖3（d）與圖3（e）為DP與EDP算法的實驗結(jié)果，由于這兩種方法過度注重于拼縫線中像素點的數(shù)目，導(dǎo)致所提取拼縫線的起止點并不固定，在圖像重疊區(qū)域邊界具有明顯的幾何錯位，出現(xiàn)了一條明顯的黑色拼接痕跡。通過圖3（g）和圖3（h）可以看出，本文提出方法和基于5/2范數(shù)方法所得到的最優(yōu)拼縫線均可以在一定程度上消除可見邊界，并且避免了明顯地物，位于具有高度相似紋理信息的位置。在定量上分析中，我們使用SSIM系數(shù)對所有方法得到的最優(yōu)拼縫線進行評估。可以發(fā)現(xiàn)，本章提出方法得到最優(yōu)拼縫線的SSIM指數(shù)為0.9371，在所有方法中具有最高指標。因此，本章提出方法能夠很好地選擇符合人類視覺感知的拼縫線，在高光譜圖像拼接任務(wù)中取得最優(yōu)的拼接性能。

本章實驗對拼接后圖像的光譜性能進行拓展分析，將本章所提出方法與幾個經(jīng)典的圖像融合方法進行比較，以進一步驗證本章方法對于光譜信息保真的優(yōu)越性。本章實驗中用以對光譜曲線進行定量評估的指標包括：均方根誤差（root mean square error，RMSE），光譜角距離（Spectral Angle Distance，SAD）以及光譜信息散度（Spectral Information Divergence，SID）。本文方法與三個經(jīng)典融合方法的光譜信息一致性對比結(jié)果如圖4所示，其中用以對比的融合方法為平均融合，線性加權(quán)融合以及泊松融合。選取本章實驗所選用數(shù)據(jù)集圖4中具有豐富地物信息的第8、第9幅圖像作為源圖像I1與I2以進行實驗，圖4（a）與圖4（b）分別為兩幅源圖像經(jīng)配準后的結(jié)果圖，圖4（c）為配準圖像的重疊區(qū)域及所得到的拼縫線，點“A”、“B”、“C”、“D”分別為圖中四個典型地物所對應(yīng)的像素，地物類別分別為樹木、道路、建筑物以及白色轎車，圖4（d）至圖4（g）分別為四個典型地物像素點所對應(yīng)的光譜曲線結(jié)果。與本文第三章光譜性能實驗中相同，圖4（c）中像素點“A”的光譜信息應(yīng)與源圖像I2中同名像素的光譜進行比較，而像素點“B”、“C”、“D”的光譜信息應(yīng)與源圖像I1中的同名像素的光譜進行比較。在圖4（d）至圖4（g）中，紅色實線表示源圖像中像素點的參考光譜曲線，藍色實線為本文方法所得到的光譜曲線，綠色、青色及黃色曲線分別表示平均融合、線性加權(quán)融合以及泊松融合所得到的光譜曲線結(jié)果。總體來看，本文方法所得到的藍色光譜曲線與源圖像中的紅色光譜曲線最為吻合，而基于不同圖像融合方法所得到的光譜均與原始曲線存在不同程度的失真。其中，三種所對比的圖像融合方法中，平均融合與線性加權(quán)融合方法均對圖像重疊區(qū)域內(nèi)像素的灰度值進行線性賦值，最終所得到的光譜曲線仍能保留與原始曲線大致相同的形狀；泊松融合方法通過求解圖像中梯度域的泊松方程而具有更復(fù)雜的處理過程，雖然在特定場景中具有空間上更好的融合效果，但會對高光譜圖像中的光譜維度信息一致性造成更嚴重的破壞，因此，圖4中代表泊松融合方法的黃色光譜曲線與原始曲線的形狀差異最大，失真情況最為嚴重。表1至表4展示了本章方法與對比方法中，四個典型地物像素點光譜曲線與原始光譜曲線的定量指標評估結(jié)果。結(jié)合圖4與四個表格中的定量數(shù)據(jù)可以看出，傳統(tǒng)的圖像融合方法對于像素灰度值的重構(gòu)導(dǎo)致了融合后圖像像素光譜曲線與原始光譜的信息失真，而這種失真隨著融合方法復(fù)雜程度的加深而愈加嚴重，如圖4中泊松融合方法所得到的光譜曲線與原始光譜的形狀差異最大，而在表1至表4中所得到的定量指標同樣具有最差性能。綜上所述，對于高光譜圖像數(shù)據(jù)集中相鄰圖像不具有明顯色差的情況而言，對配準后圖像所進行的融合步驟會導(dǎo)致像素光譜信息的進一步失真，融合方法越復(fù)雜，失真情況越嚴重。而本章所提出的基于最優(yōu)拼縫線探測的高光譜圖像拼接方法采用對相鄰圖像重疊區(qū)域進行分割以替代傳統(tǒng)圖像融合的策略來獲取全景圖像，保證了拼接后圖像內(nèi)像素光譜信息與原始圖像的盡可能一致，為后續(xù)的光譜信息解譯任務(wù)提供了更有利的數(shù)據(jù)支撐。

圖4 本文方法與三個傳統(tǒng)融合方法的光譜信息一致性對比結(jié)果。（a）、（b）兩幅已配準的源圖像；（c）配準圖像重疊區(qū)域及所得到的拼縫線，點“A”、“B”、“C”、“D”分別為圖中四個典型地物“樹木”、“道路”、“建筑物”以及“白色轎車”所對應(yīng)的像素；（d）“樹木”光譜曲線結(jié)果；（e）“道路”光譜曲線結(jié)果；（f）“建筑物”光譜曲線結(jié)果；（g）“白色轎車”光譜曲線結(jié)果。

表1 像素點“A”（樹木）的光譜曲線定量分析結(jié)果，對最優(yōu)指標進行加粗表示

表2 像素點“B”（道路）的光譜曲線定量分析結(jié)果，對最優(yōu)指標進行加粗表示

表3 像素點“C”（建筑物）的光譜曲線定量分析結(jié)果，對最優(yōu)指標進行加粗表示

表4 像素點“D”（白色轎車）的光譜曲線定量分析結(jié)果，對最優(yōu)指標進行加粗表示

作者: 彭宗義武漢大學(xué)理學(xué)院博士,研究方向：遙感圖像處理、計算機視覺和圖案識別

參考文獻：

S. Yang, Z. Shi, and W. Tang, “Robust hyperspectral image target detection using an inequality constraint,” IEEE Trans. Geosci. Remote Sens., vol. 53, no. 6, pp. 3389–3404, Jun. 2015.

[2] F. Li, X. Zhang, L. Zhang, D. Jiang, and Y. Zhang, “Exploiting structured sparsity for hyperspectral anomaly detection,” IEEE Trans. Geosci. Remote Sens., vol. 56, no. 7, pp. 4050–4064, Jul. 2018.

[3] M. Zhang, W. Li, and Q. Du, “Diverse region-based CNN for hyperspectral image classification,” IEEE Trans. Image Process., vol. 27, no. 6, pp. 2623–2634, Jun. 2018.