理工學院潘文安教授團隊在遙感領域國際期刊IEEE TGRS發表兩篇基于大模型以及擴散模型的文章
香港中文大學（深圳）理工學院潘文安教授團隊一個月內在遙感領域國級期刊IEEE Transactions on Geoscience and Remote Sensing發表兩篇文章。該期刊是地球科學和遙感領域的頂級期刊之一，是IEEE地球科學與遙感技術協會（GRSS）會刊，在全球地球科學領域期刊中國際影響力排名前五，為中科院一區期刊，2023年影響因子7.5，在遙感技術和地球科學領域具有較高影響力。
01
DF4LCZ: A SAM-Empowered Data Fusion Framework for Scene-Level Local Climate Zone Classification
論文鏈接：https://ieeexplore.ieee.org/document/10556641
?
論文簡介
局部氣候區（LCZ）是一個標準化的城市土地類型分類框架，常用于分析不同城市區域的熱特征，是研究城市熱島現象的重要工具。近年來，遙感技術的進步推動了局部氣候區分類（LCZ classification）技術的發展。然而，傳統使用卷積神經網絡（CNNs）的遙感分類方法在有效結合地面物體先驗知識方面有所欠缺。同時，LCZ分類中常用的哨兵2號數據源在捕捉地表對象細節方面也存在困難。為了解決這些問題，本工作提出了一種新穎的數據融合方法——DF4LCZ。該方法結合了高分辨率谷歌地球RGB影像和哨兵2號多光譜影像，融合了基于實例的位置特征和場景級空間-光譜特征。這個框架通過圖卷積網絡（GCN）模塊和分割大模型（SAM）增強了從谷歌影像中提取特征的能力。同時，采用3D-CNN架構提取哨兵2號影像的光譜-空間特征。此外，通過在多源遙感圖像數據集上進行實驗，我們驗證了DF4LCZ的有效性。
Figure 1 本項目提出的LCZ識別模型結構
?
文章的主要貢獻
1、鑒于哨兵2號衛星影像的局限性，本研究首次提出利用高分辨率谷歌地球影像來提升LCZ分類性能；
2、提出了一個雙流融合框架DF4LCZ，將基于實例的位置特征與場景級空間-光譜特征相結合，從它們的互補性中獲得協同效益；
3、在該框架中，DF4LCZ使用分割大模型SAM從谷歌地球RGB圖像中提取地面實例，并通過圖卷積網絡GCN從這些地面實例中提取場景判別特征并進行分類。此外，DF4LCZ還引入了3D ResNet11模塊，用于從哨兵2號影像中提取空間-光譜特征；
4、利用哨兵2號多光譜和谷歌地球RGB圖像構建了多源遙感圖像數據集LCZC-GES2，并在該數據集上進行了多種實驗，驗證了DF4LCZ方法的性能。
?
02
Diffusion Enhancement for Cloud Removal in Ultra-Resolution Remote Sensing Imagery
論文鏈接：https://ieeexplore.ieee.org/document/10552304
?
論文簡介
云層的存在嚴重損害了光學遙感圖像的質量和有效性。然而，現有的基于深度學習的去云技術在準確重建圖像的原始視覺真實性和詳細語義內容方面遇到一些困難。為了應對這一挑戰，這項工作在數據和方法方面進行了一系列改進。在數據方面，本論文建立了一個名為CUHK-CR的超高分辨率去云數據集，其空間分辨率為0.5米。該數據集包含了豐富的細節紋理信息和多樣化的云覆蓋類型，并為設計和評估去云模型奠定了堅實的基礎。在方法方面，本論文提出了一種基于擴散模型的去云框架，稱為擴散增強模型。該框架旨在逐步恢復紋理細節，并利用視覺先驗提供圖像的基礎結構來提高推理精度。此外，本論文設計了權重分配網絡來動態調整特征融合的權重，在超高分辨率圖像上可以進一步提高去云性能。在訓練方法上，本論文應用從粗到細的訓練策略來有效地加快模型收斂，同時降低處理超高分辨率圖像所需的計算復雜度。下圖展示了一個基于港中大（深圳）校區的衛星可見光影像的去云案例。最左邊為無云的地面真實值，中間為被云層遮擋的衛星影像。通過對被云層遮擋的衛星影像的有效處理，本項目提出的去云模型輸出的去云后的影像（最右邊）能高度還原地面真實值（最左邊）。
Figure 2 基于港中大（深圳）校區的衛星影像的去云案例。從左到右分別是地面真實值，被云層遮擋的可見光影像（輸入）以及去云后的影像（輸出）
?
文章的主要貢獻
1、提出了一種擴散增強網絡（DE），以恢復云層覆蓋下的地表景象。所提出的DE網絡將全局視覺信息與漸進擴散恢復相結合，增強了捕獲數據分布的能力。因此，它在推理過程中善于利用Reference model先驗來預測詳細信息；
2、設計了一個權重分配網絡來計算自適應加權系數，用于融合擴散模型的中間去噪圖像與Reference model生成的除云結果。因此，在最初的步驟中，Reference model有助于粗粒度的內容重建，而擴散模型則專注于在后續階段生成豐富的細節信息。此外，我們采用從粗到細的訓練策略來穩定與加速DE的收斂速度；
3、最后，建立了一個名為CUHK-CR的超高分辨率去云數據集，以評估針對不同類型云覆蓋的去云方法。我們的數據集包括具有多光譜信息的668張薄云圖像和559張厚云圖像。據我們所知，我們的0.5m數據集是所有現有去云數據集中空間分辨率最高的。
?
主要作者簡介
通訊作者：香港中文大學（深圳）潘文安教授
潘文安，香港中文大學（深圳）理工學院副教授。于1996年獲得香港中文大學電子工程學士學位，1999年獲得日本筑波大學計算機科學碩士學位，2006年獲得南加州大學電氣工程博士學位。從2006年到2008年，他在普林斯頓大學進行博士后研究。
在2015年加入香港中文大學（深圳）之前，他在新澤西州華為（美國），波士頓三菱電氣研究實驗室（MERL）和日本東京索尼擔任過研究職位。潘文安教授的研究興趣包括人工智能物聯網和機器學習在通信和衛星遙感中的應用。
潘文安教授已獲得IEEE VTC’06 Fall，IEEE ICC’08和IEEE InfoCom’09的最佳論文獎。他在2010年至2014年擔任IEEE ?Transactions on ?Wireless ?Communications的副編輯。他是深圳IEEE聯合SPS-Comsoc分會的創始主席。
?
第一篇文章的第一作者：香港中文大學（深圳）2022級博士生吳倩倩
吳倩倩，分別于2019年和2022年獲得中國地質大學（武漢）自然地理與資源環境專業學士學位和地圖制圖學與地理信息工程專業碩士學位。她目前正在香港中文大學（深圳）攻讀博士學位。她的主要研究方向包括數據融合、深度學習、遙感圖像處理等。
?
第二篇文章的第一作者：香港中文大學（深圳）2022級碩士生隋佳璐
隋佳璐，于2021年獲得山東大學計算機科學與技術學士學位。她目前正在香港中文大學（深圳）攻讀碩士學位。她的主要研究方向是：遙感、機器學習、超分辨率、圖像增強等。她曾作為訪問學生在北京大學做短期訪問。
?
供稿 | 潘文安教授團隊
