近年來(lái)，隨著水下機(jī)器人技術(shù)的快速發(fā)展，人類對(duì)海洋資源的開發(fā)進(jìn)程顯著加快，催生了眾多新型水下智能設(shè)備。其中，自主式水下航行器（AUV）因其自動(dòng)化、智能化及隱蔽性強(qiáng)的特點(diǎn)，廣泛應(yīng)用于水下目標(biāo)追蹤、數(shù)據(jù)收集、污染源檢測(cè)等領(lǐng)域。AUV的研究和發(fā)展對(duì)于海洋資源的勘探與利用具有深遠(yuǎn)的意義。
近日，我校信息科學(xué)與工程學(xué)院韓光潔教授團(tuán)隊(duì)針對(duì)AUV集群網(wǎng)絡(luò)在復(fù)雜海洋環(huán)境下的可擴(kuò)展性目標(biāo)追蹤問(wèn)題，在架構(gòu)層面，集成了多智能體強(qiáng)化學(xué)習(xí)算法和軟件定義網(wǎng)絡(luò)技術(shù)的優(yōu)勢(shì)，建立了彈性計(jì)算的模型，創(chuàng)新性的提出了彈性軟件定義多智能體強(qiáng)化學(xué)習(xí)架構(gòu)，如圖1所示，以動(dòng)態(tài)調(diào)整AUV集群網(wǎng)絡(luò)中AUV的數(shù)量，增強(qiáng)了AUV集群網(wǎng)絡(luò)的擴(kuò)展性。該團(tuán)隊(duì)在此基礎(chǔ)上，在理論層面，設(shè)計(jì)了增量式多智能體強(qiáng)化學(xué)習(xí)算法，建立了神經(jīng)網(wǎng)絡(luò)可解釋的計(jì)算模型，以無(wú)需再訓(xùn)練的方式提升了多智能體強(qiáng)化學(xué)習(xí)的擴(kuò)展性，突破了多智能體強(qiáng)化學(xué)習(xí)擴(kuò)展性差的理論限制。實(shí)驗(yàn)結(jié)果表明，該團(tuán)隊(duì)所提出的方法可以有效的以無(wú)需再訓(xùn)練的方式實(shí)現(xiàn)AUV數(shù)量的動(dòng)態(tài)擴(kuò)展，并保證高效的目標(biāo)追蹤效果。
圖1 彈性軟件定義多智能體強(qiáng)化學(xué)習(xí)架構(gòu)
針對(duì)自主水下航行器在復(fù)雜海洋環(huán)境的避障問(wèn)題，該團(tuán)隊(duì)集成多智能體強(qiáng)化學(xué)習(xí)技術(shù)與軟件定義技術(shù)的優(yōu)勢(shì)，并受自動(dòng)化控制領(lǐng)域“中斷”機(jī)制的啟發(fā)，該團(tuán)隊(duì)揭示了多智能體強(qiáng)化學(xué)習(xí)訓(xùn)練中獎(jiǎng)勵(lì)值分布的機(jī)理，提出了基于中斷的軟件定義多智能體強(qiáng)化學(xué)習(xí)架構(gòu)，并在此基礎(chǔ)上，創(chuàng)新性的將多智能體強(qiáng)化學(xué)習(xí)與有監(jiān)督學(xué)習(xí)相結(jié)合，利用每個(gè)AUV的局部觀測(cè)信息生成有監(jiān)督標(biāo)簽，提出了基于有監(jiān)督的多智能體策略梯度算法，如圖2所示，并設(shè)計(jì)了特定的避障方案。具體來(lái)講，該團(tuán)隊(duì)將AUV集群的避障事件從多智能體強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)函數(shù)中剝離出來(lái)，以使MARL算法專注于驅(qū)使AUV集群網(wǎng)絡(luò)進(jìn)行路徑規(guī)劃，并使用特定的避障算法驅(qū)使AUV集群網(wǎng)絡(luò)進(jìn)行避障。實(shí)驗(yàn)結(jié)果表明，該團(tuán)隊(duì)提出的方法將多智能體強(qiáng)化學(xué)習(xí)和有監(jiān)督學(xué)習(xí)相結(jié)合，顯著提升多智能體強(qiáng)化學(xué)習(xí)算法的收斂速度，該團(tuán)隊(duì)在大量實(shí)驗(yàn)下證明了中斷機(jī)制的有效性，并在多場(chǎng)景下測(cè)試了AUV集群網(wǎng)絡(luò)的避障效果。
圖2 基于有監(jiān)督學(xué)習(xí)的多智能體策略梯度算法
針對(duì)自主水下航行器在復(fù)雜海洋環(huán)境下智能性差、信息交互復(fù)雜的問(wèn)題，該團(tuán)隊(duì)將軟件定義網(wǎng)絡(luò)技術(shù)與多智能體強(qiáng)化學(xué)習(xí)技術(shù)相結(jié)合，并受“層次化”的啟發(fā)，提出了基于層次化的軟件定義多智能體強(qiáng)化學(xué)習(xí)架構(gòu)，建立了層次化的AUV集群網(wǎng)絡(luò)模型，如圖3所示，其將AUV集群網(wǎng)絡(luò)劃分為三層，并利用多智能體強(qiáng)化學(xué)習(xí)為每一層進(jìn)行任務(wù)部署。同時(shí)，在理論層面上，受“優(yōu)勢(shì)互補(bǔ)”的啟發(fā)，該團(tuán)隊(duì)提出了“優(yōu)勢(shì)注意力”機(jī)制和“優(yōu)勢(shì)重采樣”的理論，并在此基礎(chǔ)上提出了基于“優(yōu)勢(shì)互補(bǔ)”的多智能體強(qiáng)化學(xué)習(xí)算法。具體來(lái)講，該算法旨在訓(xùn)練過(guò)程中挑選最優(yōu)（獎(jiǎng)勵(lì)值最大）的智能體，并利用最優(yōu)智能體的信息幫助其它智能體學(xué)習(xí)，進(jìn)而加速算法收斂。仿真結(jié)果表明，該團(tuán)隊(duì)提出的算法可以有效利用優(yōu)勢(shì)智能體的信息，高效提升了多智能體強(qiáng)化學(xué)習(xí)算法的收斂速度，提升了AUV集群網(wǎng)絡(luò)的目標(biāo)追蹤精度，并在大規(guī)模AUV集群網(wǎng)絡(luò)下實(shí)現(xiàn)了高效的目標(biāo)追蹤。
圖3 基于層次化的軟件定義多智能體強(qiáng)化學(xué)習(xí)架構(gòu)
針對(duì)自主水下航行器在復(fù)雜海洋環(huán)境中的路徑規(guī)劃問(wèn)題，該團(tuán)隊(duì)結(jié)合深度強(qiáng)化學(xué)習(xí)算法和混合動(dòng)作空間理論展開了深入研究。該團(tuán)隊(duì)基于真實(shí)的海洋實(shí)驗(yàn)數(shù)據(jù)，綜合考慮障礙物和洋流等因素，提出了一種基于混合動(dòng)作空間的路徑規(guī)劃策略。實(shí)驗(yàn)結(jié)果表明，該策略不僅能有效調(diào)整AUV的速度和方向，實(shí)現(xiàn)高效的路徑規(guī)劃和避障功能，還在高密度障礙物環(huán)境中顯著減少了路徑長(zhǎng)度和避障時(shí)間，提升了AUV在低密度障礙環(huán)境中的穩(wěn)定性和任務(wù)完成效率。
圖4基于真實(shí)海洋數(shù)據(jù)的立體海洋場(chǎng)景仿真環(huán)境
在單個(gè)AUV路徑規(guī)劃研究的基礎(chǔ)上，韓光潔團(tuán)隊(duì)進(jìn)一步探討了AUV集群網(wǎng)絡(luò)的智能追蹤問(wèn)題。他們深入剖析了多智能體強(qiáng)化學(xué)習(xí)技術(shù)與軟件定義技術(shù)的共同點(diǎn)，提出了軟件定義多智能體強(qiáng)化學(xué)習(xí)范式。該范式利用軟件定義技術(shù)的集中控制和分布式運(yùn)轉(zhuǎn)特點(diǎn)，結(jié)合多智能體強(qiáng)化學(xué)習(xí)的集中訓(xùn)練與分布式執(zhí)行模式，賦予了AUV集群網(wǎng)絡(luò)在目標(biāo)追蹤任務(wù)中的智能化和集中化能力。針對(duì)AUV集群網(wǎng)絡(luò)在目標(biāo)追蹤過(guò)程中擴(kuò)展性差和維度爆炸的問(wèn)題，該團(tuán)隊(duì)設(shè)計(jì)了MA-A3C算法，成功應(yīng)對(duì)了AUV集群網(wǎng)絡(luò)在復(fù)雜環(huán)境中的智能控制挑戰(zhàn)，并顯著提升了多AUV在目標(biāo)追蹤任務(wù)中的成功率和計(jì)算效率。
圖5 軟件定義多智能體強(qiáng)化學(xué)習(xí)架構(gòu)
為解決AUV集群在覆蓋任務(wù)中效率和精度低的問(wèn)題，團(tuán)隊(duì)開發(fā)了一種結(jié)合聚類算法與人工勢(shì)場(chǎng)算法的混合模型，并通過(guò)粗細(xì)粒度建模實(shí)現(xiàn)自適應(yīng)調(diào)整。該模型不僅在不同任務(wù)場(chǎng)景中提升了AUV集群的路徑平滑度，還提高了整體覆蓋效率和精度。此外，團(tuán)隊(duì)還針對(duì)海洋污染源探測(cè)任務(wù)，設(shè)計(jì)了一個(gè)基于軟件定義技術(shù)和6G無(wú)線傳感網(wǎng)的AUV集群勘探污染源的方案，通過(guò)等勢(shì)線的跟蹤模型實(shí)現(xiàn)了更精準(zhǔn)的污染源定位。
圖6 基于等勢(shì)線跟蹤模型的污染源覆蓋任務(wù)評(píng)估
在應(yīng)對(duì)AUV集群自主決策能力差的問(wèn)題上，韓光潔團(tuán)隊(duì)結(jié)合強(qiáng)化學(xué)習(xí)算法與軟件定義技術(shù)，提出了Software-Defined CTDE架構(gòu)。該架構(gòu)通過(guò)自注意力嵌入機(jī)制，將軟件定義技術(shù)的高性能管理與強(qiáng)化學(xué)習(xí)算法的高效自主決策相結(jié)合，顯著提升了AUV集群在海洋污染源探測(cè)中的探測(cè)效率和精度。
圖7 基于軟件定義水下移動(dòng)探測(cè)網(wǎng)絡(luò)的海洋污染源探測(cè)
該團(tuán)隊(duì)針對(duì)海上運(yùn)輸系統(tǒng)的智能性差，擴(kuò)展性差的問(wèn)題，在基于AUV集群網(wǎng)絡(luò)的水下無(wú)線傳感器網(wǎng)絡(luò)進(jìn)行了研究。為了提高網(wǎng)絡(luò)的可擴(kuò)展性和可控性，該團(tuán)隊(duì)提出了一種基于軟件定義的多AUV的水下傳感器網(wǎng)絡(luò)范式，其中利用軟件定義網(wǎng)絡(luò)技術(shù)通過(guò)指導(dǎo)智能網(wǎng)絡(luò)功能對(duì)UWN架構(gòu)進(jìn)行升級(jí)，并應(yīng)用拓?fù)鋵W(xué)和人工勢(shì)場(chǎng)理論構(gòu)建了SD-UWN的網(wǎng)絡(luò)控制模型。該團(tuán)隊(duì)基于SD-UWNs高效的數(shù)據(jù)共享能力，提出了一種基于早期預(yù)警避障的路徑規(guī)劃方案，以保證SD-UWNs的安全航行，同時(shí)考慮了全面的避障場(chǎng)景。仿真結(jié)果表明，所提方法能夠有效地規(guī)劃SD-UWN的協(xié)同作業(yè)，能夠準(zhǔn)確可靠地驅(qū)使AUV集群網(wǎng)絡(luò)執(zhí)行避障任務(wù)。
韓光潔團(tuán)隊(duì)在自主水下航行器領(lǐng)域的系列研究為提升AUV集群在復(fù)雜海洋環(huán)境中的自主決策能力和任務(wù)執(zhí)行效率提供了新的解決方案，為水下探測(cè)和資源開發(fā)奠定了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。
以上研究工作得到了國(guó)家自然科學(xué)基金區(qū)域創(chuàng)新發(fā)展聯(lián)合基金重點(diǎn)項(xiàng)目、國(guó)家自然科學(xué)基金一般項(xiàng)目以及聲學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室開放基金資助，相關(guān)成果發(fā)表在《IEEE Transactions on Mobile Computing》《IEEE Wireless Communications Magazine》《IEEE Transactions on Intelligent Transportation Systems》《IEEE Internet of Things Journal》等國(guó)際頂級(jí)期刊。
相關(guān)論文信息：
[1] Shengchao Zhu, Guangjie Han*, Chuan Lin and Yu Zhang, Underwater Target Tracking Based on Interrupted Software-Defined Multi-AUV Reinforcement Learning: A Multi-AUV Time-Saving MARL Approach, IEEE Transactions on Mobile Computing, doi: 10.1109/TMC.2024.3490545. （Early Access Article）
[2] Shengchao Zhu, Guangjie Han*, Chuan Lin and Fan Zhang, Underwater Multiple AUV Cooperative Target Tracking Based on Minimal Reward Participation-Embedded MARL, IEEE Transactions on Mobile Computing, doi: 10.1109/TMC.2024.3521028. （Early Access Article）
[3] Guangjie Han*, Zixiao Feng, Hao Wang, Yun Hou and Fan Zhang, Underwater Multi-Target Node Path Planning in Hybrid Action Space: A Deep Reinforcement Learning Approach, IEEE Transactions on Mobile Computing, vol. 23, no. 12, pp. 13033-13047, Dec. 2024.
[4] Shengchao Zhu, Guangjie Han*, Chuan Lin and Qiuzi Tao, Underwater Target Tracking Based on Hierarchical Software-Defined Multi-AUV Reinforcement Learning: A Multi-AUV Advantage-Attention Actor-Critic Approach, IEEE Transactions on Mobile Computing, vol. 23, no. 12, pp. 13639-13653, Dec. 2024.
[5] Yun Hou, Guangjie Han*, Fan Zhang, Chuan Lin, Jinlin Peng, Li Liu, Distributional Soft Actor-Critic-Based Multi-AUV Cooperative Pursuit for Maritime Security Protection, IEEE Transactions on Intelligent Transportation Systems, Vol.25, No.6, pp: 6049-6060, 2024.
[6] Shengchao Zhu, Guangjie Han* and Chuan Lin, A Software-Defined MARL-Based Architecture for AUV Cluster Network to Enable Cooperative and Smart Underwater Target Tracking, IEEE Wireless Communications, vol. 31, no. 6, pp. 56-62, December 2024.
[7] Guangjie Han*, Weizhe Lai, Hao Wang, Shengchao Zhu, Hybrid Algorithm-Based Full Coverage Search Approach With Multiple AUVs to Unknown Environments in Internet of Underwater Things, IEEE Internet of Things Journal, Vol.11, No6, pp: 11058-11072, 2024.
[8] Jie Zhang, Dugui Chen, Guangjie Han*, Yujie Qian, Formation Path Planning for Collaborative Autonomous Underwater Vehicles based on Consensus-Sparrow Search Algorithm, IEEE Internet of Things Journal, Vol.11, No.8, pp: 13810-13823, 2024.
[9] Guangjie Han, Xingyue Qi, Yan Peng*, Chuan Lin, Yu Zhang, Qi Lu, Early Warning Obstacle Avoidance-Enabled Path Planning for Multi-AUV-based Martime Transportation Systems, IEEE Transactions on Intelligent Transportation Systems, Vol.24, No.2, pp:2656-2667, 2023.
