圖神經(jīng)網(wǎng)絡(luò)（GNNs）是圖表示學(xué)習(xí)的有力工具。盡管GNNs發(fā)展迅速，但也面臨一些挑戰(zhàn)，如過擬合、過平滑和非魯棒性等。已有的工作表明，這些問題可以通過隨機(jī)丟棄的方法來得到緩解，這些方法通過隨機(jī)掩蓋部分輸入將噪聲整合到模型中。然而，即便如此有關(guān)GNNs隨機(jī)丟棄的一些開放性問題仍有待解決。首先，考慮到不同數(shù)據(jù)集和模型的差異性，尋找一種適用于所有情況的通用方法具有挑戰(zhàn)性。其次，GNNs中引入的隨機(jī)噪聲會導(dǎo)致參數(shù)覆蓋不完全和訓(xùn)練過程不穩(wěn)定。

2023年2月7日，浙江大學(xué)計算機(jī)學(xué)院楊洋團(tuán)隊在全球人工智能頂會AAAI 2023發(fā)表題為“DropMessage: Unifying Random Dropping for Graph Neural Networks”的研究成果，并獲得“杰出論文獎”（Distinguished Paper Award）的榮譽(yù)。本次投稿的論文脫穎而出，得益于該團(tuán)隊一直以來在計算機(jī)圖數(shù)據(jù)和圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域深厚的創(chuàng)新力。該研究提出了一種基于message-passing圖神經(jīng)網(wǎng)絡(luò)的隨機(jī)刪減方法——DropMessage，并理論性地證明了現(xiàn)有的隨機(jī)刪減方法都可以看成是DropMessage的特殊形式。相比于現(xiàn)有方法，DropMessage還有收斂速度快、訓(xùn)練過程穩(wěn)定和保留更多信息的優(yōu)勢。研究認(rèn)為應(yīng)用DropMessage可以普適地提升基于message-passing的圖神經(jīng)網(wǎng)絡(luò)的性能。

隨機(jī)刪減方法指的是在神經(jīng)網(wǎng)絡(luò)模型上一層輸出和下一層輸入之間隨機(jī)刪除部分元素的一類方法。這類方法能夠廣泛提升模型的魯棒性和泛化性，幾乎所有的深度模型都會應(yīng)用這一方法來提升模型性能。針對近年來得到廣泛研究的圖神經(jīng)網(wǎng)絡(luò)，已有諸多隨機(jī)刪減方法的變體被提出，其中包括DropEdge，DropNode。這些變體與傳統(tǒng)的Dropout一起被應(yīng)用到眾多GNNs模型。該研究工作針對圖神經(jīng)網(wǎng)絡(luò)的消息傳遞機(jī)制（message-passing），提出了在消息層面進(jìn)行隨機(jī)刪減的DropMessage方法。它是更加細(xì)粒度的圖上隨機(jī)刪減方法，現(xiàn)有的隨機(jī)刪減方法都是DropMessage的特殊形式。而相比于現(xiàn)有方法，DropMessage的樣本方差更小，保留了圖上信息的多樣性。這一工作在理論和實驗兩個層面上都證明了DropMessage方法的優(yōu)越性。

圖示：DropMessage示意圖

研究首先給出了隨機(jī)刪減方法在GNNs上有效性的理論證明。

隨后證明了由于隨機(jī)刪減方法會在模型損失函數(shù)中引入額外的正則約束，進(jìn)而使得模型更加魯棒。研究發(fā)現(xiàn)，相較于其它方法，DropMessage的確具有降低樣本方差和保證信息多樣性等優(yōu)勢。此外，該研究在多個數(shù)據(jù)上進(jìn)行了性能實驗，結(jié)果表明DropMessage相比于其他方法有著一定的性能提升效果，并且能夠更好地避免模型產(chǎn)生過擬合。

圖示：過擬合分析

上述研究成果已被全球人工智能頂會AAAI 2023會議論文收錄，浙江大學(xué)計算機(jī)學(xué)院為論文第一作者單位。計算機(jī)學(xué)院博士生方陶然為第一作者，楊洋副教授為通訊作者，浙江大學(xué)計算機(jī)學(xué)院博士生蕭芷晴、碩士生楊萱、信也科技王春平博士、復(fù)旦大學(xué)副研究員許嘉蓉為共同作者。本研究受到國家自然科學(xué)基金、國家重點研發(fā)項目計劃、中央高校基本科研專項資金資助。

原文鏈接：https://arxiv.org/abs/2204.10037

代碼鏈接：https://github.com/zjunet/DropMessage