近日，深圳北理莫斯科大學粵港澳情感智能與普適計算聯合實驗室在多模態抑郁癥檢測研究方面取得新進展。胡希平教授、王偉教授和陳健同學的研究成果《IIFDD: Intra and Inter-modal Fusion for Depression Detection with Multi-modal Information from Internet of Medical Things》在計算機科學領域的頂級期刊Information Fusion（影響因子：18.6, DOI：https://doi.org/10.1016/j.inffus.2023.102017）發表。深圳北理莫斯科大學為第一作者單位和第一通訊單位。該成果也是學校首次以第一單位和通訊單位在該期刊上發表研究成果。

傳統的抑郁癥檢測方法依賴于臨床專家根據患者的癥狀或通過抑郁測試量表對患者進行診斷。然而這種方法往往是主觀的，而且取決于醫生的專業知識。隨著醫療物聯網（IoMT）的發展，越來越多的設備被設計用于收集抑郁檢測信息，包括音頻、視頻和文本數據，這些數據能夠有效且全面反映一個人的情緒。因此，研究人員越來越關注開發基于 IoMT 技術的多模態智能抑郁檢測方法，以提高抑郁診斷的準確性和客觀性。

圖1： 基于 IoMT 的多模態信息融合的抑郁檢測示例

在論文中，胡希平教授團隊發現了現有的抑郁癥智能檢測算法中存在著模態內與模態間特征挖掘與融合不充分的問題，通過引入注意力機制與改進多模態Transformer，提出了模態內模態間融合抑郁癥檢測框架，大幅提高了基于文本、語言、視覺三種模態數據的抑郁癥檢測算法的效果。在公開的抑郁癥語料庫CMDC與EATD-Corpus上的實驗表明，論文提出的IIFDD框架在相同的實驗設置下，能達到最高的抑郁癥分類性能

該成果由深北莫粵港澳情感智能與普適計算聯合實驗室的陳健、胡雨竺、賴麒峰、王偉教授、陳俊鑫教授、劉晗副教授、Gautam Srivastava教授、Ali Kashif Bashir教授和胡希平教授共同完成。合作單位包括：中山大學、大連理工大學、加拿大Brandon University、英國Manchester Metropolitan University。

團隊相關教師信息：

胡希平教授：http://www.tdxvnqr.xyz/info/5721/77161.htm

王偉教授：http://www.tdxvnqr.xyz/info/5721/78351.htm