當老齡化社會遇見快節奏生活,如何安放長輩們無人傾聽的孤獨?科技能否讀懂人類的情感渴求?為此,香港中文大學(深圳)李海洲教授與朱建教授團隊聯合研發了智能情感交互機器人——“小深”。它不僅僅是一個機器人,更是一個旨在提供有溫度陪伴的智能伙伴。

為實現有溫度的陪伴,“小深”能夠進行大模型驅動的實時語音對話,并實現接近人類的面部情感表達,融合了語音、表情與情緒,為用戶帶來溫暖而智能的互動體驗。

?智能情感交互機器人“小深”的技術核心在于,交互時我們可以實現視覺跟蹤以及對用戶溝通時的打斷,并且實時響應。項目通過擬人化嘴部動作與大小模型協同,讓交流更自然,旨在成為人類身邊理解情緒、回應關切的智能伙伴。

?

技術亮點

  • 表情豐富:通過創新的仿生設計與AI算法協同,展現微笑、驚訝、思考等豐富面部表情。
  • 對話流暢:利用多模態大語言模型,實現機器人的自主對話,降低對話過程的滯后性。
  • 聲形情并茂:有效解析對話過程的情感信息,將聲音、表情及情緒有機結合起來,生成富有同理心的交流過程。

應用場景

  • 養老陪護:陪伴老人交流聊天,排解老人孤獨感,提供情緒價值。
  • 兒童教育: 提供耐心及高效的講解,提高兒童學習樂趣。
  • 客戶服務:降低人工成本,提供良好的客戶體驗及服務效果。

朱建教授表示:“未來的老年人如何得到照顧,尤其是情感上的交流,是一個迫切的問題。”憑借這一創新設計,9月14日,“小深”在首屆深圳康養機器人大賽中榮獲銅獎,展現了科技服務人文的溫暖力量。

智能情感交互機器人“小深”是香港中文大學(深圳)在人工智能與機器人技術方面的深度融合。在項目中,李海洲教授團隊主導語音交互模塊的開發,通過大小模型協同技術,賦予“小深”靈敏的“聽覺”。朱建教授團隊則負責情感的表情化呈現,將語音內容實時映射為生動的面部表情,構建了機器人精準的“視覺”表達。雙方依托大學開放合作的科研平臺,通過跨學科領域的深度融合,共同鑄就了此次的創新成果。

團隊成員合影

李海洲院士強調,參賽重在鍛煉學生“解決實際問題的能力”。這與人工智能學院的培養目標一致:不僅使學生“使用人工智能工具”,更要“制造人工智能工具”,從而成為推動社會進步的未來力量。

智能情感交互機器人“小深”作為香港中文大學(深圳)在人工智能與機器人技術交融的科研成果,凝聚著科技精度與人文溫度的智慧,未來發展潛力無限。研發團隊將持續深耕技術迭代與場景拓展,推動“小深”及同類智能交互產品從“實驗室成果”走進“多元生活場景”。讓人工智能更精準地契合各行產業的需求,讓人工智能賦能的溫暖更真切地滲透人類日常,讓每一次交互都充滿科技與人文的力量與關懷。

?

學生記者:秦薇雅 2023級 數據科學學院 學勤書院

? ? ? ? ? ? ? ? ? 王哲 2024級 音樂學院 祥波書院

攝像:尹一智 張凌康

剪輯:張凌康