【大師講堂】利用私密數(shù)據(jù)微調(diào)大語言模型的新途徑
主題：利用私密數(shù)據(jù)微調(diào)大語言模型的新途徑
主講人：李葆春教授
日期：2024年8月21日（周三）
時(shí)間：上午9:30-10:30
地點(diǎn)：綜合教學(xué)樓C棟202
語言：英文
?
摘要：
隨著大語言模型（LLM）研究熱潮的興起，一個(gè)亟待解決的問題出現(xiàn)了：如何在保護(hù)數(shù)據(jù)隱私的前提下對(duì)大語言進(jìn)行微調(diào)以滿足企業(yè)和個(gè)人用戶的特定需求。從隱私的角度來看，將私有數(shù)據(jù)上傳至數(shù)據(jù)中心進(jìn)行微調(diào)顯然不合適。而傳統(tǒng)的聯(lián)邦學(xué)習(xí)方法則需要在每個(gè)客戶端上進(jìn)行本地訓(xùn)練，這對(duì)于包含數(shù)十億參數(shù)的大語言模型來說，計(jì)算和通信開銷過大，并不可行。
?
在本次講座中，我將介紹我們團(tuán)隊(duì)在使用私有數(shù)據(jù)微調(diào)大語言模型方面的最新研究進(jìn)展。首先，我將介紹Titanic，這是一種新型的分布式訓(xùn)練方法，它能夠在保護(hù)隱私的同時(shí)直接在產(chǎn)生私密數(shù)據(jù)的客戶端設(shè)備上安全地微調(diào)大語言模型，同時(shí)兼顧計(jì)算和通信帶寬的資源限制。Titanic的核心理念是將大語言模型分割到多個(gè)客戶端設(shè)備上，使得在微調(diào)過程中的性能損失為零或降至最低，達(dá)到最佳表現(xiàn)效果。在設(shè)計(jì)Titanic時(shí)，我們特別注重其在實(shí)際應(yīng)用中的可行性，并開發(fā)了一套全自動(dòng)的、適用于各種模型的分割機(jī)制。最后，我將簡要介紹我們團(tuán)隊(duì)目前在做的一項(xiàng)研究——利用多個(gè)云平臺(tái)在分布于不同地區(qū)的數(shù)據(jù)中心執(zhí)行分布式機(jī)器學(xué)習(xí)。該方法在訓(xùn)練任務(wù)分配到全球各地的數(shù)據(jù)所在地，有效地保護(hù)了數(shù)據(jù)隱私。我們的愿景是構(gòu)建一個(gè)覆蓋各個(gè)數(shù)據(jù)中心的高速網(wǎng)絡(luò)，可以多路徑傳輸數(shù)據(jù)并在網(wǎng)絡(luò)狀態(tài)變化時(shí)快速作出優(yōu)化響應(yīng)。
?
主講嘉賓簡介：
李葆春教授于1995年在清華大學(xué)獲得計(jì)算機(jī)科學(xué)與技術(shù)學(xué)士學(xué)位，隨后分別于1997年和2000年在伊利諾伊大學(xué)厄巴納—香檳分校計(jì)算機(jī)科學(xué)系獲得碩士和博士學(xué)位。2000年，他加入多倫多大學(xué)電氣與計(jì)算機(jī)工程系，現(xiàn)任該系教授兼科研副主任。2005年8月，李教授擔(dān)任貝爾加拿大計(jì)算機(jī)工程教授。他的研究領(lǐng)域涵蓋云計(jì)算、信息安全與隱私保護(hù)、分布式機(jī)器學(xué)習(xí)、聯(lián)邦學(xué)習(xí)及網(wǎng)絡(luò)技術(shù)。
?
根據(jù)Google Scholar的統(tǒng)計(jì)，李教授迄今已發(fā)表470余篇高水平研究論文，論文總引用次數(shù)超過26,000次，H指數(shù)高達(dá)88，i10指數(shù)為341。李教授現(xiàn)為加拿大工程院院士、加拿大工程學(xué)會(huì)會(huì)士及國際電氣與電子工程師協(xié)會(huì)（IEEE）會(huì)士，曾榮獲2000年IEEE通信學(xué)會(huì)Leonard G. Abraham獎(jiǎng)、2009年IEEE通信學(xué)會(huì)多媒體通信最佳論文獎(jiǎng)、2009年多倫多大學(xué)麥克萊恩獎(jiǎng)、2023年IEEE INFOCOM最佳論文獎(jiǎng)以及2024年IEEE INFOCOM成就獎(jiǎng)。
?
