自2017年國務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》后，人工智能已上升為國家發(fā)展戰(zhàn)略，成為推進(jìn)經(jīng)濟(jì)發(fā)展的新動(dòng)力。隨著以ChatGPT對話機(jī)器人為代表的人工智能應(yīng)用的崛起，人工智能預(yù)訓(xùn)練大模型（以下簡稱“大模型”）在全球?qū)W術(shù)界、工業(yè)界以及投資界掀起了討論熱潮，已經(jīng)成為人工智能領(lǐng)域的技術(shù)新高地。

近日，聯(lián)邦學(xué)習(xí)隱私計(jì)算開源平臺FATE (Federated AI Technology Enabler）正式發(fā)布聯(lián)邦大模型FATE-LLM功能模塊。通過將聯(lián)邦學(xué)習(xí)和大模型結(jié)合，F(xiàn)ATE-LLM在各參與方的敏感數(shù)據(jù)不出本地域的前提下，根據(jù)各方實(shí)際數(shù)據(jù)量進(jìn)行算力投入，聯(lián)合進(jìn)行大模型訓(xùn)練?；诖思夹g(shù)方案，多個(gè)機(jī)構(gòu)可以通過FATE內(nèi)置的預(yù)訓(xùn)練模型進(jìn)行橫向聯(lián)邦，利用各自隱私數(shù)據(jù)進(jìn)行聯(lián)邦大模型微調(diào)，從而提升自身大模型應(yīng)用的效果。

大模型應(yīng)用面臨的隱私安全與數(shù)據(jù)不足難題

作為大數(shù)據(jù)、大算力強(qiáng)算法結(jié)合的產(chǎn)物，大模型是具有數(shù)十億甚至上百億參數(shù)的深度神經(jīng)網(wǎng)絡(luò)模型，堪稱凝聚了大數(shù)據(jù)內(nèi)在精華的“知識庫”。模型在大規(guī)模數(shù)據(jù)集上完成了預(yù)訓(xùn)練后僅需要少量數(shù)據(jù)的微調(diào)、甚至無需調(diào)整，就能直接支撐各行業(yè)的各類應(yīng)用。目前，大模型在語音識別、自然語言處理、圖像識別等領(lǐng)域有著廣泛的應(yīng)用，被認(rèn)為是人工智能走向通用化的關(guān)鍵技術(shù)。

然而，基于海量數(shù)據(jù)訓(xùn)練的大模型面臨眾多安全與倫理風(fēng)險(xiǎn)，如構(gòu)建和使用大模型過程中的隱私泄露、安全漏洞、市場壟斷、不公平性等。大模型可能包含大量個(gè)人敏感信息，包括圖像、語音、地理位置等，如果這些信息在訓(xùn)練或應(yīng)用過程中被泄露，會對用戶造成嚴(yán)重的隱私損失和安全風(fēng)險(xiǎn)。

針對這些問題，F(xiàn)ATE-LLM聯(lián)邦大模型將聯(lián)邦學(xué)習(xí)這種安全的分布式機(jī)器學(xué)習(xí)范式與當(dāng)下主流的大模型技術(shù)融合?；诼?lián)邦學(xué)習(xí)自身“數(shù)據(jù)不動(dòng)模型動(dòng)，數(shù)據(jù)可用不可見”的特性，聯(lián)邦學(xué)習(xí)與大模型的結(jié)合能夠進(jìn)一步解決數(shù)據(jù)安全、隱私保護(hù)等問題。

FATE開源社區(qū)技術(shù)指導(dǎo)委員會主席楊強(qiáng)教授表示：“開源FATE-LLM是為了解決當(dāng)前大模型應(yīng)用的兩個(gè)瓶頸問題。首先是構(gòu)建和使用大模型時(shí)的數(shù)據(jù)隱私保護(hù)問題。多個(gè)數(shù)據(jù)源聯(lián)合訓(xùn)練一個(gè)大模型時(shí)極有可能會暴露每個(gè)數(shù)據(jù)源的用戶隱私和影響信息安全，再一次凸顯了隱私保護(hù)的必要性和緊迫性。”

“其次，聯(lián)邦學(xué)習(xí)可以應(yīng)用于解決可用數(shù)據(jù)數(shù)量不足的問題，為業(yè)界提供了一個(gè)前瞻性的解決方案。來自阿伯丁大學(xué)、麻省理工大學(xué)、圖賓根大學(xué)的計(jì)算機(jī)科學(xué)家在論文《我們會用完數(shù)據(jù)嗎？機(jī)器學(xué)習(xí)中數(shù)據(jù)集縮放的局限性分析》中預(yù)測，ChatGPT等大語言模型訓(xùn)練所需的高質(zhì)量語言數(shù)據(jù)將在2026年之前耗盡。目前大多數(shù)高質(zhì)量數(shù)據(jù)來源于公域數(shù)據(jù)，也就是說當(dāng)公域數(shù)據(jù)消耗殆盡時(shí)，如何保護(hù)數(shù)據(jù)隱私的前提下，合法合規(guī)地利用手機(jī)等終端設(shè)備上的私域數(shù)據(jù)，將是解決大模型訓(xùn)練數(shù)據(jù)不足問題的關(guān)鍵。”

“此次發(fā)布的FATE-LLM，是利用聯(lián)邦學(xué)習(xí)技術(shù)來解決以上問題的初步成果，也是FATE社區(qū)合作伙伴的共識。當(dāng)前階段主要解決的是大模型訓(xùn)練階段的隱私保護(hù)問題，未來還將研究在使用大模型的過程中如何保護(hù)用戶的隱私。例如，基于大模型的對話機(jī)器人與億萬用戶的互動(dòng)聊天時(shí)，如何保護(hù)用戶的隱私安全問題。”

開源開放，大模型發(fā)展的必經(jīng)之路

近期發(fā)布的FATE-LLM為聯(lián)邦大模型初步版本，未來FATE開源社區(qū)還將針對聯(lián)邦大模型的算法、效率、安全等方面進(jìn)行持續(xù)優(yōu)化，并持續(xù)推出后續(xù)版本，提升聯(lián)邦大模型的安全性、易用性和通用性。

在技術(shù)創(chuàng)新層面，聯(lián)邦大模型將有機(jī)會充分利用分散在各個(gè)組織的算力和數(shù)據(jù)，融合聯(lián)邦學(xué)習(xí)和AIGC相關(guān)技術(shù)，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)分布式安全訓(xùn)練。這將為自然語言處理，語音識別，機(jī)器視覺等AI領(lǐng)域帶來全新的技術(shù)范式。

在行業(yè)應(yīng)用方面，聯(lián)邦大模型未來將有機(jī)會重塑金融、零售、工業(yè)等多行業(yè)的數(shù)字化形態(tài)。相關(guān)應(yīng)用場景包括在金融領(lǐng)域的智能客服、內(nèi)容風(fēng)控、金融資訊情感分析、文本意圖識別、營銷場景智能創(chuàng)意生成和優(yōu)化等。即使機(jī)構(gòu)自身擁有的數(shù)據(jù)量和算力可能不足，仍能發(fā)揮聯(lián)邦大模型的優(yōu)勢，安全合規(guī)地提升客服、營銷、風(fēng)控的效果。

關(guān)鍵詞：