聯邦學習新時代即將到來?同盾科技FLEX協議開源!

你還記得大名鼎鼎的超文本傳輸協議(HTTP)協議嗎?作為互聯網應用最為廣泛的一種網絡傳輸協議之一,它的出現奠定瞭整個互聯網時代數據通信的基礎。

現在,聯邦學習領域的“HTTP協議”也誕生瞭!由同盾科技人工智能研究院自主研發的標準化聯邦交互協議:FLEX(Federated Learning EXchange)近日在全球最大的開源社區平臺GitHub上開源,也在人工智能頂會NeurIPS的聯邦學習研討會SpicyFL2020上首次公佈。聯邦學習的發展即將拉開新的篇章。

聯邦學習體系林立,更廣闊的空間亟需打通

“看聯邦學習瞭麼?最近又有什麼新的技術進展!”這大概是人工智能從業者常掛在嘴邊的一句話。

作為時下最火的數據安全類技術之一,聯邦學習已經走入瞭銀行、證券、保險、醫療、政務、城市管理等各類應用場景。

這有著深刻的時代背景。

社會進入互聯網時代至今,企業生產、管理,運營過程的數字化已經在許多行業逐步實現,數據的積累和數據價值的挖掘成為目前關註的重點。除瞭應用自身積累的數據資源外,使用其他企業機構、其他行業有價值的數據自然成為破解難題的方法之一。與之對應的,如何在使用過程中保障數據的安全,保障個人隱私不被泄露,禁止未授權數據被不當地傳播、存儲和使用成為瞭難題。

聯邦學習被視為化解這個難題的絕佳技術。聯邦學習(Federated Learning)的本質是一種分佈式機器學習技術,可以在不交換數據樣本的情況下,在多個分散的邊緣設備或服務器上訓練算法。以達到在數據“可用不可見”的基礎上進行安全聯合建模的作用。

2017年谷歌AI在《聯合學習:協作機器學習沒有集中訓練數據》的博客文章中首次引入“聯邦學習”的概念。2019年,谷歌實現瞭首個產品級的聯邦學習系統,主要側重針對C端,在移動手機上運行的聯邦平均算法和分析。

在國內,以同盾科技知識聯邦體系為代表的科技力量,針對B端對於聯邦學習技術的研究和應用也在如火如荼地展開,提升到高級別的聯邦學習,致力於最終打造可信AI3.0,幫助中國率先實現下一代人工智能的突破。隨著越來越多的機構投身到聯邦學習領域,除帶來技術的躍遷之外,各聯邦之間也出現瞭一種山頭林立、體系割裂的趨勢,聯邦學習技術的初衷就是為打破數據孤島而生,而如今卻可能帶來瞭新的“孤島”現象,那麼有沒有一種方法能打通這麼多不同的聯邦學習技術架構和應用體系,讓聯邦能在更廣的疆域和空間尺度展開呢?

同盾科技近期開源的FLEX協議為這個宏大的設想提供瞭方案。

FLEX 何以定義新時代的到來?

“目前市場上各傢開發的聯邦學習產品五花八門,在實際應用上各不兼容,這就形成瞭產品上新的數據孤島和系統孤島。”同盾科技合夥人、人工智能研究院院長李曉林教授談起開源FLEX的初衷時表示,他也在NeurIPS-SpicyFL2020研討會的圓桌論壇上宣佈FLEX開源,不但打破數據孤島,而且打破系統孤島。我們希望未來聯邦學習技術能夠真正成為數據價值互聯互通的橋梁和紐帶,這就需要有一套標準化的聯邦協議去定義技術交互流程,我們的FLEX協議做到的就是這樣的事情。

FLEX(Federated Learning EXchange,FLEX)是同盾科技人工智能研究院為知識聯邦體系打造的一套標準化的聯邦協議。它約定瞭聯邦過程中參與方之間的數據交換順序,以及在交換前後采用的數據加解密方法。隻要參與各方能夠遵守這些約定,就可以安全地加入到聯邦中提供數據或使用聯邦服務。

FLEX協議主要包括兩層內容:

應用協議:這一層協議是面向聯邦算法的,為聯邦算法提供多方數據交換的應用支撐。協議中會約定多方間數據交換的順序和采用的具體密碼算法。聯邦過程中采用的通信協議也會被封裝在這裡。

公共組件:是上層應用協議所依賴的基礎密碼算法和安全協議,比如同態加密、秘密分享等。

在整個FLEX協議中,對於基礎架構、通信和安全三方面進行瞭詳細的闡述和約定,適用於跨特征、跨樣本和遷移聯邦學習三種場景下的多種不同算法,清晰的對聯邦學習技術過程中聯邦共享、聯邦預處理、聯邦計算、聯邦訓練、聯邦預測、公共組件和聯邦安全性等流程進行瞭闡釋和約定,是當前首個開源並定義完整的標準化聯邦協議。

同盾科技FLEX協議的開發與開源為聯邦學習技術的發展應用奠定瞭更好的基礎。通過FLEX協議,各類高校、研究機構、企業和個人可以對聯邦學習技術的開發實現與安全性檢測進行更進一步的研究與驗證,促進不同行業更快落地聯邦應用。

比如在智慧金融領域,FLEX定義的聯邦技術可以應用在反欺詐、反洗錢、智能風控、用戶畫像挖掘、智能交叉營銷等場景,幫助金融機構打通內部各部門的數據價值,並利用更多不同外部數據源的價值。在智慧政務領域,政府部門不同委辦局的數據將能夠在統一的聯邦平臺上打通,為政府管理和百姓生活提供更好的支持保障。在智慧醫療領域,不同醫院的就診數據、病史信息能夠利用聯邦模式共享,為醫學研究發展和百姓的就醫提供便利。

目前,同盾科技的FLEX協議已經在GitHub上進行瞭開源,後續也將逐步進行完善和更新。李曉林教授對於FLEX協議充滿瞭期待:“我們非常歡迎和希望業界研究使用FLEX協議,也希望更多對聯邦學習技術感興趣的人能夠加入到技術的探討和優化中來,這正是我們開源協議的意義。”

近年來,同盾科技人工智能研究院在聯邦學習領域不斷取得重要突破,已經成為行業內一支重要的領軍力量,FLEX協議的誕生不僅是研究院自身發展的一件歷史性時刻,相信它也將為國內聯邦學習的發展做出重要貢獻。

推薦閱讀: