在數據泄露“成癮”的時代, 聯邦學習如何實現AI在機器學習過程中的數據保護？_人工智能

AI作為一種通用技術，在各個領域賦予了我們生活極大的便利。進入元宇宙，數據的開放共享必成為一種趨勢，在數據生產力的時代中，數據價值創造的效率提升將帶來質的突破。AI技術帶來巨大機遇和效益的同時，也面臨著數據孤島和數據隱私泄露的問題。

首先，數據和AI是一種共生的發展模式。我們收集數據，然后通過AI對其進一步解釋和細化數據，數據需要精心管理、高質量且易于獲取，成功做到這幾點并不是非常容易的。

對于收集用戶數據，必須保持公開、透明的原則。毫無疑問，在這種情況下，數據孤島會逐漸顯現。AI作為一項企業技術，構建能夠打破數據孤島并使信息可操作的IT基礎設施，同時確保安全性，這已經是企業面臨的主要挑戰。

同時由于競爭關系、安全問題、審批流程等因素，數據之間的流通存在著難以打破的壁壘，事情就變得更具挑戰性了，在5G時代更是如此。

而在數據的世界里，最了解你的是你常用的軟件和平臺，將這些大大小小的信息整合，就是一個完整、精確的數據畫像。這些數據一旦泄露，將使你完全暴露在數據的世界中，被陌生人窺視，甚至被用于非法商業交易。

如今AI的工作優化模式是基于數據的，也就是所謂的數據驅動。隨著AI落地場景越來越豐富，社會對于數據隱私的關注也越來越重。同時市場數據AI的商業化應用，讓人們在享受便利的同時也在承擔著數據泄露的風險。

如今，數據孤島、數據隱私已是傳統行業應用AI技術所面臨的共性問題。在這種情況下，有人就提出了聯邦遷移學習的方法來解決問題。

香港財政司司長：Web3.0的基礎技術是區塊鏈，區塊鏈未來一定會繼續發展:6月9日消息，香港財政司司長陳茂波在 2023 財新夏季峰會上發言稱，盡管確實有部分虛擬資產服務提供者在經營上不規矩，比如經營者自己的資金和客戶的資金違規混合在一起，經營者自己運作平臺，同時也做莊家。但 web 3.0 的基礎技術是區塊鏈，不管你喜不喜歡，區塊鏈未來一定會繼續發展。

陳茂波表示，區塊鏈可以建立開放、安全和低成本的平臺，香港計劃引入合適的監管制度，以推動香港繼續負責任地發展互聯網 3.0 和虛擬資產。[2023/6/9 21:25:49]

什么是聯邦學習？

聯邦學習實際上是一種加密的分布式機器學習技術，參與各方可以在不披露底層數據和其加密形態的前提下共建模型。

聯邦學習旨在實現企業的私有數據不出本地，通過加密機制下的參數交換，即在不違反數據隱私法規情況下，建立一個虛擬的共有模型。

用更通俗的語言來講，各個企業的數據之前就像不同的小國家，它們自成體系，無法很好地完成統一建模。聯邦學習則將它們管轄在一個大國家之下，將不同的企業看作是這個國家里的“州”，就算彼此之前不互通數據，它們之間都可以獲得模型效果的提升。

聯邦學習有三大構成要素：數據源、聯邦學習系統、用戶，并且具有數據隔離，保證模型無損，公平合作，保持獨立四大顯著優勢。由于數據本身不移動，因此也不會涉及數據合規和泄露問題。

完成的模型將在各自的領域為本地的目標服務，在這樣一個機制下，參與各方的身份和地位相同，成功實現了“共同富裕”的目標。

外媒：澳大利亞監管機構ASIC在FTX崩潰前八個月就已對其抱有擔憂:1月30日消息，據外媒報道，早在FTX于去年11月倒閉8個月前，澳大利亞金融監管機構就對該交易所在澳大利亞的子公司存在疑慮。Guardian Australia獲得的文件顯示，澳大利亞證券和投資委員會（ASIC）官員對FTX Australia的運營方式感到擔憂，因為該公司能夠通過公司收購在該國獲得牌照。

據了解，FTX于2021年12月收購金融機構IFS Markets，獲得了澳大利亞金融服務許可證（AFSL），并于2022年3月開始運營。ASIC負責人Joe Longo表示，這使得FTX Australia有效地避開了通常適用于新的AFSL許可證持有者的同一級別的審查。

文件顯示，該監管機構在FTX開始運營的同月向其發布了第912C條通知，要求它向ASIC提供有關其運營的文件，以評估FTX是否符合AFSL許可證條件。有了該通知，ASIC可以指示被許可人提供文件，說明他們提供的金融服務、被許可人開展的金融服務業務，并確定被許可人是否滿足“合適人選測試”。

還有一份簡報文件也證實，在最初的擔憂和去年11月FTX崩潰之間的幾個月里，該監管機構已將該交易所置于“監視活動”之下，總共向FTX發出了三次通知。文件時間表還顯示，ASIC直到2022年10月仍對FTX的運營感到擔憂。（Cointelegraph）[2023/1/30 11:36:33]

我們知道，推薦系統中算法的目標是挖掘用戶和內容、商品之間的聯系，根據不同特點，聯邦學習可總結成三類：橫向聯邦學習、縱向聯邦學習和遷移聯邦學習。

支付平臺Ping籌得1500萬美元種子輪融資:金色財經報道，支付平臺Ping今天宣布獲得1500萬美元的種子輪融資，主要投資方包括Y-Combinator、Race Capital、BlockTower、Danhua Capital、Signum Capital和Goat Capital。這些資金將進一步推動和擴大Ping的平臺，使數字游民獲得美元或加密貨幣支付，并將工資轉換為當地貨幣。

Ping平臺允許任何個人、組織或公司創建一個免費的美元國際賬戶，并立即接受銀行轉賬——無論是外幣還是加密貨幣。此外，用戶可以通過Ping購買和接收比特幣、以太坊和萊特幣等加密貨幣。（finextra）[2022/11/10 12:41:13]

在橫向聯邦學習中，主要用于解決參與方擁有大量相同的商品或服務，但用戶群體不同時的系統協作問題。

縱向聯邦學習是在參與方數據集的用戶重疊較多而用戶特征重疊較少的情況下，把數據集縱向切分，并取出雙方用戶相同而用戶特征不完全相同的那部分數據進行訓練。

而遷移聯邦學習指在兩個數據集的用戶與用戶特征重疊都較少的情況下，利用遷移學習來克服數據不足的情況。

聯邦學習有哪些應用場景？

聯邦學習技術能夠實現多個機構間構建統一的數據安全、高效、合規的多源數據應用生態系統，實現跨機構的數據共享融合，具備隱私保護、打破數據孤島等優勢，因此該技術逐漸成為了互聯網巨頭、金融機構以及人工智能企業等的關鍵技術支撐。

Rarible提議為ApeCoin DAO創建一個定制的NFT市場:金色財經報道，NFT市場Rarible發布了一項提議，為ApeCoin DAO創建一個定制的NFT市場，Rarible表示，其市場將不收取任何費用，也不需要DAO的投資。這標志著ApeCoin的治理機制ApeCoin DAO最近收到的第三個建立NFT市場的提案。

此前消息，Magic Eden提出了一個類似的提議，要求建立一個低交易費用的市場，而且對DAO免費。初創公司Snag Solution也在Magic Eden發布數小時后提交了一份類似的提案。[2022/8/19 12:34:51]

而隨著隱私計算技術的成熟，聯邦學習的商業化落地正在引來爆發，其在醫療、金融、政務等領域的應用也日漸豐富，為行業發展創造出更大的價值。

金融

近年來，越來越多的金融機構相繼開展聯邦學習應用，主要集中在風控、營銷以及反洗錢方面。金融行業需要各個行業維度的數據去覆蓋各類業務產品與風控需求，而目前惡意欺詐、過度消費、重復授信等亂象層出不窮，傳統的風控手段并不能滿足復雜場景的應用需求。

盡管大數據的發展給予了風控手段有力的支持，但是數據的濫用又帶來了數據隱私安全的問題，因此隱私計算便成為了這些問題的有效解決方案。

聯邦學習技術能夠保證在用戶信息不泄露的前提下將更多維度、多元的數據納入聯合風控模型中，以構建更精準的風控模型。除此之外，隱私計算的技術在金融機構反洗錢偵測問題上同樣有著較好的效果。

數據：ETH交易所存款數量達一個月高點:5月15日消息，Glassnode數據顯示，ETH交易所存款數量（7日MA）達到一個月高點4,012.571。[2022/5/16 3:17:33]

通過橫向聯邦學習，能夠在不共享用戶數據的前提下，聯合大型金融機構或聯合多家金融機構，可以共同建立橫向聯邦反洗錢模型，提高偵測能力。

醫療

現代醫學研究主要依賴于大數據技術的支持，具有樣本數量規模大、特征維度多、信息價值含量高的醫療領域數據，才能滿足醫療數據分析結果的適用性和模型預測的準確性。

比如結構化電子病歷、非結構化電子病歷、基因數據和圖像數據等，這些數據包括個人生物信息、藥物使用情況、化驗測試結果、門診住院信息等。然而，這些數據涉及到個人隱私信息，要求在數據存儲和數據使用方面能夠保證保密性與敏感性。

因此聯邦學習技術不僅能夠滿足在醫學研究過程中用戶隱私數據得以保護的條件，還能在醫療數據參與方在不共享原始數據的基礎上，實現多方機構數據融合和機器學習聯合建模，進而達到了數據價值共享的目標。

政務

數據作為數字經濟發展的重要生產要素，一系列政策的頒布與執行，都對加快數據要素市場化流通、形成數據要素市場體系等提出要求。在政務領域，政務大數據、智慧城市、公共數據開放平臺成為了推動數字經濟發展的重要課題。

然而，政務大數據涉及稅務、司法、交通、社保等多個方面，由于數據資產權利尚未獲得有效的解決方案，導致政府部門共享數據意愿較低。除此之外，一些公共數據開放平臺存在開放數據數量不多、質量不高、更新不及時等問題。

因此聯邦學習相關技術呢能夠與大數據開發組件集成，實現跨部門、與社會數據等安全共享。同時可以實現數據資源的定向使用，防止數據濫用所導致的隱私泄露問題。

聯邦學習為何成為熱門的新技術？

聯邦學習為人工智能開了一扇窗

在隱私計算技術里，聯邦學習算得上是發展最快、落地性最強的一個分支，而它的重要應用便是AI人工智能的機器學習。

為了更好地服務智能應用發展，人工智能技術正在不斷演進。但若想要讓人工智能真正做到接近人類的水平，需要海量且真實的數據支撐，對機器進行深層次訓練，而數據安全、個人信息隱私等風險問題勢必會成為影響人工智能贏得用戶信任，從而實現大規模落地的重要因素。

然而事實上，人工智能市場一直由谷歌、微軟、亞馬遜等科技巨頭主導，并且為了訓練機器學習模型，傳統機器學習通常采用集中式方法，需要將訓練數據聚合在單臺機器或數據中心中。而這種幾近壟斷化的機器學習方式可能會導致嚴重的數據安全問題。

尤其是對于手機用戶而言，為了在這種集中式方法下訓練或構建出更好的機器學習模型，手機用戶必須通過將存儲的個人數據發送到AI科技公司云端來交換所獲得的個性化服務。但誰也無法保證，這些AI科技公司會不會未經用戶允許而違法收集并利用用戶的個人數據。

在這樣的大環境下，可以實現數據保護以及數據邊緣化的“聯邦學習”應運而生。

與集中式訓練方法相比，聯邦學習在人工智能領域開辟了一個全新的研究領域，它使位于不同地理位置的移動設備能夠協同學習、構建機器學習模型，同時保證用戶的個人數據依舊保留在原始設備上。

在聯邦學習的幫助下，機器學習能夠獲得更真實、有價值的用戶數據，為用戶提供更貼近需求的個性化服務，提升用戶體驗。但更重要的是，用戶的個人數據不需要發送到云端集中處理，而是依舊保存在用戶的移動設備中，保證用戶數據不受侵害。

除此之外，聯邦學習所實現的利用分布式計算資源來訓練機器學習模型正在為AI人工智能開辟一種全新的計算范式。

隨著手機等終端設備內部的計算資源變得越來越強大，特別是隨著人工智能芯片組的出現，人工智能正在從云和數據中心轉移到終端設備。考慮到全球有數十億臺移動設備，這些移動設備積累的計算資源遠遠超出了世界上最大的數據中心的能力范圍。

從這個意義上說，聯邦學習開辟了一種解決大規模人工智能的機器學習問題的新思維方式，成就了新的云計算范式。

聯邦學習與區塊鏈強強聯合

2019年，人工智能發展迎來了春天，也是從那時開始，我們看到了去中心化人工智能市場的可能。

聯邦學習對于人工智能的機器學習提出了重要的分布式概念，而區塊鏈也是憑借透明化、分布式等優勢獲得了廣泛關注和討論。可以說，在分布式這點上，聯邦學習與區塊鏈有著異曲同工之妙，而融合發展似乎也是水到渠成的事情。

首先，聯邦學習的應用不可能阻隔兩個或多個機構共同協作，參與者間要有一定交流，并且參與方越多，越能體現數據結果的準確性。

而結合區塊鏈技術，讓更多數據上鏈，通過區塊鏈的授權機制、身份管理等，將互不可信的用戶作為參與方整合到一起，建立一個安全可信的合作機制，最后通過聯邦學習模型，將計算的數據結果加密安全地傳遞出去。

并且，聯邦學習的所有模型參數都可以存儲在鏈上，區塊鏈的不可篡改特性保證了模型參數的一致性與可靠性，也能保證模型數據同步與共享是安全、可信的。同時，區塊鏈的經濟模型也能幫助實現資源分配。

在模型訓練完成后，可以根據訓練過程中各參與者提供的訓練數據數量和質量發放獎勵資源，并將獎勵資源寫入區塊鏈中，利用區塊鏈的公開透明特性，引入更多的參與方加入、同時提升參與方的配合程度。

就上面列出的機會而言，聯邦學習似乎是最能響應市場需求的應用，也是最貼近目前科技發展方向的一項熱門的新技術。

不過，聯邦學習目前依舊處于探索發展階段，未來在技術升級及商業落地上還有很長的路要走，也許5年、也許10年，聯邦學習仍面對著諸多可以改進的地方與挑戰，但相信在這些改變來臨之前，人們已經做好了迎接的準備。

聯邦學習發展前景與趨勢

根據信通院發布的《2020隱私保護計算技術研究報告》顯示，2020年隱私計算平臺和產品迎來了巨大的增長，而通過評測的聯邦學習產品多達18款。

盡管國內2018年才興起聯邦學習，但從“隱私計算聯盟”的成員單位來看，擁有聯邦學習平臺和產品的企業已經超過60多家，增幅喜人。

除了前文我們提到的聯邦學習應用方向之外，廣告領域在未來或許也會成為繼續引領聯邦學習發展的方向。我們知道，廣告主和流量平臺擁有各自的數據，但兩者往往又不會交集，所以需要整合，而在此前提下，通過聯邦學習可以很好地將廣告主和流量平臺的數據撮合在一起，從而實現最大效益化，這也是聯邦學習應用的重要實踐。

但這也引申出一些發展趨勢，即聯邦學習需要更好的安全監管，畢竟數據的融合可以讓原本模糊的分析變得更加精準，這意味著能否既使用好數據，又能保護好原始數據，所以這也是為什么聯邦學習常常會與其他隱私計算方式相結合，借助互相的優勢達到數據使用的最好效果，或許這在未來一段時間會繼續保持下去。

另外，由于不同聯邦學習平臺都有自己的一套規則，如果未來需要更大發展，還需要監管機構或者權威第三方介入，以建立比較主流的規則或者監管，以讓聯邦學習落到更多數據使用場景中。

總體來說，聯邦學習作為隱私計算應用較廣的一種方式，受到了前所未有的關注，但由于起步較晚，目前依然需要更多關注和組織互相協作起來，如此才能迎來大步前進。

本文為論道隱私計算團隊原創，未經允許嚴禁轉載，如需轉載請聯系我們。

來源：金色財經

Tags：人工智能區塊鏈FTXASI人工智能幣交易區塊鏈幣幣交易Coinbase Pre-IPO tokenized stock FTXOne Basis Cash

FIL