科普 | 聯邦學習這件小事_人工智能

背?景

計算機學院的學生小A意圖使用大數據及人工智能的相關技術完成自己的一個課題《大學生男生生活費消費行為的偏好分析》，然而苦于數據量不夠，便寄希望于身邊的朋友以及學校的廣大男性同學，原本以為是一件輕而易舉的事，然而…

由于個人隱私易泄露，數據交易難定價，合作者激勵制度不健全，以及惡意提供無用或者虛假數據等問題，收集真實且有價值的的數據遠比想象中難。

而近兩年來，“聯邦學習”被學術界和工業界經常提及，聯邦學習究竟是什么，為何能解決以上問題，我們從它的前世今生開始慢慢揭開面紗。

▲?人工智能是什么

人工智能是人為制造出來的智能，可以讓機器“智能”地完成一些通常認為只能由人來完成的簡單工作。其研究目的是促使智能機器會“聽”、會“看”、會“說”、會“思考”、會“學習”、會“行動”。

火幣推出《一分鐘讀懂DeFi》系列科普視頻:據官方消息，8月24日，火幣推出《一分鐘讀懂DeFi》系列科普視頻，并與微博財經合作冠名播出，布道DeFi認知，助力行業發展《一分鐘讀懂DeFi》是由火幣成長學院打造的業內首個系統全面講解DeFi的系列科普動畫，繼推出《區塊鏈100問》后的再續佳作。《一分鐘讀懂DeFi》系列動畫對DeFi的發展進行系統梳理，適合想要由淺入深、全面系統了解區塊鏈DeFi的人們輕松了解DeFi。目前視頻已由火幣網官方微博發布。[2020/8/24]

自1956年人工智能的概念被提出至今，有了飛速的發展。從早期的電子游戲AI等，到現階段的智能家居、圍棋新星阿爾法狗等，到未來的無人駕駛工具以及毀天滅地的終結者都是人工智能應用的產物。

人工智能已經改變了我們的生活，從遙不可及的實驗室科技轉變成為我們身邊隨處可見的工具，甚至改變世界的重要伙伴。人工智能中的“學習”能力是人工智能發展的核心，方法也層出不窮，機器學習、深度學習、強化學習……可以統稱為機器學習。發展至今，我們也逐漸發現了制約機器學習和人工智能進一步發展的瓶頸。

人大附中物理老師李永樂科普拜占庭將軍問題和區塊鏈:5月14日，人大附中物理老師、科普視頻網紅李永樂在其公眾號發布視頻《拜占庭將軍問題是什么？區塊鏈如何防范惡意節點？》。李永樂老師在視頻中對拜占庭將軍問題和區塊鏈進行了講解，他表示，拜占庭將軍問題本質上指的是，在分布式計算機網絡中，如果存在故障和惡意節點，是否能夠保持正常節點的網絡一致性問題。在近40年的時間里，人們提出了許多方案解決這一問題，稱為拜占庭容錯法。例如蘭波特自己提出了口頭協議、書面協議法，后來有人提出了實用拜占庭容錯PBFT算法，在2008年，中本聰發明比特幣后，人們又設想了通過區塊鏈的方法解決這一問題。區塊鏈通過算力證明來保持賬本的一致性，也就是必須計算數學題，才能得到記賬的權力，其他人對這個記賬結果進行驗證，如果是對的，就認可你的結果。與拜占庭問題比起來，就增加了叛徒的成本。[2020/5/14]

▲?機器學習的瓶頸

1.算法瓶頸

目前的機器學習存在著魯棒性較差以及算法的不可解釋性兩大問題。

動態 | 區塊鏈技術入選科普雜志《科學美國人》2019十大突破性技術榜單:據新浪網今日新聞報道，美國科普雜志《科學美國人》公布 2019 十大突破性技術榜單。區塊鏈技術因在保障食品安全中的作用而上榜。 入選榜單具體原因：區塊鏈技術的發展應用將顯著改善食品污染源數據追蹤的困境。利用區塊鏈云端系統，食品制造商可以依次在計算機儲存各類過程的信息。[2019/9/29]

雖然人工智能領域依靠深度學習在圖像識別上取得了巨大的突破，然而在加入“噪聲”后將圖片內容完全識別錯誤的“人工智障”行為依舊屢見不鮮；其次，在引入神經網絡的機器學習中，“黑盒子”狀態的算法雖然提升了算法的效果，但因缺乏嚴格的數學理論證明以及算法的解釋性，從而一直為學業界的人士所詬病。

2.數據瓶頸

2.1?數據需求量大

計算能力和計算成本是首當其沖需解決的問題，而一個好的機器學習算法背后，是大量數據多輪次的重復性計算的結果，需要大量算力成本。

動態 | 央行官微舊文重發“再科普”：范一飛詳解數字貨幣:據中國經濟網消息，今日，央行官微公眾號頭條重新發布央行副行長范一飛在2018年1月25日題為《關于央行數字貨幣的幾點考慮》的文章，對央行數字貨幣再次進行科普。同時，微信公眾號第二條發布支付司副司長穆長春8月10日在第三屆中國金融四十人伊春論壇上的演講。近年來，各主要國家和地區央行及貨幣當局均在對發行央行數字貨幣開展研究，新加坡央行和瑞典央行等已經開始進行相關試驗，人民銀行也在組織進行積極探索和研究。[2019/8/21]

2.2?數據供給稀缺

云計算、AI技術發展至今，我們發現制約AI應用落地的是沒有足夠的數據支撐算法的訓練和驗證。巧婦難為無米之炊，缺少數據的機器學習算法猶如空油的F1賽車，無法施展它最強的性能。

聯邦學習的前世今生

▲?數據隱私問題

數據是機器學習的原油，伴隨機器學習的興起和大數據的浪潮，數據的收集成為業內的產業之一。因為產業的暴利和法制的不健全，用戶的信息被大肆的爬取、收集、販賣，導致很長一段時間我們的生活不堪其擾。

動態 | 美國演說家Anthony Robbins開始科普什么是比特幣:美國演說家安東尼·羅賓（Anthony Robbins）在自己的網站上發布了一篇比特幣的科普文章，并在推特上向自己的粉絲介紹什么是比特幣，目前他的推特賬戶共有粉絲304萬人。[2019/1/1]

APP上的信息爬取，電話與身份信息泄露讓我們總是能接收到各種廣告推銷電話。更有甚者，“裸貸”風波和Facebook用戶信息泄露，讓大眾在信息化時代對于個人信息安全更加謹慎小心。2018年的歐洲隱私和數據保護法案GDPR的出臺雖然一定程度上保障信息隱私安全并規范了數據收集方式，但無形中加劇了優質數據整合的難度，對機器學習與人工智能領域都是一次重大的挑戰。

▲?聯邦學習的前世

伴隨著以上涉及到的問題，Google公司早在2016年提出聯邦學習的概念，這一概念原本用于解決安卓手機終端用戶在本地更新模型的問題，具體如下：

Step1.?手機下載現有模型；

Step2.?用手機的本地數據來訓練模型；

Step3.?訓練好后，迭代更新，并將更新的額內容加密上傳到云端；?

Step4.?與其它用戶的更新進行整合，作為對共享模型的改進；

Step5.?該過程不斷重復，改進后的共享模型也會不斷地被下載到本地。

值得注意的是，在執行的過程中有兩個特別的點：?

每個設備端在更新己方模型時都是依賴于自己數據的個性化更新；該場景中的共享模型可能不是完整的機器學習模型/神經網絡模型，可能是經過壓縮的模型。▲?聯邦學習的今生

聯邦學習的正式誕生是在2017年，Google的AI?blog中提出的一種分布式機器學習框架，目標是在保證數據隱私安全及合法合規的基礎上，實現多方共同建模，并提升AI模型的效果。當完成訓練后，根據聯邦學習特有的激勵機制，會給予所有的參與方一定的激勵作為共同參與訓練的獎勵。隨后以楊強教授為首的團隊進一步推進聯邦學習框架，直至我們現在所看的樣子。

聯邦學習的分類

▲?聯邦學習的精髓

國際人工智能聯合會主席楊強教授曾經舉過一個聯邦學習的例子：

我們每個人的大腦里都有數據，當兩個人在一起做作業或者一起寫書的時候，我們并沒有把兩個腦袋物理性合在一起，而是兩個人用語言交流。所以我們寫書的時候，一個人寫一部分，通過語言的交流最后把合作的文章或者書寫出來。

我們交流的是參數，在交流參數的過程中有沒有辦法保護我們大腦里的隱私呢？是有辦法的，這個辦法是讓不同的機構互相之間傳遞加密后的參數，以建立共享的模型，數據可以不出本地。

故而，在本地數據不出庫的情況下，通過對中間加密數據的流通與處理來完成多方對共享模型的機器學習訓練，便是聯邦學習的精髓所在。

▲?橫向聯邦學習

橫向聯邦學習是指，在不同數據集之間數據特征重疊較多而用戶重疊較少的情況下，按照用戶維度對數據集進行切分，并取出雙方數據特征相同而用戶不完全相同的那部分數據進行訓練。

橫向聯邦學習的本質是樣本的聯合，適用于參與者間業態相同但觸達客戶不同，即特征重疊多、用戶重疊少時的場景，比如不同地區的銀行間，他們的業務相似，但用戶不同。

▲?縱向聯邦學習

縱向聯邦學習是指，在不同數據集之間用戶重疊較多而數據特征重疊較少的情況下，?按照數據特征維度對數據集進行切分，并取出雙方針對相同用戶而數據特征不完全相同的那部分數據進行訓練。

縱向聯邦學習的本質是特征的聯合，適用于用戶重疊多，特征重疊少的場景，比如同一地區的商超和銀行，他們觸達的用戶都為該地區的居民，但業務不同。

▲?遷移聯邦學習

聯邦遷移學習是指，在多個數據集的用戶與數據特征重疊都較少的情況下，不對數據進行切分，而是利用遷移學習來克服數據或標簽不足的情況。

當參與者間特征和樣本重疊都很少時可以考慮使用聯邦遷移學習，如不同地區的銀行和商場間的聯合。主要適用于以深度神經網絡為基模型的場景

小結

本次帶大家走進“聯邦學習的大門”，簡要介紹了聯邦學習的「前世今生」及「不同分類」，下一篇將會詳細講解「不同分類下的聯邦學習」，敬請期待！

作者簡介

嚴楊

來自數據網格實驗室BitXMesh團隊?PirvAIの修道者

Tags：人工智能區塊鏈DEFEFI人工智能軟件區塊鏈的幾個大騙局有哪些去中心化金融defi什么意思DefiPlaza

Pol幣