EFI:科普 | 聯邦學習這件小事

背?景

計算機學院的學生小A意圖使用大數據及人工智能的相關技術完成自己的一個課題《大學生男生生活費消費行為的偏好分析》，然而苦于數據量不夠，便寄希望于身邊的朋友以及學校的廣大男性同學，原本以為是一件輕而易舉的事，然而…

由于個人隱私易泄露，數據交易難定價，合作者激勵制度不健全，以及惡意提供無用或者虛假數據等問題，收集真實且有價值的的數據遠比想象中難。

而近兩年來，“聯邦學習”被學術界和工業界經常提及，聯邦學習究竟是什么，為何能解決以上問題，我們從它的前世今生開始慢慢揭開面紗。

▲?人工智能是什么

人工智能是人為制造出來的智能，可以讓機器“智能”地完成一些通常認為只能由人來完成的簡單工作。其研究目的是促使智能機器會“聽”、會“看”、會“說”、會“思考”、會“學習”、會“行動”。

民盟中央建議加速元宇宙科普和立法:3月4日消息，民盟中央已起草了《關于“元宇宙”技術發展的提案》，并將提交全國政協十三屆五次會議。在提案中，民盟中央建議，在科普層面需加速知識傳播，法律層面則需加快立法步伐。民盟中央擬提交的提案指出，目前，在新興網絡層面，相關政策法規相對缺失。“元宇宙”在未來將會帶動形成全新的網絡形態，當遇到突發輿情，全虛擬的環境、場景將更難進行源頭追蹤、問題疏導。因此建議應盡早加快立法研究，盡快形成與技術、市場發展相適應的治理模式和法律基礎，全面提升我國社會治理的水平。建議組織相關部門，針對“元宇宙”相關需求、風險進行立法研究，并盡快發布。此前消息，民進中央擬向全國政協十三屆五次會議提交《關于積極穩妥推進元宇宙技術和產業發展的提案》。建議推進元宇宙技術產業發展，建立相關監管治理體系。（華夏時報）[2022/3/4 13:37:12]

自1956年人工智能的概念被提出至今，有了飛速的發展。從早期的電子游戲AI等，到現階段的智能家居、圍棋新星阿爾法狗等，到未來的無人駕駛工具以及毀天滅地的終結者都是人工智能應用的產物。

歐科云鏈集團正式啟動區塊鏈科普行動“星途計劃”:歐科云鏈集團于4月26日，正式宣布啟動了區塊鏈科普行動——“星途計劃”，行動包括將在全國范圍展開系列沙龍，加大力度推進區塊鏈科普進機關、進國企、進校園等，聯合政府部門、行業協會等共同構建起更加完善和有效的區塊鏈科普教育生態，與此同時，直擊區塊鏈科普現存痛點，推出簡單易懂的“秒懂區塊鏈”公益短視頻課。

該計劃旨在全維度推動社會建立對產業更清晰的認知，與“鯤鵬計劃”一道助力數字經濟及區塊鏈產業本身健康發展夯實“人才”和“產業認知”兩大基礎。[2021/4/26 20:59:37]

人工智能已經改變了我們的生活，從遙不可及的實驗室科技轉變成為我們身邊隨處可見的工具，甚至改變世界的重要伙伴。人工智能中的“學習”能力是人工智能發展的核心，方法也層出不窮，機器學習、深度學習、強化學習……可以統稱為機器學習。發展至今，我們也逐漸發現了制約機器學習和人工智能進一步發展的瓶頸。

▲?機器學習的瓶頸

火幣推出《一分鐘讀懂DeFi》系列科普視頻:據官方消息，8月24日，火幣推出《一分鐘讀懂DeFi》系列科普視頻，并與微博財經合作冠名播出，布道DeFi認知，助力行業發展《一分鐘讀懂DeFi》是由火幣成長學院打造的業內首個系統全面講解DeFi的系列科普動畫，繼推出《區塊鏈100問》后的再續佳作。《一分鐘讀懂DeFi》系列動畫對DeFi的發展進行系統梳理，適合想要由淺入深、全面系統了解區塊鏈DeFi的人們輕松了解DeFi。目前視頻已由火幣網官方微博發布。[2020/8/24]

1.算法瓶頸

目前的機器學習存在著魯棒性較差以及算法的不可解釋性兩大問題。

雖然人工智能領域依靠深度學習在圖像識別上取得了巨大的突破，然而在加入“噪聲”后將圖片內容完全識別錯誤的“人工智障”行為依舊屢見不鮮；其次，在引入神經網絡的機器學習中，“黑盒子”狀態的算法雖然提升了算法的效果，但因缺乏嚴格的數學理論證明以及算法的解釋性，從而一直為學業界的人士所詬病。

動態 | 浙江衛視節目科普支付寶區塊鏈防偽溯源產品:昨日，在浙江衛視播出的科普綜藝欄目《智造將來》現場，支付寶首次展示了支付寶區塊鏈防偽溯源產品，以接地氣的方式公開向大眾展示區塊鏈在生活中的應用。[2019/3/4]

2.數據瓶頸

2.1?數據需求量大

計算能力和計算成本是首當其沖需解決的問題，而一個好的機器學習算法背后，是大量數據多輪次的重復性計算的結果，需要大量算力成本。

2.2?數據供給稀缺

云計算、AI技術發展至今，我們發現制約AI應用落地的是沒有足夠的數據支撐算法的訓練和驗證。巧婦難為無米之炊，缺少數據的機器學習算法猶如空油的F1賽車，無法施展它最強的性能。

聯邦學習的前世今生

▲?數據隱私問題

數據是機器學習的原油，伴隨機器學習的興起和大數據的浪潮，數據的收集成為業內的產業之一。因為產業的暴利和法制的不健全，用戶的信息被大肆的爬取、收集、販賣，導致很長一段時間我們的生活不堪其擾。

科普時報：區塊鏈與云計算長期發展目標不謀而合:據《科普時報》今日報道，區塊鏈與云計算兩項技術的結合，從宏觀上來說，一方面，利用云計算已有的基礎服務設施或根據實際需求做相應改變，實現開發應用流程加速，滿足未來區塊鏈生態系統中初創企業、學術機構、開源機構、聯盟和金融等機構對區塊鏈應用的需求。另一方面，對于云計算來說，“可信、可靠、可控制”被認為是云計算發展必須要翻越的“三座山”，而區塊鏈技術以去中心化、匿名性，以及數據不可篡改為主要特征，與云計算長期發展目標不謀而合。[2018/5/4]

APP上的信息爬取，電話與身份信息泄露讓我們總是能接收到各種廣告推銷電話。更有甚者，“裸貸”風波和Facebook用戶信息泄露，讓大眾在信息化時代對于個人信息安全更加謹慎小心。2018年的歐洲隱私和數據保護法案GDPR的出臺雖然一定程度上保障信息隱私安全并規范了數據收集方式，但無形中加劇了優質數據整合的難度，對機器學習與人工智能領域都是一次重大的挑戰。

▲?聯邦學習的前世

伴隨著以上涉及到的問題，Google公司早在2016年提出聯邦學習的概念，這一概念原本用于解決安卓手機終端用戶在本地更新模型的問題，具體如下：

Step1.?手機下載現有模型；

Step2.?用手機的本地數據來訓練模型；

Step3.?訓練好后，迭代更新，并將更新的額內容加密上傳到云端；?

Step4.?與其它用戶的更新進行整合，作為對共享模型的改進；

Step5.?該過程不斷重復，改進后的共享模型也會不斷地被下載到本地。

值得注意的是，在執行的過程中有兩個特別的點：?

每個設備端在更新己方模型時都是依賴于自己數據的個性化更新；該場景中的共享模型可能不是完整的機器學習模型/神經網絡模型，可能是經過壓縮的模型。▲?聯邦學習的今生

聯邦學習的正式誕生是在2017年，Google的AI?blog中提出的一種分布式機器學習框架，目標是在保證數據隱私安全及合法合規的基礎上，實現多方共同建模，并提升AI模型的效果。當完成訓練后，根據聯邦學習特有的激勵機制，會給予所有的參與方一定的激勵作為共同參與訓練的獎勵。隨后以楊強教授為首的團隊進一步推進聯邦學習框架，直至我們現在所看的樣子。

聯邦學習的分類

▲?聯邦學習的精髓

國際人工智能聯合會主席楊強教授曾經舉過一個聯邦學習的例子：

我們每個人的大腦里都有數據，當兩個人在一起做作業或者一起寫書的時候，我們并沒有把兩個腦袋物理性合在一起，而是兩個人用語言交流。所以我們寫書的時候，一個人寫一部分，通過語言的交流最后把合作的文章或者書寫出來。

我們交流的是參數，在交流參數的過程中有沒有辦法保護我們大腦里的隱私呢？是有辦法的，這個辦法是讓不同的機構互相之間傳遞加密后的參數，以建立共享的模型，數據可以不出本地。

故而，在本地數據不出庫的情況下，通過對中間加密數據的流通與處理來完成多方對共享模型的機器學習訓練，便是聯邦學習的精髓所在。

▲?橫向聯邦學習

橫向聯邦學習是指，在不同數據集之間數據特征重疊較多而用戶重疊較少的情況下，按照用戶維度對數據集進行切分，并取出雙方數據特征相同而用戶不完全相同的那部分數據進行訓練。

橫向聯邦學習的本質是樣本的聯合，適用于參與者間業態相同但觸達客戶不同，即特征重疊多、用戶重疊少時的場景，比如不同地區的銀行間，他們的業務相似，但用戶不同。

▲?縱向聯邦學習

縱向聯邦學習是指，在不同數據集之間用戶重疊較多而數據特征重疊較少的情況下，?按照數據特征維度對數據集進行切分，并取出雙方針對相同用戶而數據特征不完全相同的那部分數據進行訓練。

縱向聯邦學習的本質是特征的聯合，適用于用戶重疊多，特征重疊少的場景，比如同一地區的商超和銀行，他們觸達的用戶都為該地區的居民，但業務不同。

▲?遷移聯邦學習

聯邦遷移學習是指，在多個數據集的用戶與數據特征重疊都較少的情況下，不對數據進行切分，而是利用遷移學習來克服數據或標簽不足的情況。

當參與者間特征和樣本重疊都很少時可以考慮使用聯邦遷移學習，如不同地區的銀行和商場間的聯合。主要適用于以深度神經網絡為基模型的場景

小結

本次帶大家走進“聯邦學習的大門”，簡要介紹了聯邦學習的「前世今生」及「不同分類」，下一篇將會詳細講解「不同分類下的聯邦學習」，敬請期待！

作者簡介

嚴楊

來自數據網格實驗室BitXMesh團隊?PirvAIの修道者

Tags：區塊鏈人工智能DEFIEFI區塊鏈技術通俗講解舉例人工智能技術應用學什么Farm DefiDOGEFI

幣贏