邁入開源第三年，深度學習平臺PaddlePaddle又發重磅升級。
4月23日，由深度學習技術及應用國家工程實驗室與百度聯合主辦的首屆WAVE SUMMIT 2019深度學習開發者峰會上，PaddlePaddle首秀全景圖，并連拋11項重磅發布！
開發環節，全新發布工業級NLP開源工具集PaddleNLP，以及業界首個視頻識別工具集；訓練環節，展現大規模分布式訓練、工業級數據處理兩大特性；部署環節，首發預測服務Paddle Serving和用于模型壓縮的PaddleSlim；工具方面，首發預訓練模型管理工具PaddleHub、深度強化學習工具PARL重要升級、自動化網絡結構設計AutoDL Design正式開源；服務方面，發布了價值一億人民幣的算力支持計劃以及企業深度學習實戰營。
深度學習推動人工智能進入工業大生產階段，深度學習框架是智能時代的操作系統。從開發、訓練、部署、工具到服務，PaddlePaddle展現了歷經產業實踐打磨的“趁手利器”所擁有的全面、穩定與高效。
一、 開發：新增NLP、視頻兩大模型工具集
在模型庫方面，PaddlePaddle已開源 60 多個經過真實業務場景驗證的官方模型，涵蓋視覺、自然語言處理、推薦等 AI 核心技術領域，成為官方支持模型最多的深度學習平臺。而此次，PaddlePaddle再次全新發布工業級NLP開源工具與預訓練模型集PaddleNLP，以及業界首個視頻識別工具集。
PaddleNLP是基于PaddlePaddle 打造的面向工業應用的中文NLP工具集，覆蓋全面的中文處理任務，工業使用效果突出。PaddleNLP提供全面豐富的中文處理任務，并擁有當前業內效果最好的中文語義表示模型ERNIE和基于用戶大數據訓練的應用任務模型。基于PaddlePaddle深度學習框架構建的基礎NLP算法模型和NLP應用任務的靈活組合，同類型算法模型可靈活插拔，真正高效易用。
此外，PaddlePaddle還發布了業界首個視頻識別工具集，旨在為開發者提供解決視頻理解、視頻編輯、視頻生成等一系列任務的便捷、高效的模型。工具集提供了適合視頻任務的通用骨架代碼，覆蓋視頻識別方向的7大主流領先模型，包括StNet、Attention LSTM 、Attention Cluster三大幫助百度視覺團隊奪得國際競賽冠軍的自研領先模型。目前，該領先的視頻理解技術已在百度多項核心業務中使用，如百度 Feed 流，百度搜索，百度云 VCA 系統等，視頻標簽集Top5準確率達到96%，百度 Feed 流短視頻分類全免人審。
二、 訓練：業界最強的超大規模并行深度學習能力
訓練環節，超大規模深度學習并行技術一直是PaddlePaddle的優勢之一。此次大規模分布式訓練主要從三方面實現了升級，首先是對多機多卡訓練的的全面支持，實現了良好的可擴展性。同時發布了針對網絡條件不好的情況下的稀疏通信技術，大幅降低了帶寬對訓練速度的影響。
其次，針對超大規模稀疏參數的挑戰，設計并開放了大規模稀疏參數服務器，開發者可輕松下載相關鏡像使用。基于真實的推薦場景的數據驗證，PaddlePaddle 在 100 節點*10線程/節點的情況下，根據batch size的不同吞吐量可達 60 萬~ 140 萬 /s，每小時可處理20 ~ 50億數據，且達到batch size為 512 的情況下90%的加速比。該系統已應用于百度feed流以及鳳巢商業推廣系統中，可有效地解決超大規模推薦系統、超大規模數據、自膨脹的海量特征及高頻率模型迭代的問題，擁有超大吞吐量及高效率。
第三，大規模分布式訓練支持在各種容器上高速運行，同時支持在K8S生態下使用PaddlePaddle進行訓練。
在這種大規模數據場景下，數據的吞吐非常關鍵，對于數據做處理往往是一大痛點，對此，PaddlePaddle研發了數據處理組件方便開發者使用。優化分布式IO，增加遠程文件系統流式讀取能力。GPU多機多卡同步訓練通過增加稀疏通信能力提升帶寬不敏感訓練能力，在低配網絡帶寬網絡環境下，例如10G網絡下，同步訓練可提速10倍。
三、部署：首發預測服務Paddle Serving、用于模型壓縮的PaddleSlim
開發和訓練后，將模型部署到各種應用場景下是非常關鍵的一個步驟。部署環節需要高速的推理引擎，在此基礎上，為了部署在更多的硬件上往往需要做模型壓縮，在真正使用時，還需要軟硬一體能力的支持。
（PaddlePaddle端到端全流程部署方案）
目前，PaddlePaddle提供完整的端到端的全流程部署方案。基于多硬件的支持，PaddlePaddle提供性能全面領先的底層加速庫和推理引擎。此次大會，PaddlePaddle全新發布了預測服務Paddle Serving，以及用于模型壓縮的PaddleSlim。
Paddle Serving可與核心框架的模型訓練環節無縫銜接，提供深度學習預測云服務，內置模型，可批量預測。Paddle Serving目前已在百度的很多產品線使用。
而PaddleSlim實現基于PaddlePaddle的模型壓縮，能夠在精度損失較小的情況下高效進行模型體積壓縮，覆蓋目前主流的網絡剪枝、量化、蒸餾三種壓縮策略。參數集中管理，兩行python代碼即可調用自動化模型壓縮。針對體積已經很小的MobileNet模型，它仍能在模型效果不損失的前提下實現70%以上的體積壓縮。
四、工具：開源AutoDL Design、升級PARL、首發PaddleHub
靈活、高效、易用是PaddlePaddle大受歡迎的重要原因。在多項全新發布及重磅升級中，工具組件方面顯得尤為突出。此次，PaddlePaddle不僅重磅開源AutoDL Design、升級深度強化學習框架PARL，并首次提出并發布預訓練模型管理工具PaddleHub。
傳統的神經網絡的結構設計是由人根據經驗設計，并不斷的進行調參訓練獲得最優結果，這個過程較為復雜和費時費力。AutoDL Design自動化網絡結構設計是用深度學習設計深度學習，理想狀態下，只需要使用者提供一份數據集，整個系統就可以根據數據集自身，不斷嘗試不同類型的網絡結構和連接方式，訓練若干個神經網絡模型，逐步進行自動化反復迭代和嘗試，產出模型。本次重磅開源了基于PaddlePaddle實現的AutoDL Design源碼， 以及在CIFAR-10數據集上訓練出來的一共6個模型，這6個模型進行融合，可獲得超過98%的準確率。
PARL是一款基于百度PaddlePaddle打造的深度強化學習工具，繼1.0版本開源了NeurIPS 2018假肢挑戰賽冠軍訓練代碼以及主流強化學習模型后，本次升級聚焦并行，通過一個簡單的修飾符即可實現并行化。數據預處理以及simulator仿真等計算密集型的任務經過這個修飾符之后，會自動部署到用戶指定的計算資源上運行，不再占用主線程的計算資源。以通過PARL實現的IMPALA算法的評估結果為例,在雅達利這個經典評測環境中 ，Pong 游戲最快可在7分鐘內達到20分，breakout游戲在25分鐘達到400分。
PaddleHub是一款簡明易用的預訓練模型管理框架，提供包括預訓練模型管理、命令行一鍵式使用和遷移學習三大功能，旨在幫助用戶更高效地管理模型并開展遷移學習的工作。
模型管理上通過hub命令行可完成基于PaddlePaddle的預訓練模型下載、搜索、版本管理等功能。無需代碼，通過命令行即可直接使用預訓練模型進行預測，快速調研訓練模型效果。遷移學習方面，提供了基于預訓練模型的Finetune API。活動現場，馬艷軍演示了低至10行代碼即完成遷移學習的驚艷Demo。
五、服務：算力支持計劃，價值一億人民幣！
算力是深度學習發展不可或缺的重要“能源”。為此PaddlePaddle宣布了一個振奮全場的“土豪”計劃——百度一站式開發平臺AI Studio重磅推出價值一億人民幣的算力支持計劃，為開發者破除算力桎梏。
據悉，免費算力主要以兩種模式提供，第一種是一人一卡模式，使用邀請碼即可獲贈算力時長。另外一種是遠程集群模式，PaddlePaddle提供高性能集群，開發者只需登錄AI Studio，便可以免費使用。
百度對于深度學習開發者的支持不僅于此。面向高校，推出深度學習師資培訓班、協同育人專項基金、AI Studio教育版。面向開發者，提供免費在線課程、免費算力支持、并舉辦不間斷的賽事互動。面向企業，推出深度學習架構師培養計劃黃埔學院，此次進一步推出了可覆蓋1000家企業的企業深度學習實戰營——AI快車道。
更精進的基礎框架設計、更豐富的算法模型、更強大的系統性能和穩定性、更完備的異構硬件支持、更全面貼心的開發者生態……開源三年，PaddlePaddle始終在實踐中不斷鍛造錘煉，為中國開發者打造趁手“神兵”。
風云驟起的智能時代何以亮劍？或許PaddlePaddle可以成為你的選擇。
