沙尔克04对云达不莱梅:華為嚇人技術 Top 10

發布時間:2019年09月17日 10:09    發布者:eechina
關鍵詞: 華為 , 嚇人技術 , 達芬奇架構 , 智能調優 , 自動微分
作者 | 黃顯東

隨著社會的發展,科技的進步,5G 落地、AI 爆發、大數據持續突破、云計算已然成為新時代的水電煤。日益增多的新興技術,為開發者帶來機遇的同時也帶來了不少挑戰。盡管開發者們經常身處歷史性事件的前沿,但由于很多技術學習門檻較高,且沒有相對完整的配套技術生態,開發者們其實很難時刻保持良好的學習曲線。

在簡化開發、降低技術門檻、提高研發效率等方面,華為每年投入大量的資金和人力,而小編將為大家介紹的這十大硬核技術,正是華為加速技術發展、構建產業生態的助燃劑。

在小編看來,作為開發者,了解學習到這 TOP 10 技術,不僅可以了解技術產業前沿趨勢,也是為未來職業生涯發展打基礎。因為技術隱藏在產品之后,看不見摸不著,開發者們也可以先行體驗華為承接的系列核心產品,感受強大技術背后的黑科技力量。

Top 1 達芬奇架構

毋庸置疑,AI 技術正成為各行業數字化轉型的發動機,大到智慧城市,小到 IoT 等,都少不了 AI 的身影。那么多的應用場景,如何才能實現 AI 在多平臺、多場景之間的協同?

華為用達芬奇架構給出了答案。作為華為自研的面向 AI 計算特征的全新計算架構,達芬奇架構具備高算力、高能效、靈活可裁剪的特性。

具體說來,達芬奇架構采用 3D Cube 針對矩陣運算做加速,大幅提升了單位功耗下的 AI 算力,同時還集成了向量、標量、硬件加速器等多種計算單元,輔以最小的計算代價增加矩陣乘的算力,來提升 AI 計算的完備性和不同場景的 AI 能效。


而靈活可裁剪的特性則讓達芬奇架構能夠滿足端側、邊緣側及云端的應用場景,可用于小到幾十毫瓦,大到幾百瓦的訓練場景,解鎖 AI 的無限可能。

以華為昇騰芯片為例,昇騰系列芯片就采用了統一的、可擴展的達芬奇架構,是全球第一個覆蓋全場景的人工智能芯片系列,無論在低功耗的邊緣場景,還是大算力的數據中心場景,昇騰系列都將提供出色的性能和能效比。

此前,華為推出的目前業界單芯片計算密度最大的芯片昇騰 910 就可應用于自動駕駛、平安城市、智能制造、運營商、金融等應用場景。

不僅如此,華為還基于達芬奇架構提供了高性能的人工智能計算平臺 Atlas。通過 Atlas 200 DK AI 開發者套件,開發者可以在 30 分鐘內完成開發環境搭建,內置的圖形化編程環境,將極大地提升開發效率。并且,得益于昇騰芯片的全棧全場景能力,基于開發者套件開發的程序只需一次開發,即可實現端、邊、云全場景部署。

依托采用達芬奇架構的華為昇騰系列 AI 芯片提供的超強算力和全場景需求覆蓋,Atlas 已實現算力、邊界兩大突破??梢運?,達芬奇架構滿足了人工智能領域對高算力和低功耗的需求,是專為人工智能算力需求而設計的芯片架構。

由此可以說,達芬奇架構是華為面向開發者的十大“嚇人技術”的當之無愧的 Top1。

Top 2 A-Tune 智能調優技術

對開發者來說,要想軟件獲得更好的體驗,手動調優是個必不可少的過程。不過現在計算機硬件結構越來越復雜,豐富多樣的應用對資源的需求也各不相同,這也導致調優過程異常復雜。

為了減少開發者在軟件調優上消耗的時間,華為 A-Tune 智能調優技術,可以在程序運行中實時感知應用的運行特征,使系統主動調整底層資源;還可以通過學習引擎對特征進行建模,根據業務負載去匹配最佳資源模型,通過負反饋持續優化。

簡而言之,A-Tune 技術相當于在現有系統上加裝了大腦,讓系統“懂”業務場景,給出最合適的資源模型,使得系統運行更加智能,達到應用性能加速的目的。

由于不必考慮硬件和系統的底層細節,即使是入門開發者,也能達到調優效果,高階開發者更可針對具體的業務場景進行定制,實現更細粒度的調優。通過將應用 & 系統性能做到最優,A-Tune 技術可以從總體上降低成本。比如,以前你可能需要購買 10 臺服務器才能完成的工作,現在可能需要 7-8 臺服務器就能實現。

目前,基于 A-Tune 技術構建的華為自研操作系統 openEuler,就體現出了高安全性、高可擴展性、高性能等優勢特點。首先,openEuler 能夠以加固策略、內核級 OS 安全能力、及多款安全漏掃工具等有效防止入侵,保障系統安全。

同時,openEuler 能夠向用戶提供服務保障體系,保證超長期的可靠性和穩定性。另外,openEuler 在編譯系統、虛擬存儲系統、CPU 調度、IO 驅動、網絡和文件系統等方面也做了大量的優化。作為高性能的操作系統平臺,openEuler 能夠滿足客戶從傳統 IT 基礎設施到云計算服務的各種需求。

如此友好的技術,排在 Top 2 也是當之無愧的吧。

Top 3 S2S 自動微分

第三個技術我們來說說自動微分。

資深的深度學習開發者應該都體會過手動求解的痛苦,不僅求導過程復雜,結果還很容易出錯,好在現在有深度學習框架,可以利用自動微分技術輕松解決這個復雜又關鍵的過程。

我們都知道,深度學習框架的自動微分根據實現原理的不同,分為以 Google 的 TensorFlow 為代表的圖方法,以 Facebook 的 PyTorch 為代表的運算符重載,以及以華為自研的 MindSpore 為代表的源碼轉化方法(Source To Source,S2S)。

前不久,華為剛發布了自研的全場景 AI 計算框架 MindSpore,而在 MindSpore 中的自動微分就采用了 S2S 形式。在性能和可編程性上,S2S 自動微分顯著優于業界圖和運算符重載方式,開發者無需重新學習一套新的表達邏輯(圖邏輯),用原生 Python 就能實現 AI 算法。

同時,S2S 自動微分能夠實現任意算子的微分表達和編譯優化,同時實現反向算子自動生成,極大地方便模型開發,為開發者的代碼帶來更佳性能。在軟件硬件協同方面,支持自動優化,無需像其他兩種方式需要手動定制。

此外,S2S 自動微分還有著豐富的調試手段??⒄嚦梢允褂每墑踴涌?,方便觀察程序運行時的狀態,同時支持動態執行,幫助開發者在程序運行時進行代碼調試。

基于此項技術,華為 MindSpore 不僅可以支持端、邊、云獨立的和協同的統一訓練和推理,同時支持華為提出的全場景。通過這款完整的軟件堆棧,華為正在實現一次性算子開發、一致的開發和調試體驗,以此幫助開發者實現一次性開發,應用在所有設備端、邊緣及云端平滑遷移的能力。

值得一提的是,MindSpore 預計將在 2020 年 Q1 開源。


Top 4 分布式深度學習技術

通常,深度學習訓練過程涉及大規模參數的網絡間傳遞。TensorFlow 使用中心化的網絡參數服務器(Parameter Server)來承擔梯度的收集、平均和分發工作,對 server 節點的訪問會成為瓶頸,帶寬利用率低。

為了提高深度學習訓練效率,華為采用了 AllReduce 算法進行梯度聚合來優化帶寬,這樣可以同時利用多個工作節點,分布式地、高效地訓練出性能優良的神經網絡模型。

同時對傳輸的梯度進行融合,對小于閾值大小的梯度多次傳輸合并為一次,提升帶寬利用率;另外在通信底層采用 NVIDIA 的 NvLink、P2P 等技術來提升節點內和節點間通信帶寬,降低通信時延。

一般情況下,在衡量分布式深度學習的加速性能時,主要有吞吐量和收斂時間兩個重要指標。而對開發者而言,最關心的指標也是收斂時間。內置的分布式深度學習技術使得華為云 ModelArts 訓練速度有了很大的提升,同時以全棧優化極大地縮短了訓練收斂時間。2019 年 5 月在斯坦福大學 DAWNBench 榜單中,華為云 ModelArts 就以 2 分 43 秒的成績獲得圖像識別訓練世界第一。

Top 5 圖神經網絡

現實世界中,大量數據都能被圖建模,但當前的深度學習還是以 CNN、RNN 等技術(對應圖像識別、文本挖掘等領域)為主。然而,這些技術其實并不能有效地處理圖結構數據,尤其是涉及到基因網絡、社交網絡、商品推薦等復雜應用場景。

而圖神經網絡(GNN)則可以解決這個問題,它借鑒了深度學習中卷積網絡、循環網絡和深度自編碼器的思想,進行表征學習(如節點嵌入和子圖嵌入),或者利用標簽和屬性信息,以半監督或純無監督的方式在端到端學習框架中訓練。

圖數據的復雜性對現有機器學習算法提出了重大挑戰,因為圖數據是不規則的。每張圖大小不同、節點無序,一張圖中的每個節點都有不同數目的鄰近節點,使得一些在圖像中容易計算的重要運算(如卷積)不能再直接應用于圖。

為此,華為提供了更易用的圖神經網絡平臺。據了解,該平臺在反欺詐、營銷推薦、3D 視覺方面的商業潛力不可小覷。

作為華為云 ModelArts 的關鍵新特性之一,ModelArts 圖深度學習的核心就是圖神經網絡技術,這也使得華為云 ModelArts“視力”優良,同時在 ModelArts 的高效神經網絡訓練算子的基礎上,結合 GES 既有的高性能圖計算框架平臺能力,充分利用圖引擎高并發、低延時的特點,將 GNN 的訓練過程高度并行化;使用統一架構實現了非監督的大規模圖嵌入(例如 DeepWalk, Node2Vec)和半監督的圖卷積(例如 GCN, GraphSage)等多類 GNN 算法,降低了系統的維護成本,也降低了開發者使用 GNN 算法的門檻。

Top 6 輕量級的云化集成開發環境

有了平臺,有了算法,開發者還缺少什么呢?當然是開發環境,而且還是隨時隨地可以 Code 的環境,華為輕量級的云化集成開發環境(Cloud IDE)正是滿足開發者 Code anywhere anytime 的法門。

可以說,華為 Cloud IDE 服務定義了一種新的在線編程體驗?;誑吹幕匝心諍?,Cloud IDE 結合代碼編輯器的輕量極速、快速文件和目錄訪問操作和多語言高亮顯示等特性和 IDE 的代碼調試和代碼理解的能力。

開發者可以在任意聯網的瀏覽器中快速開始編碼、測試和調試等開發活動,體驗和本地 IDE 一樣擁有高性能和快速的表現。同時內核還集成了華為的代碼分析、檢查能力和 AI 輔助編碼能力。尤其 AI 輔助編碼把傳統 IDE 的智能聯想功能提升到了智能的新高度,通過機器學習算法訓練特定語言模型,用戶的代碼上下文作為模型輸入,模型給出預測結果作為輸出,讓開發者編碼效率和代碼質量能得到海量提升。

簡單地說,借助 Cloud IDE 服務,開發者可以隨時隨地進行編程,即便是身在國外度假,即便沒有帶工作電腦,只要有一個能訪問瀏覽器的終端,即可隨時隨地解決線上生產環境緊急故障,避免臨時取消休假回去救火的窘境發生。

毫不夸張地說,Cloud IDE 正在成為廣大開發者云端開發的秘密武器?;詿訟羆際?,華為云 DevCloud 作為一站式云端 DevOps 平臺,能面向開發者提供更便捷的研發工具服務,讓軟件開發變得更加簡單高效。

Top 7 可視化全流程 AI 開發工程化技術

開發者都知道,在 AI 開發過程中,需經歷 AI 開發數據集準備、模型訓練、參數調整等一系列步驟,而當面臨調優迭代情況時,就很容易造成實驗過程難以追蹤、流程難以追溯等問題。

為了解決開發者從數據集管理到模型構建產生的諸多問題,全流程可視化就很有必要了?;墑踴鞒?AI 開發工程技術可實現對千萬級模型、數據集以及服務等對象的管理,無需人工干預,自動生成溯源圖,換句話來說,便是選擇任一模型,就能找到對應的數據集、參數、模型部署在哪里,你可以一目了然地將可視化訓練任務及結果進行比對。

作為搭載可視化全流程 AI 開發工程化技術的一站式 AI 開發平臺,華為云 ModelArts 提供 AI 開發全生命周期管理,從原始數據、標注數據、訓練作業、算法、模型、推理服務等,統統提供全流程可視化管理服務,大幅降低開發門檻、提升開發效率。

目前,華為云 ModelArts 已經適用于建筑、互聯網、醫療等諸多行業場景。例如, 在建筑業,ModelArts 能夠賦能質檢、巡查等場景, 如產品缺陷檢測、合規檢測、異常識別、安全穿戴等 ; 在互聯網行業,ModelArts 的智能數據標注技術及高性能大規模模型訓練, 大幅度提高模型開發效率、縮短模型開發周期 (從月到天)。

Top 8 多模分布式數據庫

隨著數字化轉型的深入,企業亟待解決的是數字化能力的提升。而企業如何提升數字化能力,或許就在于數據挖掘與數據處理的能力是否強勁。當大企業的數據存儲需求日益增長,單機數據庫無法滿足大企業的業務需求時,分布式數據庫便成了行業首選,為開發者提供以 100% 兼容開源接口、多模型一致運維,具備高性能、低成本、高可靠、高安全、易管理的特點。

華為云 Taurus 作為新一代企業級分布式數據庫,在解決海量存儲與極高并發性能場景上有著極具競爭力的技術優勢。而作為業界超強性能的分布式多模 NoSQL 數據庫,華為云 GeminiDB 則具備高性價比的優勢,為大型企業級業務保駕護航。


Top 9 智能化的軟件開發技術

經過幾十年的軟件開發,人們對軟件質量與效率需求正在不斷提升。高質量與高效率的開發要求之下,開發相關的數據(例如:代碼、文檔、檢視意見、測試用例、問題單等等)便顯得尤為重要。

如何才能獲得數據價值?工作重心便是通過利用機器學習技術對這些數據進行挖掘、清洗,并進一步將其與語法樹、數據流、控制流等基本分析技術,以及符號執行、抽象解釋等高級軟件分析技術,甚至是自然語言技術相結合,并且還能在這個過程中將其中包含的各種開發知識復用起來。這樣就不簡單了。

經過幾十年的軟件開發實踐,華為積累了與開發相關的大量數據,通過各種具體工具的支持,華為智能化的軟件開發技術可以幫助開發者降低開發過程中低價值、重復性的勞動,例如自動發現常見的編碼錯誤,對部分錯誤給出修復好代碼,自動對多人編碼過程產生的沖突進行消解,在某些場景下,甚至自動生成一些高價值的代碼,幫助定位運行錯誤等等。

基于此,華為云 DevCloud 可以讓開發團隊隨時隨地在云端進行項目管理、代碼托管、代碼檢查、編譯構建、測試、部署、發布等,大幅提升了個人和團隊的交付能力和效率,提升自動化運維質量,幫助軟件企業提高競爭力。

Top 10 LiteOS IoT Stack 技術

不得不說,物聯網的出現將以往人與物、物與物的連接方式重構。在 5G 浪潮的推動下,萬物互聯的世界將加速到來。但從目前的整體進程看,物聯網產業仍處于成長階段,技術突破、行業融合、規模應用等方面都還存在較大的發展空間。面對物聯網帶來的巨大發展機遇和挑戰,Huawei LiteOS IoT Stack 技術應運而生。

該技術遵循 BSD-3 開源許可協議,具備輕量級、低功耗、端云協同、即插即用、組件豐富、快速開發等關鍵能力,能夠基于物聯網領域業務特征打造領域性技術棧,為開發者提供“一站式”完整軟件平臺,有效降低開發者的開發成本和難度、縮短開發周期。

基于 Huawei LiteOS IoT Stack 技術,華為打造了 OceanConnect IoT 平臺。簡單來說,OceanConnect 是華為云核心網推出的以 IoT 聯接管理平臺為核心的 IoT 生態圈?;諭騁壞?IoT 聯接管理平臺,通過開放 API 和系列化 Agent,它能夠實現與上下游產品能力的無縫聯接,為客戶提供端到端的高價值行業應用。目前,LiteOS IoT Stack 通過開放生態快速打造了行業標桿,在智慧消防、智慧水務、智慧物流、智慧園區等場景都已有成功實踐的案例。

結 語

AI、5G、云計算、大數據等技術都在快速發展,華為也一直未停下創新的步伐。在為千行百業打造技術底座這件事上,華為無疑是最用心的企業之一。現在,基于這 10 大嚇人技術,華為勢必能為開發者以及各行業構建出更強大、高效的技術產品與解決方案矩陣,為構建萬物互聯的智能世界持續賦能。

9 月 18-20 日,華為面向 ICT 產業的全球年度旗艦級大會——2019 華為全聯接大會(HUAWEI CONNECT 2019)將在上海世博中心開幕。9 月 20 日,更有以開發者為主角的 Keynote 演講及百場 Session,上述提到的華為面向開發者的“十大嚇人技術”,都可以在百場 Session 中找到,屆時也會有來自技術大咖們更全方位的解讀。
歡迎分享本文,轉載請保留出處://www.fgpgdy.com.cn/thread-568679-1-1.html     【打印本頁】
您需要登錄后才可以發表評論 登錄 | 立即注冊

云达不莱梅威悉球场 www.fgpgdy.com.cn

廠商推薦

相關視頻

關于我們  -  服務條款  -  使用指南  -  站點地圖  -  友情鏈接  -  聯系我們
云达不莱梅威悉球场 © 版權所有   京ICP備16069177號 | 京公網安備11010502021702
回頂部