署門

華為云開源HiLensFramework邊緣計算部

署門檻再次降低

作者：鄒玉澤

來源：《計算機與網絡》2020年第19期

近日，在HUAWEICONNECT？2020期間，華為云CTO張宇昕宣布HiLensFramework

開源。HiLens是業界首個端云協同多模態AI應用開發框架，以簡潔統一的API降低AI應用

開發者的上手難度，在保持高性能的前提下，簡化開發者工作量。HiLensFramework則為開發

者提供了一套開發工具，讓開發者不必重復制造輪子，直接調用相關模塊的API，即可規范快

速地開發出高性能的端云協同多模態AI技能和應用。

現代生活中，很多地方都有AI應用落地的場景和例子。比如在線下零售門店中，可以通

過攝像頭精準識別用戶，實現千人千面的個性化定制服務。在無人車比賽中，高速行駛的無人

車通過快速識別圖像，實現實時推理，做出準確決策；在家里，具備AI能力的攝像頭，可以

實時看護老人和兒童的狀態，一旦發生意外，就能第一時間發出警報；在各行業中通過OCR

文字快速智能識別各種文本和票據等。

這些應用場景中，有些數據敏感且要求實時處理響應，但往往因為網絡不夠穩定，無法上

傳到云端處理，因而采用端云協同方式，結合云上高效開發和邊端側的敏捷快速部署，既能保

證AI計算的性能，又能兼顧用戶隱私訴求，更加快捷高效。

但如何實現圖像、聲音等數據的端云協同AI計算呢？很多方案都存在AI運算能力不強、

難以實現復雜的定制化功能、初學者上手難度太大以及部署繁雜等缺點，無法在工業或商業用

途中大規模落地應用。

華為云關注到這種用戶需求，在2018年的華為全聯接大會上，推出了業界首個端云協同

多模態AI開發應用平臺HuaweiHiLens，支持視頻、音頻、圖片、紅外等多模態數據的AI應

用開發、AI應用在線部署以及海量設備管理等，能夠對接多種端側計算設備，為諸多場景的

AI應用提供了更大的發揮空間。

HuaweiHiLens發布兩年后的今天，華為云宣布開源HiLensFramework，10min即可學會

開發技能；性能普遍提升3倍，代碼量減少80%，開發周期縮短70%，開發成本降低90%。

以音頻解碼+片段截取+預處理的代碼撰寫為例，基于TensorFlow/OpenCV需要100+行，

而采用HiLensFramework則只需3行；以模式初始化+推理的代碼撰寫為例，基于

TensorFlow/OpenCV往往需要20+行，采用HiLensFramework則只需2行。

此次HiLensFramework開源，涉及了音視頻輸入、媒體處理、模型推理、資源管理、日

志系統、EI服務接口以及輸出管理等功能模塊，通過HiLensFramework開發的AI應用可移植

運行到任何基于Ascend310設備上，提供常用語言Python和C++接口，符合AI開發者的開發

習慣。

HiLensFramework的開源，能夠很好地幫助開發者快速定位AI開發中的問題，進而快速

解決問題，實現端云協同AI的快速開發和落地。同時，將吸引更多的外圍設備輸入、輸出，

更多的外圍工具集成等，更將匯聚開發者力量，豐富完善HiLensFramework集成能力，擴大

HiLens端云協同影響力，同時拓展華為昇騰生態和華為云生態。

10倍提升開發效率，加速AI應用落地

AI應用開發框架HiLensFramework是打通端云協同的重要技術環節，與開發環境HiLens

Studio、管理平臺和多模態AI技能市場一起，大大加速了開發者的開發效率，幫助行業快速構

建設備端與云上能力高效協同的HiLens智慧解決方案，通過HiLens？Kit、Atlas500智能小站

以及第三方商用攝像頭等端側設備，提供了高效易用、成本低廉的AI應用開發方案，能夠快

速部署于商超、園區、家庭及工業等應用場景。

AI落地使用邊緣計算的應用場景時，往往場景數據存在差異，難以用一個AI模型達到最

佳性能。華為云HiLens與邊緣云創新lab技術合作，推出難例上傳與ModelArtsProHiLens套

件結合的增量學習模板，實現了對模型的增量訓練，使得AI模型在具體應用場景中越用越聰

明。

例如，某工廠出于安全原因，采用視頻監控智能檢測現場人員安全帽佩戴情況。項目部署

方在HiLens技能市場檢索后發現，這一應用場景已有基礎模型，直接購買安裝后先搭建出基

礎的技能；再通過HiLensFramework的接口將難以識別的部分數據篩選出來，上傳到自己賬

戶下的云端存儲，借助ModelArtsProHiLens套件，在基礎模型上增量訓練，使得模型越用越

聰明，最終訓練出符合該工廠環境的模型，實現根據具體應用場景的模型定制化。在這一過程

中，該工廠僅用800張安全帽檢測實踐數據，就將模型精度從80%快速提升到90%，漏檢率

從25%下降到10%，通過幾次難例上傳與迭代，部署時間從計劃的3個月縮減到1個月，有

效推進了行業應用落地。

端云協同拓展新生態

HiLensFramework的開源如水到渠成，不止向開發者提供了一個AI應用的高效開發框

架，還進一步推動了華為云HiLens與華為云ModelArtsPro視覺計算AI平臺的結合，形成一

整套的AI模型訓練、應用開發和分發部署的端云協同管理平臺。

當HiLens用戶通過HiLensFramework連接到ModelArtsPro，就進入了一個更加廣闊的

AI世界，聯接了從昇騰芯片、MindSpore開發框架，再到華為全棧全場景AI解決方案，以及

華為不斷積累的各行業AI經驗。

此次HiLensFramework的開源，如同一條金線，一頭串起華為云的云端AI能力，另一頭

串起更多AI場景，讓云端協同的邊緣計算更易于部署落地，推動AI更加普惠，在開發者的共

同推動下，AI將拓展到日常生產、生活的方方面面，和每個人都息息相關。