【好文分享】構建從邊緣到雲的人工智能基礎設施

來源: https://reurl.cc/mLEMGA 

簡介

隨著業務運營速度不斷加快，客戶期望持續提升，對許多企業和機構而言，越來越多的决策必須從總部下放到其他位置。無論是在車間現場與客戶打交道，還是在繁忙的生産綫上工作，每個員工都需要洞察和信息來實時做出重要决策。有時，這些决策可能需要完全自動化完成。越來越多的决策正在基于邊緣生成的數據。事實上，邊緣采集的數據量十分龐大。Gartner 預測，到 2025 年，將有多達 75% 的企業數據會在傳統數據中心以外生成¹。將計算能力安排在更靠近數據産生的位置可以實現新的實時用例，甚至可以從敏感數據中創造新的收入來源。實現這一目標離不開三種技術的有效結合：邊緣計算、雲和人工智能 (AI)。雖然這三種技術分別都能帶來價值，但如果企業可以做到在整個基礎設施中整合這些技術幷實現全方位從邊緣到雲的智能，則更有可能取得成功。這就像一個良性循環。邊緣越來越多的設備和算力將生成更多數據，從而支持更複雜的人工智能用例。反過來，這又將産生更多洞察，這些洞察可以通過雲傳輸到整個企業和機構，幷用于進一步優化未來的數據收集和分析。

從邊緣到雲的人工智能：定義

• 邊緣：邊緣計算是指將傳輸、存儲和處理數據的資源安排在更靠近數據源或服務交付點的位置。這樣一來，企業可以减少時延，改善體驗，優化總體擁有成本，符合數據局部性要求幷獲得可以指導行動的洞察。
• 雲：通過雲計算，您可以在數據中心或通過公有雲服務提供商遠程訪問計算、存儲和網絡資源。
• 人工智能：人工智能包含一系列廣泛的、旨在模擬人類能力（如感知、邏輯、學習能力等）的計算機科學。結合使用不同的人工智能技術（如深度學習和强化學習）以推動一般化的智能發展是該領域當前的一個新興趨勢。

邊緣包括所有遙遠的服務核心（即數據中心或雲）以外的數據收集、處理、存儲和通信。在本文中，我們將廣義的邊緣概念分爲兩部分：

• 邊緣設備：生成或使用數據的單一用戶資産，如無人機、可穿戴設備、智能手機、智能音箱、工業傳感器、智能攝像頭等。
• 邊緣基礎設施：從不同來源提取多個數據流的設備，比如網絡錄像機、網關、本地服務器、超融合邊緣基礎設施（或“一體式數據中心”）等。

本文將探索企業和機構從邊緣到雲的人工智能之旅，探討人工智能的運用方法與場景，以及背後的技術支持。

雲端人工智能用例

如果說邊緣人工智能提供的是微觀層面的洞察，那麽在雲端運行人工智則能使企業和機構在宏觀層面創建更加深度的智能。通過使用雲，他們可以運用更大的數據集，這些數據往往來自基礎設施中的多個站點或外部來源。隨著時間推移，就能對趨勢和規律形成全面透徹的認識。

雲端人工智能用例示例：語言識別

語音和文本識別（即自然語言處理）可支持多種用例，比如爲客戶提供服務的自動聊天機器人，或者爲客服中心員工提供實時支持。語音識別軟件提供商科大訊飛爲衆多行業提供基于語音的雲解决方案。

邊緣人工智能用例: 如今，邊緣人工智能是推動許多行業衆多創新轉型用例的關鍵助力。

邊緣設備人工智能用例示例：零售業

通過爲商店內的設備集成人工智能功能，零售商可以增强顧客體驗，更高效地利用空間幷加强庫存管理。機器視覺能够讀取編碼、文本和數字，從而幫助管理、追踪和分析庫存水平，確保有需要的人員能够掌握關鍵資料。互聯、智能的響應式數字標牌可以根據顧客行爲與喜好爲顧客推薦優惠或産品，幷幫助零售商瞭解他們傳遞的訊息何時真正起到了作用。自助服務設施 (英文)，乃至完全自動化的無人商店可爲顧客提供一系列服務，從而幫助打造個性化、零接觸的順暢零售體驗。與此同時，機器學習可以分析以流媒體方式傳輸到本地邊緣網關的購物者視頻片段，幫助實時識別潜在犯罪行爲。

邊緣基礎設施人工智能用例示例：醫療

在醫療領域，人工智能有許多潜在用途，醫療影像就是其中頗受歡迎的一種。每天會産生成千上萬的醫療影像，如 CT 掃描、X 光和 MRI，每個影像都需要仔細分析來發現其中异常，實現準確診斷。通過在采集點實施深度學習功能，飛利浦已經能够將 CT 掃描成像速度提高 188 倍²，幫助臨床醫生更快地診斷和治療患者。

從邊緣到雲的人工智能基礎設施基本要素

如今，許多企業和機構已經開始利用人工智能，但通常是以相對零散的方式加以利用。個別的項目固然可以帶來寶貴成果，大大提高業務價值。然而，采取進一步行動，在整個企業和機構層面實現端到端的人工智能則可以顯著加速幷擴展這些優勢，還能帶來一系列新機遇。

在整個企業內廣泛實施人工智能時，務必要確保基礎設施的三大要素——邊緣設備、邊緣基礎設施和雲——均有能力支持人工智能。這些能力具體包括：

• 高性能：人工智能工作負載往往計算密集度高，因此在進行人工智能訓練或推理的地方，必須具備强大的計算性能。
• 低時延：人工智能的一個優勢在于能够支持實時决策。通過將部分人工智能工作負載遷移到邊緣，可以降低計算、存儲和網絡的時延。
• 高容量：人工智能依賴大量數據，因此，確保計算、存儲和內存容量能够勝任這項任務，就可以避免運行人工智能的基礎設施遇到瓶頸。
• 可靠的安全性：人工智能工作負載不僅需要大量數據，而且這些數據往往較爲敏感（例如，醫療或公共安全行業的數據）。無論是何種人工智能工作負載，運行所用的設備和軟件必須安全可靠。

英特爾提供的技術和解决方案使企業和機構能够支持從邊緣到雲的人工智能工作負載，同時滿足這些總體要求（見圖 1）。面向人工智能的英特爾® 邊緣技術解决方案能够在各類設備上實現高性能推理，包括本地服務器、PC、攝像頭、機器人和無人機等。我們的 CPU、VPU 和 FPGA 産品組合已針對低時延推理進行調優，利用全新的網絡、內存和存儲技術幫助突破數據瓶頸。

邊緣設備

邊緣設備通常較小（例如，智能手錶或智能攝像頭），幾乎沒有空間容納又大又重的組件。而且它們通常需要依靠有限的電源供電運行，這意味著所有硬件必須要高效利用空間和電能。但是，爲了在這些設備上支持人工智能工作負載，它們還必須提供高性能

雖然邊緣設備可以且經常完全獨立運行，幷主要執行人工智能推理工作負載，但在有些用例中，將多個邊緣設備連接起來，實現聯邦學習，從而進行人工智能訓練將更有裨益。這樣一來，邊緣設備可合作學習一個共享的預測模型，同時所有訓練數據都在設備上，就不必將所有學習數據存儲在雲端。這也能在人工智能模型的訓練中發揮作用，因爲設備會下載新模型，基于設備上的數據學習，然後在一個小型集中的更新中反饋變更。隨後，該更新可以加密發送到雲端，幷在雲端幫助改進共享的模型。借助這種聯邦學習的方法，所有數據均可保留在設備本地，從而幫助確保數據安全性。

用例示例：機器人原型幫助抗擊新冠疫情

在美國，機器人使用紫外綫 (UV) 幫助對醫院表面進行消毒 (英文)。紫外綫能够有效殺死病毒，但也會對人類造成傷害。機器人利用人工智能在醫院導航，先檢查所在空間沒人，再發射出紫外綫，快速全面地對大空間進行消毒。這有助于確保整個醫院的安全，同時儘量保持繁忙區域開放，以供使用。

這種機器人采用了英特爾® Movidius™ VPU，一款專爲計算機視覺和深度學習推理打造的人工智能加速器。該加速器將計算機視覺、攝像頭圖像處理和人工智能深度學習推理集成到了一個獨立的片上系統 (SoC) 中。這意味著，它可以作爲邊緣設備獨立部署，直接在設備上實現强大的識別和計算機視覺分析功能。而當它與主機 CPU 共同部署在邊緣或雲端時，英特爾® Movidius™ VPU 還能提供强大的深度學習加速。對于可以實時查看、處理視頻信息幷對信息進行編目的網絡錄像機等應用而言，這可以幫助加快媒體處理與圖像分析。
                
用例示例：計算機視覺助力自動車牌識別

智能攝像頭能够帶來巨大價值，可幫助自動執行重複性的日常任務，從而解放員工，使他們專注于解决更複雜的挑戰。由英特爾® AI Builders 成員 Wahtari (英文) 開發的基于人工智能的車牌識別解决方案就是一個典型範例。攝像頭在英特爾® Movidius™ VPU 和英特爾淩動® 處理器上運行。其低功耗和高性能的特性意味著攝像頭不僅高效節能，還具備在邊緣運行複雜的人工智能工作負載所需的計算能力。英特爾淩動® 處理器支持高分辨率超高清 4K 和高幀率 (FPS) 多媒體流處理。當與英特爾® Movidius™ VPU 這樣的加速器結合使用時，英特爾淩動® 處理器也可爲深度學習工作負載提供低功耗且經濟高效的支持。最終，Wahtari nLab 人工智能訓練平臺能够以每秒 45 幀的速率提供人工智能推理，每小時可檢測超過 7,000 個車牌。

Wahtari 解决方案的構建使用了英特爾® 分發版 OpenVINO™ 工具包。該工具包基于卷積神經網絡 (CNN)，支持開發和加速可模擬人類視覺幷在各種英特爾® 硬件上運行的應用。

邊緣基礎設施

如果硬件以邊緣集群或網絡服務器等形式支持更全面或複雜的邊緣計算，它們所依賴的組件性能往往高于獨立邊緣設備。爲了支持其指定用例，它們也可能根據需要使用安全或連接功能。英特爾® 邊緣技術解决方案提供靈活性，無論是從零開始還是在現有基礎上開發，都可無縫添加對邊緣人工智能的支持。

用例示例：計算機視覺幫助保障公共安全

計算機視覺和人工智能可以幫助政府和運輸公司等大型企業和機構確保公共安全與便利。例如，工程和設計公司 Klas Telecom (英文) 爲鐵路行業開發了一款基于計算機視覺的解决方案，支持十字路口的行人與車輛檢測，車上空位檢測以及入侵者檢測。這有助于維護公共安全與安防，同時使員工專注于最需要他們關注的問題或風險。

Klas Telecom 解决方案使用了第十代英特爾® 酷睿™ i7 處理器。該處理器提供高性能，可運行複雜的邊緣人工智能工作負載，同時保持高能效。其深度學習算法的構建也使用了英特爾® 分發版 OpenVINO™ 工具包，利用通用 API，幫助在异構英特爾® 架構中加速從邊緣到雲的人工智能工作負載。

用例示例：邊緣機器學習幫助提高産品質量

在製造業和工業領域，邊緣計算蘊含巨大潜力。奧迪的內卡蘇爾姆工廠每天要組裝多達 1,000 輛汽車，每輛汽車大約有 5,000 個焊點。如果每天都要人工檢測上百萬個焊點，不僅成本高昂，耗時耗力，也不太現實。奧迪制定了目標，希望以超高精度實現焊點全檢。爲實現這一目標，奧迪使用機器學習算法、英特爾® 工業邊緣洞見軟件包和 Nebbiolo 邊緣平臺簡化數據分析。最後，開發出的解决方案可基于焊槍控制器數據實現自動檢驗。奧迪成功將人工成本降低 30%-50%，讓員工有更多時間從事公司內其他更有價值的工作。最終，工廠以 18 毫秒的單次焊接檢測時延水平將焊接檢測效率提高了 100 倍。

該解决方案由集成英特爾® 深度學習加速技術的全新第三代英特爾® 至强® 可擴展處理器提供支持，該處理器能够爲人工智能工作負載提供集成的性能加速，爲敏捷、可靠且可擴展的邊緣奠定基礎。

用例示例：計算機視覺爲精細的環保工作提供支持

一些瀕危動物的栖息地環保人員難以進入，而智能攝像頭和視頻分析則有望幫助監控與保護這些栖息地。例如，監控珊瑚礁通常需要潜水員直接下水收集數據，或手動拍攝珊瑚礁的視頻或圖像，供日後分析。這些方法雖然可靠，但潜水員可能會干擾野生動物行爲，無意中影響研究結果。此外，數據采集也很有限，因爲潜水員一次只能在水下安全停留大約 30 分鐘。菲律賓的 CoRaiL 項目利用智能攝像頭和視頻分析來研究珊瑚礁的韌性 (英文)，解决了這些問題。

攝像頭采集的數據在埃森哲的視頻分析服務平臺上進行分析，該平臺由英特爾® 至强® 可擴展處理器和英特爾® Movidius™ VPU 提供支持，幷采用通過英特爾® 分發版 OpenVINO™ 工具包開發的算法。此外，該解决方案還使用了英特爾® 現場可編程門陣列（英特爾® FPGA）進一步加速其人工智能工作負載。這些組件猶如可修改的空白畫布，可以多次調整，從而滿足不同目的。這在邊緣人工智能等高吞吐量、低時延應用中尤爲寶貴。

用例示例：語義數據湖和人工智能推動主動治療

人工智能的繁榮發展要依靠大型數據集。醫療行業會産生許多大型數據集。每天，醫學影像和基因組測試等都會生成海量數據。位于紐約布朗克斯區的蒙特菲爾醫療中心 (英文) 構建了一個語義數據湖架構來容納其所有數據。該結構將蒙特菲爾的數據存儲與各個本體數據庫相結合，定義了超過 250 萬條術語以及術語之間的關係。如此一來，運行分析時，不同來源、不同格式的數據都會被考慮在內。

這個解决方案叫做“以患者爲中心的數據分析機器學習 (PALM) 平臺”，基于英特爾® 至强® 可擴展處理器和英特爾® 傲騰™ 固態盤（英特爾® 傲騰™ SSD）運行。這些設備旨在幫助打破內存和存儲瓶頸，可以實時提取和組織邊緣數據，幷將邊緣數據分發到人工智能管道。這些設備可以經配置用作高速存儲，也可以用于擴展系統內存，這意味著該系統有能力成爲語義數據湖的動力源。

蒙特菲爾首先在 PALM 平臺上運行了一個幫助在醫院裏識別存在高呼吸衰竭或死亡風險患者的機器學習模型。下一步，蒙特菲爾計劃將更多預測性人工智能用例應用于該平臺，包括將患者更高效地分流至對應診治區域、預測會浪費寶貴醫療資源的預約未到情况、以及預測和分配醫院床位，從而更有效地接待患者，縮短住院時間。

面向開發人員的邊緣就緒型人工智能工具包

分布式邊緣解决方案十分複雜，開發難度非常高。英特爾致力于推動開放標準幷支持容器化和雲原生開發，從而幫助開發人員簡化他們的工作流程幷加快部署分布式邊緣解决方案。

我們的全棧式優化軟件基于開放標準和接口構建而成。例如，英特爾® 分發版 OpenVINO™ 工具包可支持深度學習應用的開發，這些應用對于邊緣計算機視覺用例必不可少，而英特爾® 分發版 Python 則可幫助在英特爾® 平臺上爲機器學習提供高速應用性能。

對 TensorFlow、Keras、PyTorch、oneDNN 和 BigDL 等常見的庫和框架的支持則可面向一系列人工智能工作負載實現快速應用開發。例如，英特爾® AI Builders 成員 Taboola 就使用 TensorFlow Serving (TFS)[1] 框架構建了定制推理解决方案。Taboola 與英特爾合作，在英特爾® 至强® 可擴展處理器上使用面向深度神經網絡的英特爾® 數學核心函數庫（英特爾® MKL-DNN），成功優化幷顯著加速了其定制 TensorFlow Serving 應用。

雲

雖然人工智能在邊緣的用例越來越多，但雲端仍將繼續發揮重要作用。例如，人工智能模型可能要在雲端訓練，才能訪問更多和/或更大型的數據集，幷且利用更大的算力池。訓練完畢後，這些模型可以推廣到邊緣服務器或單個設備，從而在生成或收集新數據時對新數據進行推理。

同時，邊緣的重點數據也可以返回到雲端。通過把來自多個邊緣位置的數據整理到雲端的集中位置，企業和機構可以建立豐富的數據資源，從而掌握對整個基礎設施運行的可見度。針對這些數據運行人工智能可幫助識別和預測更宏觀的趨勢，或提供更深層次的商業洞察。

用例示例：人工智能幫助擴展元數據管理和搜索

記錄所有數據從而讓數據可搜索、可管理且可擴展是許多行業的企業共同面臨的挑戰。全球 IT 服務提供商 phoenixNAP 提供了一項服務，使用人工智能來幫助其客戶跨多雲環境更高效地存儲、搜索和分析數據與元數據。

現在，phoenixNAP 的客戶可以將其數據存儲在橫向擴展的對象存儲，而非內存，幷在英特爾® 傲騰™ 持久內存（隨英特爾® 至强® 可擴展處理器一起提供）中緩存熱數據，從而加速性能。英特爾® 傲騰™ 持久內存爲邊緣服務器提供多達 3 倍的每節點存儲容量，同時還可大幅降低數據時延³。在 phoenixNAP 的案例中，與將解决方案托管在超大規模雲環境中相比，該技術幫助將時延降低了 80%，索引速度提升高達 3 倍⁴。

英特爾® 技術和人工智能：共同發展

全新第三代英特爾® 至强® 可擴展處理器改進了英特爾的四路到八路處理器基礎，爲深度學習等融合了人工智能技術的數據密集型雲服務提供額外支持。第三代英特爾® 至强® 可擴展處理器中，英特爾® 深度學習加速技術的發展使其率先成爲提供集成 bfloat16 指令的一款通用服務器 CPU。對于圖像分類、語音識別和語言建模等應用，這將擴大主流人工智能訓練的可部署範圍。此外，在八路配置中，英特爾® 傲騰™ 持久內存 200 系列支持多達 36 TB 的內存，幫助在醫療或地震成像等大型高價值數據結構上加速人工智能推理。

整合人工智能環境的方法

對于任何人工智能計劃，站在戰略高度去進行從邊緣到雲的開發都至關重要。與客戶合作時，我們建議遵循以下 4 大步驟：

• 建立堅實的基礎：各利益相關方應協同一致，致力于實現應對實際業務需求的共同目標。無論您計劃在哪裏部署，確保您所提出的人工智能用例具備强有力的商業邏輯。
• 整理幷列出您的數據管道：確保數據戰略和人工智能需求是相一致的。清楚瞭解您需要哪些數據，以及這些數據將來自哪裏。制定計劃，確保在正確的位置和時間提取、存儲、處理和分析所有數據。
• 開發您的人工智能模型：您可以利用大量現成的工具包、庫、框架和軟件優化來簡化該流程。
• 部署您的人工智能工作負載：正確組合經優化的硬件、網絡和應用進行部署。

以下電子指南詳細介紹了這些步驟以及應對各個階段工作的建議：輕鬆開啓人工智能之旅

安全性

隨著 IT 環境不斷發展且日益複雜，保護 IT 環境既是當務之急，也將成爲未來的重中之重。敏感數據和工作負載無論部署在基礎設施的什麽位置、在哪兒傳輸或使用，必須始終受到保護。這意味著您需要確保數據中心和邊緣設備能爲本地工作負載提供集成的强大安全性，同時，在混合雲環境中，雲服務提供商 (CSP) 也要能够達到此類要求。此外，還要讓最終用戶盡可能察覺不到這些保護措施。每位員工應該能够在各自選擇的設備上訪問和使用所需數據，工作效率不受影響。

英特爾與業內的主要安全公司、CSP 和獨立軟件供應商 (ISV) 密切合作，開發深入芯片級別且支持整個從邊緣到雲的基礎設施 (英文) 的定制安全解决方案。我們的安全技術符合現行標準和基準測試，比如由美國國家標準與技術研究院 (NIST) 制定的標準。

其中，關鍵的英特爾® 安全技術包括：

• 英特爾® 軟件防護擴展（英特爾® SGX）(英文)：英特爾® SGX 是一組指令，能够加强對使用中的應用代碼和數據的保護。應用開發人員可以使用該組指令在CPU 內存中創建可信執行飛地 (TEE)。只有在 TEE 內部，數據和代碼才不加密，幷由通過密碼獲得許可的應用進行處理。在發布之前，還要再次加密。TEE 與操作系統、虛擬機管理程序和 BIOS 服務器等其餘環境相互隔離，這有助于防止任何人訪問飛地內的數據和代碼，無論是應用開發人員、系統管理人員、服務器所有者還是 CSP，均無法訪問。
• 英特爾® 控制流强制技術（英特爾® CET）(英文)：英特爾® CET 提供CPU 級別的安全功能，幫助防禦常見惡意軟件攻擊方法。要想緩解這些攻擊，單靠軟件是難以實現的。許多惡意軟件廣泛使用的攻擊手段是通過控制流劫持攻擊濫用的合法代碼，這正是這項技術主要解决的問題。英特爾® CET 爲軟件開發人員提供兩個關鍵功能，幫助防禦控制流劫持惡意軟件。間接分支跟踪提供間接分支保護，幫助防禦面向跳轉或呼叫的編程 (JOP/COP) 攻擊方法。影子堆棧提供返回地址保護，幫助防禦面向返回的編程 (ROP) 攻擊方法。
• 英特爾® 全內存加密（英特爾® TME）(英文)：英特爾® TME 對全系統內存(DRAM) 進行加密，從而加强對中介層攻擊、噴灑冷凍劑、DIMM 移除等物理攻擊的防禦。該技術通過 CPU 提供的單個密鑰，在系統 BIOS 內直接啓用，只需消耗少量內存性能。英特爾® TME 使用 AES-XTS（一個基于 NIST 標準的“存儲類”算法）來加密整個內存。在數據寫入平臺內存之前就先行加密，再在讀取時解密，這樣就可以對軟件保持透明。該技術易于實施，不需要借助操作系統 (OS) 或應用的支持。

加速實現從邊緣到雲的人工智能

從構建商、集成商、雲和網絡提供商到開發人員，在整個邊緣價值鏈中，英特爾深耕數十年，積累了豐富經驗。我們確保用例一致，解决了常見的集成難題，幷依托不斷優化和創新的成熟開發人員生態系統提供數百個預配置軟件包。利用該生態系統可縮短開發時間，更快地獲得成果：

• 可立即部署的企業人工智能解决方案：英特爾® AI Builders(英文) 爲成員提供超過300 個全球主要人工智能軟件、硬件和服務提供商以及 150 多個解决方案資源，其中涉及各種用例和各個市場，使所有企業都能快速采用人工智能。
• 確保高水平的人工智能部署：面向人工智能的英特爾® 精選解决方案(英文) 利用已在英特爾® 至强® 處理器上進行優化幷通過了嚴格的基準測試和驗證的解决方案，幫助您簡化和加快基礎設施部署。
• 减少開發和協作挑戰：英特爾® AI：in Production利用英特爾® 技術、軟件工具、開發套件、代碼樣本和我們生態系統的解决方案，幫助加快人工智能走向生産之路。

更多信息

• 解决方案簡介：面向在 Apache Spark 上運行的 BigDL 的英特爾® 精選解决方案(英文)
• 解决方案簡介：面向人工智能推理的英特爾® 精選解决方案
• 網頁：www.intel.cn/ai
• 網頁：人工智能成功案例
• 網頁：www.intel.cn/cloud