下面我們從7個方面，展開闡述英特爾如何從性能、數據預處理、可擴展性、內存、模型部署、大數據分析、跨平臺部署應用等多方面實現優化和升級，全面支持企業AI的 規模化應用落地。

很多人可能都認為AI這種新出現的技術，或者說應用負載，也應該用新的架構來支撐，其實不然。實際上隨著 CPU 性能的數量級提升，以及在軟硬件層面針對AI應用的不斷優化，CPU平臺也能很好地承載 AI 應用?，F在CPU 能兼容幾乎所有的 AI 主流技術，深度學習的應用任務，特別是推理，完全可以用 CPU來搞定。而且CPU還有一個特定的優勢，就是當用戶混合使用機器學習和深度學習方法時，CPU更適合承載這樣的任務。

不斷更新換代的英特爾CPU平臺，已經在AI應用特別是推理上提供了強大的算力。以第二代英特爾®至強®可擴展處理器為例，它集成了加速人工智能深度學習推理的英特爾®深度學習加速（英特爾®DL Boost）技術，將人工智能性能提升到一個全新的水平，可加速數據中心、企業和智能邊緣計算環境中的人工智能推理工作負載。以常見的 Caffe Resnet-50 模型為例來看性能變化，第二代英特爾®至強®鉑金8280處理器借助英特爾DL Boost技術，圖像識別的速度可比上一代英特爾至強可擴展處理器提升14倍。

另外，英特爾CPU平臺還與各類主流深度學習框架 （包括 TensorFlow、PyTorch、caffe 、MXNet、PaddlePaddle、BigDL 等）合作，針對CPU的AI訓練和AI推理功能進行全面優化，Xeon處理器訓練性能因此得到不斷提升，客戶也可以選擇使用適合自身需求的深度學習框架做模型訓練，而無需購買或者設置不同的硬件基礎設施。

隨著軟件工具的不斷更新及面向主流框架的深度優化，CPU 平臺不論是支持基于單一 AI 技術的應用，還是在運行融合了多種 AI 技術的應用時，其性能表現都更為突出。對于全新硬件架構的每一個數量級的性能提升潛力，軟件能帶來超過兩個數量級的性能提升。以第二代英特爾至強可擴展處理器上的VNNI深度學習加速指令為例，過去卷積神經需要三條指令，而現在的話一條指令就可以了，通過在底層的軟硬件協同優化，可根據不同深度學習框架將推理性能加速2-3倍甚至更多。

盡管當前市場對于AI技術抱有很大興趣，但實施水平仍然相當低下。我們需要根據應用需求構建起完整的數據分析/AI流水線，從高質量數據源整理、數據預處理與清洗、適當特征數據的選擇與構建等前期工作開始，這就要求數據工程師、算法工程師等協同工作。

算法工程師往往要花很多時間，來處理用于深度學習模型訓練和測試的龐大數據，數據預處理會涉及很多很零碎的事情，比如校對數據的標注是否符合某種邏輯。在進行數據預處理時，所寫的代碼不一定是執行起來效率最高的，因為有可能這些零碎的校驗數據功能只用一次，而不是反復使用。在這種情況下，可以使用方便快速實現功能的 Python 語言調用 CPU 來實現，而且基于 CPU 有很多現成的包和工具，具有更快數據預處理的優勢。CPU還可以通過使用更多內存、減少I/O 操作來提升AI運行效率。

如今的深度學習和AI領域，優秀的算法和框架數不勝數，但英特爾開源的BigDL和采用了這一技術的Analytics Zoo平臺選擇了一個頗具獨特性的切入點，那就是專為已有大數據集群的場景設計。目前，來自零售業、金融服務行業、醫療保健業、制造業及電信業等領域的企業客戶都已經開始在英特爾至強服務器上利用Analytics Zoo、或基于BigDL構建更為平滑無縫的數據分析-AI應用流水線。

在深度學習和機器學習領域，不管是模型訓練還是推理，為了分配和部署計算能力，常常需要基于現有的 IT 基礎設施或者云平臺進行硬件擴展。目前一些專有的AI架構平臺只能以卡或芯片為單位來管理和擴展，而英特爾至強平臺不僅更容易在更多節點上擴展，還能按核實現彈性的擴展和調配，能真正做到精細化的資源管理和調配。這使得AI平臺可以盡可能通過云化來提高靈活性，提升自動化管理水平，并充分利用到每個計算核心的價值等。換句話說，現在的基礎設施就是為可擴展性而搭建。

比如有開發者指出，在新一代Skylake-SP微構架芯片設計上，英特爾首次開始采用了全新網格互連構架（Mesh Interconnect Architecture）設計方式，從傳統的利用環形連接，到了新設計則全面改采用網格互連的方式，來進行資料存取與控制指令的傳送。因為最小單位可以是以每行、每列來連接，所以每顆 Skylake-SP 核心、緩存、內存控制器及 I/O 控制器之間的路徑選擇變得更多元，還可以跨不同的節點互連，以尋找最短的數據傳遞捷徑，即使是加大核心數量，也能夠維持很快存取數據，并支持更高內存頻寬，以及更高速的 I/O 傳輸。

不論是AI訓練還是推理，靠近計算單元的內存或者說較高速的數據緩存都非常重要。在 AI 分析中，它們對訓練中的神經網絡構建，并通過該網絡進行推理比較都有著重要的影響。因此我們希望在靠近計算單元的地方盡可能緩存更多數據。其容量的增加，會很大程度上提高 AI 的整體性能、準確性、響應速度。

訓練深度學習模型時，占用CPU 內存比較大，一般來說單臺刀片可以輕松做到 256GB 以上的內存，做分布式訓練時還可以把數據分配到不同機器上進行計算，而且可以盡量把數據預存到 CPU。此外，CPU 大內存的優勢不僅體現在訓練上，更主要的是推理，比如對尺寸很大的醫療影像模型進行推理處理。

即使沒有英特爾®傲騰™ 數據中心級持久內存 的出現，英特爾至強處理器平臺也很容易擴展內存的容量。但有了這種全新類型的產品后，內存的存儲密度/價格比可能會更理想，其性能也接近 DRAM，讓更大量的數據可以更接近 CPU 進行移動和處理，極大地降低從系統存儲獲取數據的延遲。相比之下，專有架構平臺要擴展緩存，還是很不方便的。

在深度學習實踐中，是否應該去搭建一套新的專用平臺？持否定意見的開發者認為，目前主要用于 AI 模型推理的平臺都是基于 CPU 架構的，應該利用現有的數據中心基礎設施，利用現有的、熟悉的處理器平臺，以最低的成本部署人工智能，這相比另起爐灶、尋找其他計算平臺的方法，用時更短 、風險更低、性價比更高。

有開發者據此總結了三條理由：首先，現如今標準 CPU 平臺完全能夠勝任 AI 所有應用；其次，現在AI屬于“試錯階段“，同時技術也在快速演變和迭代，利用現有的 CPU 平臺，可以最小成本做最大的事，無需大量額外投資，但如果另起爐灶可能得不償失；最后，用多年熟悉且信任的 CPU 平臺，構建“激進”的 AI 項目，本身就是一個絕好的平衡，讓技術風險變得可控。

在現有英特爾架構支持的數據應用基礎上構建 AI 應用，生產環境非常成熟，易于部署，運維人員學習難度低。英特爾從云到端都有硬件平臺就緒，不論是通用計算還是專用芯片（如Movidius），而且還有相關的軟件支持，如眾多優化庫、框架和工具。另外，英特爾為 AI 應用的開發者們提供了 OpenVINO 等工具包，可以方便實現模型部署，優勢顯著。

Hadoop 和 Spark 是目前非常流行的大數據管理和處理框架，想利用它們承載的數據進行深度學習訓練，通常需要把這些數據導出，然后進行處理，這個過程不僅耗時而且投資較大，所以在這些大數據平臺上進行深度學習訓練顯得尤為重要。

有開發者認為，可以針對各種不同來源的數據，首先根據目標算法需要的數據格式，進行數據整合。得到目標數據之后，再根據業務需要，按照對應的比例，將最原始的數據分成訓練數據和測試數據，通過算法對數據不斷進行訓練，后期進行相應的測試。

其實更好的方式是打通數據流水線。英特爾的 Analytics Zoo （內含BigDL）打通端到端數據流水線，在 Hadoop 和 Spark 等主流的大數據框架上，把數據的收集、存儲、傳輸、預處理、后期處理等環節，與 AI 的訓練和預測等部分有機結合起來，就可以讓企業的數據分析流水線變得高效而統一。例如，英特爾協助美的公司基于Analytics Zoo構建了一套端到端的產品缺陷檢測方案，準確率優于人工檢查方法，并避免了檢查工作給生產線帶來侵入性影響。Analytics Zoo將Spark、TensorFlow以及BigDL程序整合至同一流水線當中，整個流水線能夠在Spark集群之上以透明方式實現擴展，從而進行分布式訓練與推理。最終使美的的圖像預處理時長由200毫秒降低至50毫秒，并將延遲影響由2,000毫秒縮短至124毫秒。

深度學習應用的開發周期很長，而且往往會涉及多個工具和平臺，如何將新技術、新創新應用到非常大規模、大數據的生產系統中，目前在軟硬件架構上有非常大的斷層。這提升了技術開發門檻，開發者十分期待從云端到終端能跨平臺部署深度學習應用。

2018年，英特爾開源了Analytics Zoo，構建了端到端的大數據分析+AI平臺，無論是用TensorFlow還是Keras，都能將這些不同模塊的程序無縫運行在端到端流水線上，大大提升了開發效率。

并且，Analytics Zoo 也兼容 OpenVINO™在 AI 應用上的加速特性。基于英特爾硬件平臺、專注于加速深度學習的OpenVINO™工具套件，是一個快速開發高性能計算機視覺和深度學習視覺應用的工具包。 

英特爾®OpenVINO工具套件不僅適用于開發可模擬人類視覺的應用和解決方案，它還可以通過英特爾®FPGA深度學習加速套件支持FPGA，旨在通過優化廣泛使用的Caffe和TensorFlow框架來簡化采用英特爾®FPGA的推理工作負載，并用于包括圖像分類、機器視覺、自動駕駛、軍事以及醫療診斷等應用。

OpenVINO™工具包基于卷積神經網絡（CNN），可擴展英特爾硬件（包括加速器）的工作負載，并最大限度地提高性能。

具體來說，OpenVINO具有面向OpenCV和OpenVx的優化計算機視覺庫，并支持跨計算機視覺加速器的異構執行，可通過基于英特爾架構的處理器（CPU）及核顯（Integrated GPU）和深度學習加速器（FPGA、Movidius™ VPU）的深度學習加速芯片，增強視覺系統功能和性能。它支持 在邊緣端進行深度學習推理，并加速高性能計算機視覺應用， 幫助開發人員和數據科學家提高計算機視覺應用性能，簡化深度學習部署過程。

上面分析了AI應用落地時，開發者需要重點關注的七大維度——性能、數據預處理、可擴展性、內存、模型部署、大數據分析、跨平臺部署應用，我們會發現，每一個維度都支持CPU架構和平臺的優勢。一方面，CPU的計算能力通過軟硬件協同優化不斷提升，可以更好地適應AI場景需求，企業漸漸意識到用CPU做AI已經“足夠好”；另一方面，通過收購和探索不同芯片架構，英特爾的AI軟硬件產品組合正在不斷完善，這使得英特爾能夠建立一個完整的AI基礎架構，非常豐富的產品組合是英特爾與其他公司實現差異化的最大亮點。