http://m.casecurityhq.com 2024-07-29 14:18 來(lái)源:財(cái)聯(lián)社
“邊緣計(jì)算和機(jī)器視覺(jué)技術(shù)已經(jīng)相當(dāng)成熟,未來(lái)可能會(huì)將更多的關(guān)注和資源投入到大語(yǔ)言模型和AI的開(kāi)發(fā)與應(yīng)用中。AI模型可能會(huì)逐步從云端向邊緣端轉(zhuǎn)移。我們可以預(yù)見(jiàn)到一場(chǎng)巨大的創(chuàng)新浪潮正在醞釀。目前市場(chǎng)上已經(jīng)出現(xiàn)了許多成熟的解決方案,我們正處于這一轉(zhuǎn)變的關(guān)鍵時(shí)刻。”2024英特爾網(wǎng)絡(luò)與邊緣計(jì)算行業(yè)大會(huì)期間,英特爾公司高級(jí)副總裁兼網(wǎng)絡(luò)與邊緣事業(yè)部總經(jīng)理Sachin Katti在接受財(cái)聯(lián)社記者采訪(fǎng)時(shí)表示。
近日財(cái)聯(lián)社記者從業(yè)內(nèi)多方獲悉,從算力、邊緣推理能力、成本綜合考量來(lái)講,人工智能在邊緣領(lǐng)域的滲透將成關(guān)鍵趨勢(shì),多家巨頭入局該賽道,不少成熟解決方案涌現(xiàn),邊緣AI方興未艾,2030年全球邊緣市場(chǎng)規(guī)?;?qū)⑦_(dá)千億美金規(guī)模。
瞄準(zhǔn)邊緣AI 成熟解決方案涌現(xiàn)
財(cái)聯(lián)社記者最新從英特爾方面了解到,今年上半年英特爾中國(guó)區(qū)邊緣端業(yè)務(wù)同比保持增長(zhǎng),公司預(yù)期這一趨勢(shì)將保持。邊緣AI一直是英特爾過(guò)去多年來(lái)的關(guān)注重點(diǎn),部署領(lǐng)域涉及零售、醫(yī)藥、物流、農(nóng)業(yè)、交通、制造業(yè)等。
Sachin Katti告訴財(cái)聯(lián)社記者,“現(xiàn)在我們講的邊緣AI其實(shí)已經(jīng)從邊緣的機(jī)器視覺(jué),逐步進(jìn)展到比如大語(yǔ)言模型、邊緣應(yīng)用以及生成式AI等,因此英特爾就要不斷地提供相關(guān)能力,加速在邊緣端的生成式AI以及大語(yǔ)言模型的部署。我們已經(jīng)不僅僅局限于硬件供應(yīng),還擴(kuò)展到了應(yīng)用層、軟件以及客戶(hù)服務(wù)支持等多個(gè)維度。”
(財(cái)聯(lián)社記者攝)
今年MWC期間,英特爾方面稱(chēng),已在邊緣端完成九萬(wàn)多個(gè)實(shí)際部署。Sachin Katti在大會(huì)上則表示,英特爾將采取以開(kāi)放、模塊化、統(tǒng)一平臺(tái)為核心的方法加快邊緣Al解決方案的部署進(jìn)程。“硬件側(cè),我們會(huì)提供有足夠內(nèi)存的GPU以及NPU解決方案,很多模型如Llama 2、Llama 3等可以在本地運(yùn)行。”生態(tài)方面,截至目前英特爾網(wǎng)絡(luò)與邊緣事業(yè)部在中國(guó)已與500多家OEM/ODM和150多家ISV建立了合作關(guān)系。
實(shí)際上不僅英特爾,AMD、英偉達(dá)、高通等巨頭,云天勵(lì)飛(688343.SH)、中科創(chuàng)達(dá)(300496.SZ)、國(guó)科微(300672.SZ)等A股上市公司均已瞄準(zhǔn)邊緣端做出動(dòng)作。
同時(shí)財(cái)聯(lián)社記者在大會(huì)展區(qū)注意到,機(jī)器人(300024.SZ)、深信服(300454.SZ)、數(shù)碼視訊(300079.SZ)、中科創(chuàng)達(dá)等A股廠商均展示了各自邊緣AI成果。
財(cái)聯(lián)社記者在展區(qū)注意到了模型訓(xùn)練過(guò)程中通過(guò)自動(dòng)化手段做數(shù)據(jù)標(biāo)注的案例。展臺(tái)工作人員告訴記者,基于英特爾酷睿處理器、英特爾銳炫獨(dú)立顯卡ARC770打造的CNN邊緣訓(xùn)推方案,借助視覺(jué)大模型實(shí)現(xiàn)了圖片自動(dòng)標(biāo)注和基于MLFlow的模型自動(dòng)重訓(xùn)。“原來(lái)訓(xùn)練模型要找算法公司,標(biāo)注都需要人來(lái)完成,現(xiàn)在可以使用機(jī)器標(biāo)注,訓(xùn)練成本、人力成本都極大降低,現(xiàn)在業(yè)界慢慢都出現(xiàn)了這種訓(xùn)推的方案。”
此次英特爾最新打造的3D虛擬數(shù)智人“小英”亦展出。展臺(tái)工作人員稱(chēng),“小英”同樣基于酷睿處理器、ARC770顯卡打造,完全部署于邊緣端,還在本地集成了大語(yǔ)言模型和RAG技術(shù)。據(jù)悉,其可以勝任營(yíng)業(yè)廳客服、商場(chǎng)導(dǎo)購(gòu)、博物館講解員等角色。
(受訪(fǎng)者供圖)
AI Agent苗頭已現(xiàn) 邊緣部署有何動(dòng)因?
站在行業(yè)發(fā)展視角,英特爾對(duì)于AIGC及大語(yǔ)言模型發(fā)展做了三階段總結(jié):第一階段是AI輔助時(shí)代(Age of AI Co-Pilots),第二階段是AI助手時(shí)代(Age of AI Agents),第三階段是全功能AI時(shí)代(Age of AI Functions)。
“從中國(guó)來(lái)看,我們的創(chuàng)新速度非??欤芏郃I Agent的功能在當(dāng)下可能已經(jīng)看到發(fā)展苗頭了,有關(guān)AI Agent的案例實(shí)際在我們身邊已經(jīng)慢慢出現(xiàn)。”英特爾中國(guó)區(qū)網(wǎng)絡(luò)與邊緣事業(yè)部首席技術(shù)官、英特爾高級(jí)首席AI工程師張宇對(duì)財(cái)聯(lián)社記者表示。
他舉例稱(chēng),電信企業(yè)網(wǎng)安和網(wǎng)絡(luò)運(yùn)營(yíng)類(lèi)產(chǎn)品已經(jīng)可以基于大模型對(duì)網(wǎng)絡(luò)日志文件進(jìn)行分析,以便網(wǎng)絡(luò)管理人員及時(shí)根據(jù)分析結(jié)果采取措施等。Sachin Katti則表示,預(yù)計(jì)在未來(lái)一到兩年內(nèi)會(huì)看到更多AI Agent的出現(xiàn)。
英特爾高管在大會(huì)上提及,中國(guó)生成式人工智能市場(chǎng)規(guī)模今年預(yù)計(jì)達(dá)33億美元。而據(jù)Gartner預(yù)測(cè),到2026年,80%的全球企業(yè)將使用生成式AI,50%的全球邊緣部署將包含AI。STL Partners報(bào)告顯示,2030年全球邊緣服務(wù)市場(chǎng)規(guī)模會(huì)達(dá)到4450億美元,其中AI是第一大邊緣工作負(fù)載。
邊緣AI市場(chǎng)持續(xù)升溫,而驅(qū)動(dòng)企業(yè)在邊緣側(cè)部署的實(shí)際原因何在?
“一是數(shù)據(jù)的安全性,是不是放心把數(shù)據(jù)都放到云端,還是在邊緣端更合理。第二,隨著邊緣數(shù)據(jù)量越來(lái)越大,整個(gè)傳輸帶寬是個(gè)問(wèn)題,雖然國(guó)內(nèi)在整個(gè)基礎(chǔ)建設(shè)傳輸帶寬建設(shè)是全球最領(lǐng)先的,但當(dāng)大量數(shù)據(jù)在邊緣產(chǎn)生時(shí),仍然可能引發(fā)網(wǎng)絡(luò)風(fēng)暴,我們?nèi)孕枰M(jìn)一步優(yōu)化網(wǎng)絡(luò)管理和數(shù)據(jù)傳輸策略。第三,實(shí)時(shí)性,很多東西只能在邊緣做才能解決實(shí)時(shí)性的要求。”英特爾公司市場(chǎng)營(yíng)銷(xiāo)集團(tuán)副總裁、英特爾中國(guó)網(wǎng)絡(luò)與邊緣及渠道數(shù)據(jù)中心事業(yè)部總經(jīng)理郭威向財(cái)聯(lián)社記者分析了三點(diǎn)原因。
Sachin Katti告訴財(cái)聯(lián)社記者,目前AI主要在云端運(yùn)行,然而隨著邊緣設(shè)備在本地產(chǎn)生大量數(shù)據(jù),將所有數(shù)據(jù)傳輸至云端的成本變得相當(dāng)高昂。“一些工廠可能無(wú)法承擔(dān)訓(xùn)練超大規(guī)模行業(yè)級(jí)大模型的成本,因?yàn)檫@些模型的參數(shù)量可能高達(dá)萬(wàn)億級(jí)別。因此他們往往選擇訓(xùn)練中等規(guī)模的模型,并結(jié)合自身數(shù)據(jù)進(jìn)行定制化調(diào)整。”
財(cái)聯(lián)社記者了解到,當(dāng)前大模型訓(xùn)練、推理、調(diào)用、部署均在云端完成,對(duì)算力(集群)規(guī)模、網(wǎng)絡(luò)穩(wěn)定性、能效等方面都提出極高要求,隨著大模型進(jìn)入比拼落地階段,就要求所有分析處理都在本地完成。
張宇認(rèn)為,“邊緣的特點(diǎn)就是碎片化。不同用戶(hù)對(duì)于算力、性能有不同要求,有些性能要求很高,必須要有集群來(lái)承載,有些性能可能通過(guò)幾個(gè)小設(shè)備就能夠承載,跨度非常大。邊緣往往最終部署的是業(yè)務(wù),并不是追求一個(gè)技術(shù)方案。”