中國自動(dòng)化學(xué)會(huì)專家咨詢工作委員會(huì)指定宣傳媒體
新聞詳情
gkongbbs

如何克服邊緣視覺的帶寬限制?

http://m.casecurityhq.com 2023-05-23 10:24 來源:虹科

把一個(gè)相機(jī)連接到一臺邊緣計(jì)算機(jī)/嵌入式計(jì)算機(jī)上,然后在云端進(jìn)行數(shù)據(jù)處理或存儲——這就是“邊緣視覺”的概念。近年來,邊緣視覺正被廣泛應(yīng)用于自動(dòng)化產(chǎn)線質(zhì)檢、汽車圖像采集和智能工廠等場景中。

伴隨著人們對圖像質(zhì)量的要求提高,以及視覺傳感器技術(shù)突飛猛進(jìn)的發(fā)展,現(xiàn)場產(chǎn)生海量和龐大數(shù)據(jù),也給視覺數(shù)據(jù)的邊緣傳輸和上云帶來了嚴(yán)峻挑戰(zhàn)。

01 亟待攻克的帶寬限制瓶頸

在工業(yè)視覺領(lǐng)域,整個(gè)行業(yè)都在追求更多像素、更高幀率、更高的空間以及時(shí)間分辨率。然而,很多用戶會(huì)反饋1 GigE相機(jī)的一個(gè)輸出已經(jīng)不夠用,只能連接到PLC,急需相機(jī)有更多輸出通道,以便將圖像數(shù)據(jù)傳輸?shù)皆品?wù)器。

如上圖所示,棕色的點(diǎn)是圖像傳感器,點(diǎn)連接的線代表行業(yè)中常見的典型接口(如PCIe 3.0是藍(lán)線,CoaXPress v2 x4是紅線)。可以發(fā)現(xiàn),當(dāng)圖像傳感器高于某條線時(shí),該接口的帶寬就已經(jīng)不夠去傳輸該圖像傳感器的數(shù)據(jù)了。

現(xiàn)如今,圖像傳感器取得了巨大進(jìn)步,市面上有很多圖像傳感器,帶寬速度比10GigE、CoaXPress v1快很多,甚至比100千兆接口更快,能提供一萬幀、1億或更多像素和速度遠(yuǎn)高于150GB/s的帶寬。雖然接口取得了一些進(jìn)步,帶寬速度越來越快,但挑戰(zhàn)仍然存在——即使有鏈接聚合也很難能跟上傳感器的發(fā)展速度,電腦的GPU和CPU性能也遠(yuǎn)遠(yuǎn)落后于其他領(lǐng)域。

想要解決這個(gè)問題,如果用高分辨率的高速傳感器,也將面臨很多瓶頸。比如攝像頭接口、GPU和CPU的橋接接口、CPU的負(fù)載或處理能力,以及計(jì)算機(jī)上送云端的帶寬,往往在最好的情況下才能達(dá)到1G。

此外,如果現(xiàn)場有多個(gè)攝像頭,情況會(huì)變得更糟。假如有多個(gè)10GigE相機(jī)、CoaXPress或100 GigE相機(jī),以100 GigE相機(jī)為例,速度大概是96千兆比特乘每秒以攝像機(jī)的數(shù)量。但大多數(shù)情況下,用戶電腦的最大帶寬接口PCIe 3.0,其帶寬也只有48千兆比特每秒,遠(yuǎn)遠(yuǎn)無法滿足需求。

02 用圖像采集卡壓縮預(yù)處理

面對這個(gè)困境,用戶常見的解決方案是在多攝像頭和CPU架構(gòu)之間放置一個(gè)圖像采集卡,用于壓縮以及預(yù)處理。例如從圖像提取一定區(qū)域的ROI,即可減少總數(shù)據(jù)帶寬。

然而,在實(shí)際應(yīng)用中,用戶對圖像采集卡的需求還有許多:

■ 通常需要高帶寬的相機(jī)接口、多相機(jī)接口、超高精度的同步,以及可定制的IOs來控制外圍設(shè)備;

■ 在處理過程中,需要能夠?qū)崟r(shí)并行處理,并且需要低延遲、有一個(gè)大的DRAM,從而計(jì)算復(fù)雜的算法,需要很多個(gè)千兆比特每秒的內(nèi)存訪問帶寬;

■ 對系統(tǒng)開發(fā)人員而言,圖像采集卡需要滿足靈活、易于使用的要求。為保障開發(fā)便捷性,開放的FPGA也必不可少,可以將一些特定IP放在圖像采集卡上,通過集成開發(fā)環(huán)境實(shí)現(xiàn)快速的算法和方案開發(fā);

■ 與此同時(shí),用戶對于系統(tǒng)集成的緊湊設(shè)計(jì)和被動(dòng)冷卻性能,也提出了更嚴(yán)苛的要求...

03 可靠的一體化邊緣視覺解決方案

能否能將圖像采集卡和計(jì)算機(jī)很好地合二為一?虹科的HK-Gidel FantoVision 40給出了答案。

這是一款開創(chuàng)性的小型計(jì)算機(jī),可與高達(dá)4 x 10GigE Vision或 4 X CoaXPress 2.0相機(jī)連接進(jìn)行圖像采集和處理。創(chuàng)新架構(gòu)將高端圖像采集與實(shí)時(shí)圖像處理和/或壓縮相結(jié)合,使用Nvidia Jetson 嵌入式計(jì)算機(jī),并在Intel Arria 10 FPGA上進(jìn)行可選的預(yù)處理/壓縮。

HK-Gidel FantoVision的另一個(gè)顯著特點(diǎn),是其開放式體系結(jié)構(gòu)支持GPU和FPGA上的嵌入式AI/圖像處理。軟件工程師可以使用CUDA C/C++和NVIDIA的庫,在GPU上編寫算法。此外,使用新穎的ProcVision套件,在FPGA上開發(fā)和部署可選的預(yù)處理塊,既簡單又快速。

該產(chǎn)品的多個(gè)HK-Gidel FantoVision單元可以相互連接,可提供獨(dú)特且可擴(kuò)展的拓?fù)浣Y(jié)構(gòu)。使用InfiniVision 開放式框架抓取器流程,100多個(gè)傳感器可同步處理。

現(xiàn)如今,HK-Gidel FantoVision為高帶寬、低延遲應(yīng)用的新型緊湊、經(jīng)濟(jì)高效、可擴(kuò)展的視覺和成像解決方案開辟了道路。尤其適用于需要高分辨率、高速度的交通監(jiān)測、面板檢測等場景。

例如交通檢測應(yīng)用中有多個(gè)攝像機(jī)在拍攝高分辨率圖像,HK-Gidel FantoVision 可以通過圖像采集卡提取ROI區(qū)域甚至是車牌,在GPU上布署算法做車牌識別,最后將識別的車牌號碼傳到云端上,從而不需要很多帶寬。

虹科是智能感知與機(jī)器視覺領(lǐng)域領(lǐng)先的資源整合及技術(shù)服務(wù)落地供應(yīng)商,多年來為用戶提供圖像采集卡、FPGA圖像處理、高帶寬圖像采集等服務(wù),以及深度AI相機(jī)、視覺相機(jī)和圖像采集等解決方案。目前,虹科已經(jīng)陸續(xù)在國內(nèi)完成了多家一線公司的汽車圖像采集、AOI、晶圓半導(dǎo)體檢測、原料體積監(jiān)測、高端機(jī)器人圖像處理、智能巡檢、工件質(zhì)量識別等項(xiàng)目。

版權(quán)所有 中華工控網(wǎng) Copyright?2024 Gkong.com, All Rights Reserved