http://m.casecurityhq.com 2024-07-16 16:29 來源:研華
全球工業(yè)物聯網廠商研華科技宣布,采用Phison的aiDAPTIV+專利技術,為生成式人工智能(Generative AI)提供開創(chuàng)性的邊緣AI服務器解決方案。AIR-520 Edge AI Server采用AMD EPYC 7003系列處理器,集成了SQ ai100 AI SSD、NVIDIA RTX GPU卡、Edge AI SDK和NVIDIA AI Enterprise,提供了一個可立即部署的解決方案。
大型語言模型(LLM)等生成式AI工具正通過自動化數據組織、檢索和分析改變企業(yè)知識管理,提高生產力并改善決策。定制大型語言模型(LLM)提高了準確性,而邊緣訓練則增強了數據隱私屬性(成本相應提高)。該方案支持大型語言模型(LLM)微調配備1-4個顯卡和SQ AI100 AI SSD,供企業(yè)經濟高效地訓練大型語言模型(LLM),同時保護邊緣敏感數據安全。
適用于不同應用的四種解決方案
對此研華提供四種選擇:AIR-520-L13B/L33B/L70B和L70B-Plus,針對不同規(guī)模和應用量身定制。L13B非常適合聊天機器人和語言翻譯提高生產力和內容創(chuàng)作創(chuàng)新能力。L70B擅長專業(yè)領域的復雜數據分析和決策。此外,L70B-Plus配備了NVIDIA AI Enterprise軟件平臺,提供端到端的、可靠的優(yōu)化AI SDK,提供長期支持和專家咨詢服務,保障業(yè)務場景中的高效部署。
安裝簡單快捷,優(yōu)化成本效益
所有解決方案均包含SQ AI100 AI SSD,后者采用群聯(Phison)aiDAPTIV+技術。此系列SSD充當顯卡vRAM的擴展,使系統能夠使用最少的顯卡對大型語言模型(LLM)實現微調。這種方案不僅減輕了客戶的預算負擔,而且相比傳統的大型機架式服務器,邊緣AI服務器會更加緊湊。AIR-520邊緣AI服務器專為各種邊緣AI應用設計,尺寸與臺式電腦相當,并且可以通過適當的附件安裝在機架上。憑借輕薄的設計,該產品可以實現在邊緣AI微調環(huán)境中的輕松部署,打消了客戶在空間和維護上的憂慮。
通過軟件服務快速跟蹤生成式AI的開發(fā)
除了大型語言模型(LLM)微調功能外,研華還提供了帶有生成式AI訓練工作室的邊緣AI SDK,預裝了Llama-2 13B/33B/70B模型,用于聊天機器人和數據分析等應用。此舉將簡化并加速通過AIR-520進行客戶專屬大型語言模型(LLM)模型訓練和推理評估工作的進程。此外,研華的DeviceOn提供OTA軟件/容器更新和遠程管理,促進高效的邊緣AI編排和長期維護。
產品特性: