近年來每年上億元的IT建設(shè)資金投入，讓中石油東方地球物理公司研究院（BGP）的高性能計(jì)算（HPC）部署規(guī)模迅速擴(kuò)大。據(jù)該研究院副總工程師兼處理中心總工程師賴能和介紹，BGP的計(jì)算機(jī)規(guī)模已達(dá)到28014個(gè)核，運(yùn)算能力為230T，存儲也有3600 TB，整裝、規(guī)模化軟硬件資源，為保證處理周期、及時(shí)提交成果提供了很好的保障。“這三年來，各油田的HPC都發(fā)展得很快，基本上達(dá)到了一定規(guī)模?！辟嚹芎驼f。

　　這個(gè)被稱為“給地球做CT”的石油物探行業(yè)在商用HPC應(yīng)用中相對成熟，對前沿技術(shù)的接受程度也很高。然而，也正是因?yàn)槌墒欤托袠I(yè)對于HPC的未來思考也就更為深入。未來石油業(yè)的HPC發(fā)展要抓住哪些大的技術(shù)趨勢，以適應(yīng)地震資料成像應(yīng)用的快速發(fā)展？上規(guī)模后的軟硬件資源又該如何進(jìn)行科學(xué)化管理？

　　平衡的思維

　　BGP曾經(jīng)為大港油田的3200平方米的地區(qū)做過模擬，投入近1萬顆CPU計(jì)算，7天就完成了任務(wù)，而在幾年前，這樣的效率幾乎是不可想象的。對于物探部門來說，硬件提供的是基礎(chǔ)能力支撐，軟件應(yīng)用則是直接決定產(chǎn)出的關(guān)鍵。

　　客觀地說，同樣是“做CT”，但最后片子的成像質(zhì)量會有不同，差別在于算法。算法的發(fā)展是從二維向三維、從聲波向彈性波發(fā)展?！拔覀兊钠品椒◤某Ｒ?guī)疊后、積分化的時(shí)間偏移到了現(xiàn)在的單層波振動(dòng)偏移，與國外相比還有差距。我們正在實(shí)驗(yàn)雙層波，再下一步才是彈性波。”賴能和說。相應(yīng)地，地震資料處理模型演進(jìn)，對計(jì)算平臺資源的需求呈急劇增長趨勢。

　　英特爾軟件與服務(wù)集團(tuán)高性能計(jì)算及工作站應(yīng)用總監(jiān)Paresh Pattani指出：“石油行業(yè)用戶不但要考慮軟件在多核上面的性能，還要看到將來在眾核、在異構(gòu)多核上的發(fā)展?！蓖瑫r(shí)，在系統(tǒng)需求方面，用戶也應(yīng)從平衡的角度出發(fā)，考慮單位面積投資的性能、每瓦性能，要考慮到系統(tǒng)能不能適應(yīng)未來的系統(tǒng)架構(gòu)……這一切都需要一個(gè)平衡系統(tǒng)?！暗卣鹳Y料處理的算法逐步發(fā)展，對計(jì)算能力提出高要求的不僅僅是CPU性能，還包括內(nèi)存、帶寬、I/O、互聯(lián)，這一切都是需要共同平衡發(fā)展的性能?！盤aresh Pattani說。

　　為了確保設(shè)計(jì)的均衡性，英特爾在高性能計(jì)算上其實(shí)做了很多方面的工作，不僅在處理器和服務(wù)器平臺上，在軟件工具、互聯(lián)，甚至數(shù)據(jù)中心設(shè)計(jì)方面，也都有相應(yīng)的資源投入。其中，軟件方面的支持，對于發(fā)揮平臺潛能起著關(guān)鍵作用。Paresh Pattani表示：“在我們的多核到眾核，再到將來異構(gòu)核發(fā)展的藍(lán)圖里，我們希望軟件的發(fā)展能始終向后兼容，不需要用戶再次投資，將原有積累打破?！?這樣做的好處，在Larrabee問世后就可以感受得到。

　　作為平臺廠商，英特爾的軟硬件先天就具有相互優(yōu)化的優(yōu)勢，比如在后續(xù)路線圖中，SSE擴(kuò)展的下一代產(chǎn)品AVX現(xiàn)在已經(jīng)獲得支持，它可以更好地支持通用的向量計(jì)算。Paresh Pattani估計(jì)，在HPC領(lǐng)域，尤其是在用到大量向量運(yùn)算的結(jié)構(gòu)力學(xué)、航天航空、地震資料處理方面，收益將達(dá)到10%以上。為了充分釋放多核潛能，英特爾提供了相應(yīng)工具，以實(shí)現(xiàn)更高程度的并行化。在中國，由何萬青博士領(lǐng)導(dǎo)的英特爾支持團(tuán)隊(duì)，就為HPC用戶做了大量優(yōu)化工作，幫助用戶改進(jìn)MPI應(yīng)用，最大程度地提高應(yīng)用效率。

　　可預(yù)期的平臺演進(jìn)

　　從硬件平臺來說，高性能計(jì)算對硬件平臺的需求主要聚焦于浮點(diǎn)性能、內(nèi)存帶寬和I/O。基于Nehalem架構(gòu)的英特爾至強(qiáng)5500處理器正因在這三方面的出色表現(xiàn)，走進(jìn)越來越多的石油用戶的機(jī)房?！皬募夹g(shù)架構(gòu)和實(shí)際表現(xiàn)來看，至強(qiáng)5500平臺不僅面向今天的需求，還面向未來地震資料處理模型對計(jì)算資源、I/O資源、內(nèi)存帶寬的需求?！庇⑻貭柗?wù)器平臺產(chǎn)品經(jīng)理顧凡表示。

　　從技術(shù)角度來看，至強(qiáng)5500通過架構(gòu)改進(jìn)，無疑在浮點(diǎn)計(jì)算方面取得了更大突破，AVX加速了這一進(jìn)程。而同時(shí)，在與內(nèi)存帶寬及I/O帶寬的平衡搭配方面，也因?yàn)槠浼夹g(shù)的先進(jìn)性得到了充分發(fā)揮。顧凡介紹說，在內(nèi)存帶寬方面，引入QPI之前，英特爾從單條前端總線到兩條獨(dú)立總線，再到把每條總線的主頻提升到1600MHz，直到Nehalem架構(gòu)去除前端總線，代之以點(diǎn)對點(diǎn)串行總線，充分釋放CPU性能?！癚PI是一個(gè)標(biāo)志性的時(shí)間點(diǎn)，未來的QPI會向下一代繼續(xù)演進(jìn)，提高QPI帶寬，增加QPI可支持的串行連接數(shù)量?！痹贗/O方面，PCI-E的演進(jìn)仍在繼續(xù)，預(yù)計(jì)在2011年左右，第三代PCI-E也將面世，保證I/O的通道暢通。而SSD的推廣使用，無論是替代內(nèi)存、硬盤或是作為啟動(dòng)硬盤，也都會在I/O方面帶來巨大提升。

　　油藏模擬、地震資料處理等應(yīng)用對內(nèi)存帶寬的依賴都非常大。對于內(nèi)存帶寬敏感型的應(yīng)用來說，至強(qiáng)5500相比前代的性能提升接近2倍，甚至2.5倍。“為什么說至強(qiáng)5500也能滿足未來需求呢？我們目前采用的地震資料處理模型也許提升幅度不一定達(dá)到兩倍，約為在30%~40%。但當(dāng)模型向前演進(jìn)后，內(nèi)存帶寬一定是重中之重。至強(qiáng)5500會持續(xù)帶來性能提升?！鳖櫡舱f。

　　科學(xué)地管理好資源

　　快速擴(kuò)大規(guī)模之后，軟硬件資源管理成為擺在石油行業(yè)用戶面前的一道難題。在這方面，BGP以數(shù)字化手段進(jìn)行集中管理，成為行業(yè)標(biāo)桿?！斑^去我們管理一二百個(gè)CPU很容易，現(xiàn)在是幾萬顆CPU，按照過去的方式管理就會出問題。計(jì)算機(jī)機(jī)房達(dá)到一定規(guī)模后，我們的生產(chǎn)和設(shè)備的安全問題也無法得到保障，究竟怎么管理？”賴能和道出了這樣做的初衷。

　　困難還不止于此，軟件相對跟不上造成應(yīng)用效率比較低，這又連帶造成了大規(guī)模投資。后來BGP意識到，持續(xù)通過硬件擴(kuò)充來增加產(chǎn)值并非高明的策略。這會造成折舊非常驚人?！癇GP 在2008年折舊費(fèi)達(dá)到1.2億元，全年電費(fèi)又是1100多萬元，我們的運(yùn)作壓力非常大。” 賴能和牽頭開發(fā)了一整套數(shù)字化管理系統(tǒng)，來解決這樣的難題。

　　據(jù)介紹，BGP共開發(fā)了四套系統(tǒng)，對機(jī)房實(shí)現(xiàn)了全面管理。一是用數(shù)字化管理平臺管理所有生產(chǎn)項(xiàng)目，項(xiàng)目進(jìn)度和所用資源都一目了然，每個(gè)項(xiàng)目運(yùn)作的每個(gè)階段用了多少成本，很容易進(jìn)行統(tǒng)計(jì)。二是開發(fā)CPU資源管理平臺，對集群實(shí)行統(tǒng)一協(xié)調(diào)管理，在一個(gè)板面上可以實(shí)時(shí)監(jiān)控到一百多個(gè)機(jī)柜的運(yùn)行狀況，再加上視頻會議系統(tǒng)，就可以實(shí)現(xiàn)前后方遠(yuǎn)程質(zhì)量監(jiān)控專家協(xié)同工作，軟硬件技術(shù)支持和系統(tǒng)維護(hù)。三是開發(fā)存儲和網(wǎng)絡(luò)管理平臺，實(shí)現(xiàn)所有存儲資源的遠(yuǎn)程集中監(jiān)控。四是開發(fā)UPS空調(diào)配電實(shí)時(shí)監(jiān)控軟件，確保設(shè)備安全。

　　不僅如此，BGP還致力于提高數(shù)據(jù)中心的效能。他們不僅采用最新的節(jié)能設(shè)備，在基礎(chǔ)建設(shè)方面也下足了功夫，如水冷技術(shù)、風(fēng)道節(jié)能設(shè)計(jì)。在計(jì)算設(shè)備上，BGP最大的一筆開支節(jié)省是借助開發(fā)的自適應(yīng)節(jié)能軟件?！坝眠@個(gè)軟件動(dòng)態(tài)調(diào)整服務(wù)器狀態(tài)，節(jié)能達(dá)到25%左右。一萬顆CPU一年