http://m.casecurityhq.com 2019-03-29 09:14 來源:史學(xué)玲
圖為印尼獅航波音737 MAX 8客機(jī)。據(jù)報道,印尼獅航是波音公司737 MAX飛機(jī)的最大客戶之一,正在考慮改用空客SE,計劃暫停與美國飛機(jī)制造商簽訂的現(xiàn)有訂單。圖片來源:視覺中國
最近波音飛機(jī)的墜落,嚴(yán)格說是人工智能影響人類的災(zāi)難性事件,也是智能化系統(tǒng)功能失效的典型案例。
波音737MAX8是波音成熟度最高的機(jī)型,燃料消耗是同類機(jī)型的30%,但發(fā)動機(jī)更改導(dǎo)致飛機(jī)機(jī)頭容易抬高。因此,它使用了一個機(jī)動特性增強(qiáng)系統(tǒng)(MCAS),在飛機(jī)迎角過大時該系統(tǒng)會自動下調(diào)機(jī)頭以進(jìn)入它設(shè)定的安全狀態(tài)。但從最近發(fā)生的事故來看,MCAS更像波音公司在737MAX8飛機(jī)上埋的炸彈。
獅航空難事故調(diào)查已有結(jié)論,其直接原因是機(jī)頭左側(cè)攻角傳感器故障,使MCAS錯誤地連續(xù)26次進(jìn)入自殺式俯沖。獅航飛行員曾33次試圖拉升機(jī)頭,但最終人工操作沒能成功糾偏。埃塞俄比亞航空空難事故調(diào)查還在進(jìn)行,但從已經(jīng)披露的信息可以判斷,飛機(jī)在起飛后,連續(xù)出現(xiàn)了爬升和下降兩種飛行姿態(tài),飛行員稱無法控制飛機(jī),最后導(dǎo)致墜毀。
這兩起事故都是智能化系統(tǒng)功能錯誤導(dǎo)致的飛機(jī)失控,屬功能安全事故。
什么是功能安全
功能安全是一門安全工程學(xué)科,專門研究復(fù)雜控制系統(tǒng)的功能失效避免。它的基礎(chǔ)標(biāo)準(zhǔn)是2000年發(fā)布的IEC61508。近20年來,針對各領(lǐng)域的安全相關(guān)系統(tǒng),已經(jīng)發(fā)展出一個標(biāo)準(zhǔn)族群。
功能安全主要從3個方向展開研究:預(yù)期功能安全、硬件隨機(jī)性失效避免和系統(tǒng)性失效避免。其中,預(yù)期功能安全是系統(tǒng)性失效的一部分,它要求全面識別受控設(shè)備中的所有危險,并把風(fēng)險控制在可容忍范圍之內(nèi)。一旦受控設(shè)備中包含智能化系統(tǒng)時就極富挑戰(zhàn)——這也是目前面臨的新問題。
硬件隨機(jī)性失效避免要求組成安全相關(guān)系統(tǒng)的硬件系統(tǒng)必須具有足夠的可靠性、足夠的容錯能力和診斷覆蓋率,系統(tǒng)性失效避免則要避免所有可能導(dǎo)致系統(tǒng)性失效的錯誤和故障,如軟件功能安全、環(huán)境適應(yīng)性、檢測到故障時的系統(tǒng)行為等。
功能安全標(biāo)準(zhǔn)規(guī)定了各種原則、方法,是多個行業(yè)多年經(jīng)驗的總結(jié),對于提高復(fù)雜控制系統(tǒng)與保護(hù)系統(tǒng)執(zhí)行功能的可靠性,具有十分重要的指導(dǎo)意義。
MCAS存在的功能安全問題
埃塞俄比亞航空和獅航墜機(jī)事故原因都聚焦在波音737MAX8飛機(jī)的MCAS上。MCAS是一個安全相關(guān)系統(tǒng),從功能安全視角看,它存在多個問題。
首先是設(shè)計缺陷,體現(xiàn)在:第一,波音公司在加裝MCAS系統(tǒng)時,忽視了發(fā)動機(jī)更改會使飛機(jī)容易在大迎角飛行時失速,違背了本質(zhì)安全原則;第二,對MCAS系統(tǒng)的危險評估定為有害等級而不是災(zāi)難級,定級有誤,說明設(shè)計者對MCAS失效可能造成的后果嚴(yán)重性估計不足,對這個系統(tǒng)的軟硬件都沒有配置足夠的魯棒性;第三,系統(tǒng)容錯能力不足,即使是有害等級,MCAS系統(tǒng)僅采集左側(cè)傳感器數(shù)據(jù)作為啟動條件也是不符合要求的;第四,對安全關(guān)鍵部件(如攻角傳感器)的故障,沒有診斷和報警;第五,出現(xiàn)死亡俯沖時,沒有明顯提示警告機(jī)組人員;第六,波音公司的培訓(xùn)資料從未提及該項功能,也沒有任何特別的培訓(xùn)課程。
其次是維護(hù)和操作問題。一個細(xì)節(jié)是,獅航飛機(jī)空難前帶著這個故障飛行了4次之多,事故前一天還出現(xiàn)過機(jī)頭持續(xù)下壓的危險狀況,直到飛行員關(guān)閉MCAS才安全降落。此外,獅航的維修工作及程序未能解決涉事客機(jī)的問題,而客機(jī)關(guān)鍵零件(攻角傳感器)的安裝及校準(zhǔn)記錄不完整未受到重視。
最后是監(jiān)管問題。波音737MAX8在美聯(lián)邦航空管理局進(jìn)行新飛機(jī)的安全批準(zhǔn)時,為了加快進(jìn)度,把該機(jī)型MCAS系統(tǒng)的安全評估交給了波音,并要求工程師加快檢查進(jìn)度。這極大降低了監(jiān)管的力度和有效性。同時,這也違反了功能安全標(biāo)準(zhǔn)的規(guī)定,“對于失效后會導(dǎo)致嚴(yán)重后果的安全相關(guān)系統(tǒng),必須由獨(dú)立的第三方評估后給出合格與否的結(jié)論”。
此外,波音提交的報告數(shù)據(jù)與實(shí)際不符,評估報告未發(fā)現(xiàn)MCAS的諸多設(shè)計缺陷,評估未要求飛行手冊上標(biāo)注MCAS且未要求特別的培訓(xùn)等,都是監(jiān)管上的紕漏。
功能安全標(biāo)準(zhǔn)要求采用全生命周期來管理安全相關(guān)系統(tǒng),設(shè)計者有責(zé)任設(shè)計高安全完整性等級的安全相關(guān)系統(tǒng),維護(hù)者有責(zé)任維護(hù)安全相關(guān)系統(tǒng),監(jiān)管者有責(zé)任獨(dú)立評估安全相關(guān)系統(tǒng)的功能安全性能。但如果在設(shè)計上存在本質(zhì)缺陷,那么僅靠維護(hù)難以提高安全相關(guān)系統(tǒng)執(zhí)行功能的可靠性。設(shè)計者要考慮到維護(hù)者和使用者的能力限制。
新技術(shù)下復(fù)雜系統(tǒng)
面臨更多安全挑戰(zhàn)
聯(lián)想到獅航飛行員努力奮斗拉了33次機(jī)頭仍失敗墜機(jī),聽到埃塞俄比亞航空的飛行員驚恐地報告無法控制飛機(jī)的聲音,所有人都會心疼不已。我們不禁要問,在智能化時代,我們應(yīng)如何趨利避害?
從智能制造到人工智能、從5G到工業(yè)互聯(lián)網(wǎng),新的熱點(diǎn)層出不窮,新的技術(shù)不斷更新?lián)Q代,智能化系統(tǒng)越來越復(fù)雜?;ヂ?lián)互通、信息集成,要將系統(tǒng)所有邊界情況一網(wǎng)打盡是天方夜譚。這種情況下,無論是設(shè)計者還是監(jiān)管部門都嚴(yán)重缺乏經(jīng)驗,面臨“你不知道自己不知道什么”的困境。
我們批評波音自己對自己的系統(tǒng)進(jìn)行評估,但實(shí)際上,對于類似MCAS這樣的系統(tǒng),監(jiān)管部門的理解和評測能力很可能不足,也沒有相應(yīng)的標(biāo)準(zhǔn)。對復(fù)雜的智能化系統(tǒng)進(jìn)行功能安全評測一直是業(yè)內(nèi)難題。
在智能化系統(tǒng)控制的飛機(jī)、自動駕駛汽車、現(xiàn)代化的工廠中,人的錯誤可能是導(dǎo)致事故的重要原因。比如2009年6月1日法航447墜落事件中,空速管結(jié)冰導(dǎo)致飛行控制系統(tǒng)進(jìn)入故障模式,副駕駛持續(xù)拉桿的錯誤動作導(dǎo)致飛機(jī)失速墜落。在波音這架飛機(jī)上,駕駛員與MCAS一直在搶奪控制權(quán),最終駕駛員失敗了。在危急時刻,該聽誰的?這需要針對每個功能進(jìn)行認(rèn)真研究。
另外,機(jī)器學(xué)習(xí)具有“黑箱”特質(zhì)(不確定性),面對相同情況時可能會產(chǎn)生不同結(jié)果。數(shù)據(jù)采集和學(xué)習(xí)系統(tǒng)的不完善,也可能導(dǎo)致無意的偏差和數(shù)據(jù)失真問題。以自動駕駛汽車為例,機(jī)器學(xué)習(xí)訓(xùn)練的自動駕駛汽車很有可能在學(xué)習(xí)了相關(guān)“學(xué)習(xí)資料”之后,仍會選擇徑直撞向穿熒光綠色背心的建筑工人。
因此,當(dāng)我們推行智能化與人工智能技術(shù)時,必須同步研究功能安全。
為智能制造保駕護(hù)航
波音飛機(jī)墜機(jī)事件不是孤立的功能安全事故案例。近年來的特斯拉和優(yōu)步自動駕駛汽車事故、大眾汽車變速箱機(jī)電單元問題導(dǎo)致汽車失速事故、遼寧鋼鐵廠鋼包控制系統(tǒng)功能失效事故、美國得州煉油廠因液位計失靈導(dǎo)致的爆炸事故等,都是由于設(shè)備故障導(dǎo)致系統(tǒng)失控,最終發(fā)生嚴(yán)重事故。
面對更新?lián)Q代的新技術(shù)和“層出不窮”的熱點(diǎn),我們必須理解風(fēng)險埋藏在哪里,能夠識別出那些未知且不安全的部分,然后將它們的風(fēng)險控制在可容忍范圍之內(nèi),對它們進(jìn)行區(qū)分,拿出化解風(fēng)險的方案并對其進(jìn)行驗證。需要制定標(biāo)準(zhǔn)規(guī)范行業(yè)行為,比如,制定安全標(biāo)準(zhǔn)以規(guī)范數(shù)據(jù)采集和學(xué)習(xí)系統(tǒng)的開發(fā)行為,從而減少人工智能系統(tǒng)無意的偏差和數(shù)據(jù)失真問題。
埃塞俄比亞航空和獅航空難是巨大的悲劇,所有新技術(shù)失敗導(dǎo)致的事故都是人為的災(zāi)難??吹竭@些災(zāi)難,不禁對智能化和人工智能等新技術(shù)心存敬畏。希望我們能深入研究功能安全技術(shù),用標(biāo)準(zhǔn)和法規(guī)來保障新技術(shù)在安全的框架內(nèi)發(fā)展。而任何一項新技術(shù),也只有在解決了安全問題之后,才能真正為用戶所接受。
(作者系機(jī)械工業(yè)儀器儀表綜合技術(shù)經(jīng)濟(jì)研究所副總工程師、功能安全中心主任,國家安全生產(chǎn)專家組成員,國際權(quán)威機(jī)構(gòu)認(rèn)證的功能安全專家。)