中國(guó)自動(dòng)化學(xué)會(huì)專(zhuān)家咨詢(xún)工作委員會(huì)指定宣傳媒體
新聞詳情
gkongbbs

波音客機(jī)墜機(jī)的啟示: 警惕智造系統(tǒng)功能安全隱患

http://m.casecurityhq.com 2019-03-29 09:14 來(lái)源:史學(xué)玲

圖為印尼獅航波音737 MAX 8客機(jī)。據(jù)報(bào)道,印尼獅航是波音公司737 MAX飛機(jī)的最大客戶(hù)之一,正在考慮改用空客SE,計(jì)劃暫停與美國(guó)飛機(jī)制造商簽訂的現(xiàn)有訂單。圖片來(lái)源:視覺(jué)中國(guó)

最近波音飛機(jī)的墜落,嚴(yán)格說(shuō)是人工智能影響人類(lèi)的災(zāi)難性事件,也是智能化系統(tǒng)功能失效的典型案例。

波音737MAX8是波音成熟度最高的機(jī)型,燃料消耗是同類(lèi)機(jī)型的30%,但發(fā)動(dòng)機(jī)更改導(dǎo)致飛機(jī)機(jī)頭容易抬高。因此,它使用了一個(gè)機(jī)動(dòng)特性增強(qiáng)系統(tǒng)(MCAS),在飛機(jī)迎角過(guò)大時(shí)該系統(tǒng)會(huì)自動(dòng)下調(diào)機(jī)頭以進(jìn)入它設(shè)定的安全狀態(tài)。但從最近發(fā)生的事故來(lái)看,MCAS更像波音公司在737MAX8飛機(jī)上埋的炸彈。

獅航空難事故調(diào)查已有結(jié)論,其直接原因是機(jī)頭左側(cè)攻角傳感器故障,使MCAS錯(cuò)誤地連續(xù)26次進(jìn)入自殺式俯沖。獅航飛行員曾33次試圖拉升機(jī)頭,但最終人工操作沒(méi)能成功糾偏。埃塞俄比亞航空空難事故調(diào)查還在進(jìn)行,但從已經(jīng)披露的信息可以判斷,飛機(jī)在起飛后,連續(xù)出現(xiàn)了爬升和下降兩種飛行姿態(tài),飛行員稱(chēng)無(wú)法控制飛機(jī),最后導(dǎo)致墜毀。

這兩起事故都是智能化系統(tǒng)功能錯(cuò)誤導(dǎo)致的飛機(jī)失控,屬功能安全事故。

什么是功能安全

功能安全是一門(mén)安全工程學(xué)科,專(zhuān)門(mén)研究復(fù)雜控制系統(tǒng)的功能失效避免。它的基礎(chǔ)標(biāo)準(zhǔn)是2000年發(fā)布的IEC61508。近20年來(lái),針對(duì)各領(lǐng)域的安全相關(guān)系統(tǒng),已經(jīng)發(fā)展出一個(gè)標(biāo)準(zhǔn)族群。

功能安全主要從3個(gè)方向展開(kāi)研究:預(yù)期功能安全、硬件隨機(jī)性失效避免和系統(tǒng)性失效避免。其中,預(yù)期功能安全是系統(tǒng)性失效的一部分,它要求全面識(shí)別受控設(shè)備中的所有危險(xiǎn),并把風(fēng)險(xiǎn)控制在可容忍范圍之內(nèi)。一旦受控設(shè)備中包含智能化系統(tǒng)時(shí)就極富挑戰(zhàn)——這也是目前面臨的新問(wèn)題。

硬件隨機(jī)性失效避免要求組成安全相關(guān)系統(tǒng)的硬件系統(tǒng)必須具有足夠的可靠性、足夠的容錯(cuò)能力和診斷覆蓋率,系統(tǒng)性失效避免則要避免所有可能導(dǎo)致系統(tǒng)性失效的錯(cuò)誤和故障,如軟件功能安全、環(huán)境適應(yīng)性、檢測(cè)到故障時(shí)的系統(tǒng)行為等。

功能安全標(biāo)準(zhǔn)規(guī)定了各種原則、方法,是多個(gè)行業(yè)多年經(jīng)驗(yàn)的總結(jié),對(duì)于提高復(fù)雜控制系統(tǒng)與保護(hù)系統(tǒng)執(zhí)行功能的可靠性,具有十分重要的指導(dǎo)意義。

MCAS存在的功能安全問(wèn)題

埃塞俄比亞航空和獅航墜機(jī)事故原因都聚焦在波音737MAX8飛機(jī)的MCAS上。MCAS是一個(gè)安全相關(guān)系統(tǒng),從功能安全視角看,它存在多個(gè)問(wèn)題。

首先是設(shè)計(jì)缺陷,體現(xiàn)在:第一,波音公司在加裝MCAS系統(tǒng)時(shí),忽視了發(fā)動(dòng)機(jī)更改會(huì)使飛機(jī)容易在大迎角飛行時(shí)失速,違背了本質(zhì)安全原則;第二,對(duì)MCAS系統(tǒng)的危險(xiǎn)評(píng)估定為有害等級(jí)而不是災(zāi)難級(jí),定級(jí)有誤,說(shuō)明設(shè)計(jì)者對(duì)MCAS失效可能造成的后果嚴(yán)重性估計(jì)不足,對(duì)這個(gè)系統(tǒng)的軟硬件都沒(méi)有配置足夠的魯棒性;第三,系統(tǒng)容錯(cuò)能力不足,即使是有害等級(jí),MCAS系統(tǒng)僅采集左側(cè)傳感器數(shù)據(jù)作為啟動(dòng)條件也是不符合要求的;第四,對(duì)安全關(guān)鍵部件(如攻角傳感器)的故障,沒(méi)有診斷和報(bào)警;第五,出現(xiàn)死亡俯沖時(shí),沒(méi)有明顯提示警告機(jī)組人員;第六,波音公司的培訓(xùn)資料從未提及該項(xiàng)功能,也沒(méi)有任何特別的培訓(xùn)課程。

其次是維護(hù)和操作問(wèn)題。一個(gè)細(xì)節(jié)是,獅航飛機(jī)空難前帶著這個(gè)故障飛行了4次之多,事故前一天還出現(xiàn)過(guò)機(jī)頭持續(xù)下壓的危險(xiǎn)狀況,直到飛行員關(guān)閉MCAS才安全降落。此外,獅航的維修工作及程序未能解決涉事客機(jī)的問(wèn)題,而客機(jī)關(guān)鍵零件(攻角傳感器)的安裝及校準(zhǔn)記錄不完整未受到重視。

最后是監(jiān)管問(wèn)題。波音737MAX8在美聯(lián)邦航空管理局進(jìn)行新飛機(jī)的安全批準(zhǔn)時(shí),為了加快進(jìn)度,把該機(jī)型MCAS系統(tǒng)的安全評(píng)估交給了波音,并要求工程師加快檢查進(jìn)度。這極大降低了監(jiān)管的力度和有效性。同時(shí),這也違反了功能安全標(biāo)準(zhǔn)的規(guī)定,“對(duì)于失效后會(huì)導(dǎo)致嚴(yán)重后果的安全相關(guān)系統(tǒng),必須由獨(dú)立的第三方評(píng)估后給出合格與否的結(jié)論”。

此外,波音提交的報(bào)告數(shù)據(jù)與實(shí)際不符,評(píng)估報(bào)告未發(fā)現(xiàn)MCAS的諸多設(shè)計(jì)缺陷,評(píng)估未要求飛行手冊(cè)上標(biāo)注MCAS且未要求特別的培訓(xùn)等,都是監(jiān)管上的紕漏。

功能安全標(biāo)準(zhǔn)要求采用全生命周期來(lái)管理安全相關(guān)系統(tǒng),設(shè)計(jì)者有責(zé)任設(shè)計(jì)高安全完整性等級(jí)的安全相關(guān)系統(tǒng),維護(hù)者有責(zé)任維護(hù)安全相關(guān)系統(tǒng),監(jiān)管者有責(zé)任獨(dú)立評(píng)估安全相關(guān)系統(tǒng)的功能安全性能。但如果在設(shè)計(jì)上存在本質(zhì)缺陷,那么僅靠維護(hù)難以提高安全相關(guān)系統(tǒng)執(zhí)行功能的可靠性。設(shè)計(jì)者要考慮到維護(hù)者和使用者的能力限制。

新技術(shù)下復(fù)雜系統(tǒng)

面臨更多安全挑戰(zhàn)

聯(lián)想到獅航飛行員努力奮斗拉了33次機(jī)頭仍失敗墜機(jī),聽(tīng)到埃塞俄比亞航空的飛行員驚恐地報(bào)告無(wú)法控制飛機(jī)的聲音,所有人都會(huì)心疼不已。我們不禁要問(wèn),在智能化時(shí)代,我們應(yīng)如何趨利避害?

從智能制造到人工智能、從5G到工業(yè)互聯(lián)網(wǎng),新的熱點(diǎn)層出不窮,新的技術(shù)不斷更新?lián)Q代,智能化系統(tǒng)越來(lái)越復(fù)雜。互聯(lián)互通、信息集成,要將系統(tǒng)所有邊界情況一網(wǎng)打盡是天方夜譚。這種情況下,無(wú)論是設(shè)計(jì)者還是監(jiān)管部門(mén)都嚴(yán)重缺乏經(jīng)驗(yàn),面臨“你不知道自己不知道什么”的困境。

我們批評(píng)波音自己對(duì)自己的系統(tǒng)進(jìn)行評(píng)估,但實(shí)際上,對(duì)于類(lèi)似MCAS這樣的系統(tǒng),監(jiān)管部門(mén)的理解和評(píng)測(cè)能力很可能不足,也沒(méi)有相應(yīng)的標(biāo)準(zhǔn)。對(duì)復(fù)雜的智能化系統(tǒng)進(jìn)行功能安全評(píng)測(cè)一直是業(yè)內(nèi)難題。

在智能化系統(tǒng)控制的飛機(jī)、自動(dòng)駕駛汽車(chē)、現(xiàn)代化的工廠中,人的錯(cuò)誤可能是導(dǎo)致事故的重要原因。比如2009年6月1日法航447墜落事件中,空速管結(jié)冰導(dǎo)致飛行控制系統(tǒng)進(jìn)入故障模式,副駕駛持續(xù)拉桿的錯(cuò)誤動(dòng)作導(dǎo)致飛機(jī)失速墜落。在波音這架飛機(jī)上,駕駛員與MCAS一直在搶奪控制權(quán),最終駕駛員失敗了。在危急時(shí)刻,該聽(tīng)誰(shuí)的?這需要針對(duì)每個(gè)功能進(jìn)行認(rèn)真研究。

另外,機(jī)器學(xué)習(xí)具有“黑箱”特質(zhì)(不確定性),面對(duì)相同情況時(shí)可能會(huì)產(chǎn)生不同結(jié)果。數(shù)據(jù)采集和學(xué)習(xí)系統(tǒng)的不完善,也可能導(dǎo)致無(wú)意的偏差和數(shù)據(jù)失真問(wèn)題。以自動(dòng)駕駛汽車(chē)為例,機(jī)器學(xué)習(xí)訓(xùn)練的自動(dòng)駕駛汽車(chē)很有可能在學(xué)習(xí)了相關(guān)“學(xué)習(xí)資料”之后,仍會(huì)選擇徑直撞向穿熒光綠色背心的建筑工人。

因此,當(dāng)我們推行智能化與人工智能技術(shù)時(shí),必須同步研究功能安全。

為智能制造保駕護(hù)航

波音飛機(jī)墜機(jī)事件不是孤立的功能安全事故案例。近年來(lái)的特斯拉和優(yōu)步自動(dòng)駕駛汽車(chē)事故、大眾汽車(chē)變速箱機(jī)電單元問(wèn)題導(dǎo)致汽車(chē)失速事故、遼寧鋼鐵廠鋼包控制系統(tǒng)功能失效事故、美國(guó)得州煉油廠因液位計(jì)失靈導(dǎo)致的爆炸事故等,都是由于設(shè)備故障導(dǎo)致系統(tǒng)失控,最終發(fā)生嚴(yán)重事故。

面對(duì)更新?lián)Q代的新技術(shù)和“層出不窮”的熱點(diǎn),我們必須理解風(fēng)險(xiǎn)埋藏在哪里,能夠識(shí)別出那些未知且不安全的部分,然后將它們的風(fēng)險(xiǎn)控制在可容忍范圍之內(nèi),對(duì)它們進(jìn)行區(qū)分,拿出化解風(fēng)險(xiǎn)的方案并對(duì)其進(jìn)行驗(yàn)證。需要制定標(biāo)準(zhǔn)規(guī)范行業(yè)行為,比如,制定安全標(biāo)準(zhǔn)以規(guī)范數(shù)據(jù)采集和學(xué)習(xí)系統(tǒng)的開(kāi)發(fā)行為,從而減少人工智能系統(tǒng)無(wú)意的偏差和數(shù)據(jù)失真問(wèn)題。

埃塞俄比亞航空和獅航空難是巨大的悲劇,所有新技術(shù)失敗導(dǎo)致的事故都是人為的災(zāi)難??吹竭@些災(zāi)難,不禁對(duì)智能化和人工智能等新技術(shù)心存敬畏。希望我們能深入研究功能安全技術(shù),用標(biāo)準(zhǔn)和法規(guī)來(lái)保障新技術(shù)在安全的框架內(nèi)發(fā)展。而任何一項(xiàng)新技術(shù),也只有在解決了安全問(wèn)題之后,才能真正為用戶(hù)所接受。

(作者系機(jī)械工業(yè)儀器儀表綜合技術(shù)經(jīng)濟(jì)研究所副總工程師、功能安全中心主任,國(guó)家安全生產(chǎn)專(zhuān)家組成員,國(guó)際權(quán)威機(jī)構(gòu)認(rèn)證的功能安全專(zhuān)家。)

版權(quán)所有 中華工控網(wǎng) Copyright?2024 Gkong.com, All Rights Reserved