失敗類型

1. 程序問題
2. 進程崩潰
3. 硬&#x#x4EF6;問題

失敗處理

任務失敗

1. 運行時異?；蛘逬VM退出都會報告給ApplicationMaster
2. 通過心跳來檢查掛住的任務(timeout)，會檢查多次（可配置）才判斷該任務是否失效
3. 一個作業(yè)的任務失敗率超過配置，則認為該作業(yè)失敗
4. 失敗的任務或作業(yè)都會有ApplicationMaster重新運行

ApplicationMaster失敗

1. ApplicationMaster定時發(fā)送心跳信號到ResourceManager，通常一旦ApplicationMaster失敗，則認為失敗，但也可以通過配置多次后才失敗
2. 一&##x65E6;ApplicationMaster失敗，ResourceManager會啟動一個新的ApplicationMaster
3. 新的ApplicationMaster負責恢復之前錯誤的ApplicationMaster的狀態(tài)(yarn.app.mapreduce.am.job.recovery.enable=true)，這一步是通過將應用運行狀態(tài)保存到共享的存儲上來實現(xiàn)的，ResourceManager不會負責任務狀態(tài)的保存和恢復
4. Client也會定時向ApplicationMaster查詢進度和狀態(tài)，一旦發(fā)現(xiàn)其失敗，則向ResouceManager詢問新的ApplicationMaster

NodeManager失敗

1. NodeManager定時發(fā)送心跳到ResourceManager，如果超過一段時間沒有收到心跳消息，ResourceManager就會將其移除
2. 任何運行在該NodeManager上的#x7684;任務和ApplicationMaster都會在其他NodeManager上進行恢復
3. 如果某個NodeManager失敗的次數(shù)太多，ApplicationMaster會將其加入黑名單（ResourceManager沒有），任務調(diào)度時不在其上運行任務

ResourceManager失敗

1. 通過checkpoint機制，定時將其狀態(tài)保存到磁盤，然后失敗的時候，重新運行
2. 通過zookeeper同步狀態(tài)和實現(xiàn)透明的HA

可以看出，一般的錯誤處理都是由當前模塊的父模塊進行監(jiān)控（心跳）和恢復。而最頂端的模塊則通過定時保存、同步狀態(tài)和zookeeper來?#x5B9E;現(xiàn)HA