start-all 方式啟動(dòng) spark 集群，沒(méi)有出現(xiàn) Master進(jìn)程？

最開(kāi)始啟動(dòng)了 spark，hdfs，yarn 成功，但是長(zhǎng)時(shí)間后，發(fā)現(xiàn)無(wú)法正常提交 spark任務(wù)了，老是出現(xiàn)類似于如下錯(cuò)誤。"INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); maxRetries=45"
然后我想停止 spark 等，但是發(fā)現(xiàn)無(wú)法 stop。
參照網(wǎng)上的方法重新建立 SPARK_PID_DIR 目錄，并設(shè)置了 spark-env、hadoop-env和yarn-env 文件中的 PID_DIR，發(fā)現(xiàn)還是不可以。
然后直接殺掉了所有 jps 后出現(xiàn)的進(jìn)程。
再次啟動(dòng) hdfs、yarn成功，但是啟動(dòng) spark后，對(duì)應(yīng)的 SPARK_PID_DIR 路徑下出現(xiàn)了spark-wangyichao-org.apache.spark.deploy.worker.Worker-1.pid 和 spark-wangyichao-org.apache.spark.deploy.master.Master-1.pid 文件，但是jps后沒(méi)有出現(xiàn) Master進(jìn)程。
運(yùn)行spark任務(wù)，依舊出現(xiàn)"INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); maxRetries=45"
不知該咋整了，小弟新手，求指教

回答

編輯回答

話寡

最開(kāi)始啟動(dòng)了 spark，hdfs，yarn 成功

lz究竟是Spark集群還是Spark on yarn?

2017年5月6日 16:36

熱門機(jī)構(gòu)

北大青鳥昌平校區(qū)

北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景，秉承“教育改變生活”的發(fā)展理念，致力于培養(yǎng)中國(guó)IT技能型緊缺人才，是大數(shù)據(jù)專業(yè)的國(guó)家
達(dá)內(nèi)教育

達(dá)內(nèi)教育集團(tuán)成立于2002年，是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu)，是中國(guó)一站式人才培養(yǎng)平臺(tái)、一站式人才輸送平臺(tái)。2014年4月3日在美國(guó)成功上市，融資1
北大課工場(chǎng)

北大課工場(chǎng)是北京大學(xué)校辦產(chǎn)業(yè)為響應(yīng)國(guó)家深化產(chǎn)教融合／校企合作的政策，積極推進(jìn)“中國(guó)制造2025”，實(shí)現(xiàn)中華民族偉大復(fù)興的升級(jí)產(chǎn)業(yè)鏈。利用北京大學(xué)優(yōu)質(zhì)教育資源及背
博為峰

博為峰，中國(guó)職業(yè)人才培訓(xùn)領(lǐng)域的先行者

熱門課程

熱門教師

劉國(guó)斌Java講師

曾工作于聯(lián)想擔(dān)任系統(tǒng)開(kāi)發(fā)工程師，曾在博彥科技股份有限公司擔(dān)任項(xiàng)目經(jīng)理從事移動(dòng)互聯(lián)網(wǎng)管理及研發(fā)工作，曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
王克晶Java講師

浪潮集團(tuán)項(xiàng)目經(jīng)理。精通Java與.NET 技術(shù)，熟練的跨平臺(tái)面向?qū)ο箝_(kāi)發(fā)經(jīng)驗(yàn)，技術(shù)功底深厚。授課風(fēng)格授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
張老師web前端講師

精通HTML5和CSS3；Javascript及主流js庫(kù)，具有快速界面開(kāi)發(fā)的能力，對(duì)瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁(yè)制作和網(wǎng)頁(yè)游戲開(kāi)發(fā)。
劉蒼松Java教研總監(jiān)

具有10 年的Java 企業(yè)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)。曾經(jīng)歷任德國(guó)Software AG 技術(shù)顧問(wèn)，美國(guó)Dachieve 系統(tǒng)架構(gòu)師，美國(guó)AngelEngineers Inc. 系統(tǒng)架構(gòu)師。

熱門城市

start-all 方式啟動(dòng) spark 集群，沒(méi)有出現(xiàn) Master進(jìn)程？