昨天學(xué)習(xí)kafka的時候,網(wǎng)上提到,kafka對于同一個topic是有多個不同的分區(qū)partition的,同一個分區(qū)會有l(wèi)eader和followers,分布在不同的節(jié)點上面,打個比方,有3個kafka節(jié)點,某一個topic有6個分區(qū)。當(dāng)客戶端往kafka發(fā)送信息時,是自己決定放到哪個分區(qū),還是隨意發(fā)到某一個kafka節(jié)點上,由kafka來決定放入哪個分區(qū)呢?為了保證高可用,是不是客戶端應(yīng)該配置多個kafka節(jié)點,當(dāng)某一個節(jié)點掛了,客戶端自動切換到可以使用的節(jié)點上,然而,我在客戶端連接程序的示例中,沒有發(fā)現(xiàn)這樣的配置,zk倒是有多個節(jié)點的配置。
首先kafka生產(chǎn)者并不能將消息發(fā)送到指定broker,消息是必然發(fā)生到leader副本所在的broker的。
假設(shè)你有3個broker,主題有6個分區(qū),那么每個broker將分到2個分。你這里并沒有提到副本,如果副本數(shù)為1,那么這6個分區(qū)唯一的副本就是leader副本。
leader副本是用來處理客戶端的請求的,也包括follower復(fù)制的獲取消息請求。
Kafka的高可用性也是通過副本及復(fù)制機(jī)制實現(xiàn)的(當(dāng)其中一臺包含leader副本的broker奔潰,就會從分布在其他broker的follower副本中選舉leader副本)。
你能做的就是在new ProducerRecord時指定分區(qū),每指定就會根據(jù)你配置的分區(qū)器(不指定就使用默認(rèn)的分區(qū)器根據(jù)你的key(沒指定將隨機(jī)發(fā)送分區(qū))算出消息的分區(qū)。
北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
北大課工場是北京大學(xué)校辦產(chǎn)業(yè)為響應(yīng)國家深化產(chǎn)教融合/校企合作的政策,積極推進(jìn)“中國制造2025”,實現(xiàn)中華民族偉大復(fù)興的升級產(chǎn)業(yè)鏈。利用北京大學(xué)優(yōu)質(zhì)教育資源及背
博為峰,中國職業(yè)人才培訓(xùn)領(lǐng)域的先行者
曾工作于聯(lián)想擔(dān)任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗,技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術(shù)顧問,美國Dachieve 系統(tǒng)架構(gòu)師,美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。