今天查詢線上MongoDB的慢查詢日志的時候 發(fā)現(xiàn)了一些問題
問題一
表總數(shù)是1007422 卻看到這樣的輸出信息
keysExamined:4946620 docsExamined:1007409
怎么keysExamined可以超過總數(shù)嗎?
問題二
查詢數(shù)據(jù) limit:50 應用日志輸出的查詢總數(shù)明明是50 但是MongoDB的日志卻顯示只有31條
nreturned:31 reslen:1122746
怎么MongoDB的日志不準嗎?
補充
Java代碼
MongoCursor<Document> cursor = collection.find(queryDocument)
.projection(new Document(XXX, 1))
.limit(50)
.iterator();
List<Document> list = new ArrayList<>();
while (cursor.hasNext()) {
Document document = cursor.next();
//...
list.add(document);
}
logger.info("query count: {}", list.size());
慢查詢日志
2018-04-18T10:38:34.540+0000 I COMMAND [conn307438] command foo.bar command: find ..., limit: 50, shardVersion: [ Timestamp 0|0, ObjectId('000000000000000000000000') ] } planSummary: IXSCAN { created_at: -1.0 } cursorid:156438606875 keysExamined:68 docsExamined:68 fromMultiPlanner:1 keyUpdates:0 writeConflicts:0 numYields:9 nreturned:31 reslen:1122746 locks:{ Global: { acquireCount: { r: 20 } }, Database: { acquireCount: { r: 10 } }, Collection: { acquireCount: { r: 10 } } } protocol:op_command 115ms
應用日志
[2018-04-18T18:38:37,446+08:00] INFO [http-nio-8080-exec-4] impl.MongoDataSourceServiceImpl - query count: 50
為什么MongoDB日志顯示返回31條 但是應用日志卻輸出的是50條
并且奇怪的是 好像只有查出的正好是50條的時候 才會有對不上的情況 如果查詢的數(shù)目小于50條能對的上 如
2018-04-18T10:54:44.635+0000 I COMMAND [conn307262] command foo.bar command: find ..., limit: 50, shardVersion: [ Timestamp 0|0, ObjectId('000000000000000000000000') ] } planSummary: IXSCAN { create_at: -1.0, xxx: -1.0 } keysExamined:4946661 docsExamined:1007422 fromMultiPlanner:1 replanned:1 cursorExhausted:1 keyUpdates:0 writeConflicts:0 numYields:87908 nreturned:14 reslen:136050 locks:{ Global: { acquireCount: { r: 175818 } }, Database: { acquireCount: { r: 87909 }, acquireWaitCount: { r: 6 }, timeAcquiringMicros: { r: 148774 } }, Collection: { acquireCount: { r: 87909 } } } protocol:op_command 967269ms
[2018-04-18T18:54:44,935+08:00] INFO [http-nio-8080-exec-4] impl.MongoDataSourceServiceImpl - query count: 14
只有正好查出是50條 才會有不一致的情況 如下面的這個又不一致了
2018-04-18T11:32:45.426+0000 I COMMAND [conn308123] command foo.bar command: find ..., limit: 50, shardVersion: [ Timestamp 0|0, ObjectId('000000000000000000000000') ] } planSummary: IXSCAN { xxx: -1.0, xxx: -1.0, xxx: -1.0, xxx: -1.0 } cursorid:155252471899 keysExamined:2770867 docsExamined:395789 keyUpdates:0 writeConflicts:0 numYields:24185 nreturned:12 reslen:1116144 locks:{ Global: { acquireCount: { r: 48372 } }, Database: { acquireCount: { r: 24186 } }, Collection: { acquireCount: { r: 24186 } } } protocol:op_command 154088ms
][2018-04-18T19:32:49,766+08:00] INFO [http-nio-8080-exec-4] impl.MongoDataSourceServiceImpl - query count: 50
但是也有MongoDB日志和應用都是50的情況 所以才讓人弄不清楚是怎么回事
補充:
對不上的情況 似乎MongoDB和應用的日志會有3~4秒的差距
問題二的原因已經(jīng)知道
應用日志
[2018-04-20T16:30:12,517+08:00] INFO [extractScheduler-1] impl.MongoDataSourceServiceImpl - query count 23
MongoDB日志
2018-04-20T08:30:07.988+0000 I COMMAND [conn346778] command foo.bar command: find ..., limit: 50, ... keysExamined:14417 docsExamined:7725 ... nreturned:16 reslen:1284323 ...
2018-04-20T08:30:12.445+0000 I COMMAND [conn346778] command foo.bar command: getMore { getMore: 160602735017, collection: "bar" } ... keysExamined:158029 docsExamined:40333 nreturned:7 reslen:962387 ...
23 = 7 + 16
MongoDB分成兩步來操作的 而getMore可能查詢很快(小于100ms) 沒有慢日志 導致誤以為對不上
北大青鳥APTECH成立于1999年。依托北京大學優(yōu)質雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
達內教育集團成立于2002年,是一家由留學海歸創(chuàng)辦的高端職業(yè)教育培訓機構,是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
北大課工場是北京大學校辦產(chǎn)業(yè)為響應國家深化產(chǎn)教融合/校企合作的政策,積極推進“中國制造2025”,實現(xiàn)中華民族偉大復興的升級產(chǎn)業(yè)鏈。利用北京大學優(yōu)質教育資源及背
博為峰,中國職業(yè)人才培訓領域的先行者
曾工作于聯(lián)想擔任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔任項目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍懿科技有限責任公司從事總經(jīng)理職務負責iOS教學及管理工作。
浪潮集團項目經(jīng)理。精通Java與.NET 技術, 熟練的跨平臺面向對象開發(fā)經(jīng)驗,技術功底深厚。 授課風格 授課風格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應用開發(fā)經(jīng)驗。曾經(jīng)歷任德國Software AG 技術顧問,美國Dachieve 系統(tǒng)架構師,美國AngelEngineers Inc. 系統(tǒng)架構師。