需求
需要查詢統(tǒng)計(jì)提到某一品牌的時(shí)候 同時(shí)提到了哪些其他品牌
目前在MongoDB中是這樣保存品牌的
"brands" : [
"西門(mén)子",
"ABB",
"GE"
],
顯然這種結(jié)構(gòu)很難滿足上述查詢需求 需要使用下面的這種結(jié)構(gòu) 才能支持這種查詢需求
"brand_and_mentioned_brands":[
{
"main_brand": "西門(mén)子",
"mentioned_brands": ["ABB","GE"]
},
{
"main_brand": "ABB",
"mentioned_brands": ["西門(mén)子","GE"]
},
{
"main_brand": "GE",
"mentioned_brands": ["西門(mén)子","ABB"]
}
]
不知道 除了MongoDB外 其他數(shù)據(jù)庫(kù) 如ES等 對(duì)這種查詢需求情況的支持怎么樣?
我的理解這算是數(shù)據(jù)分析的需求了,OLAP的需求依賴一條數(shù)據(jù)庫(kù)查詢直接產(chǎn)出結(jié)果不是很容易,如果是SQL可能會(huì)考慮存儲(chǔ)過(guò)程,MongoDB可選的方法有Map/Reduce和Aggregation,優(yōu)先選擇后者。性能問(wèn)題在這里先不討論,先看看是否能達(dá)到你想要的效果。第二種數(shù)據(jù)結(jié)構(gòu)應(yīng)該沒(méi)有問(wèn)題,第一種結(jié)構(gòu)我的解決方案如下:
db.test.aggregate([
{$project: {brands: "$brands", brands2: "$brands"}},
{$unwind: "$brands"},
{$unwind: "$brands2"},
{$project: {pair: ["$brands", "$brands2"]}},
{$group: {_id: "$pair", count: {$sum: 1}}}
]);
這種方式先復(fù)制一個(gè)brands出來(lái),然后做$unwind相當(dāng)于brands集合自己與自己排列,而你需要的是組合。比如你的示例數(shù)據(jù):
{"brands" : [ "西門(mén)子", "ABB", "GE" ]}
出來(lái)的結(jié)果是:
{ "_id" : [ "GE", "GE" ], "count" : 1 }
{ "_id" : [ "GE", "ABB" ], "count" : 1 }
{ "_id" : [ "GE", "西門(mén)子" ], "count" : 1 }
{ "_id" : [ "ABB", "ABB" ], "count" : 1 }
{ "_id" : [ "ABB", "西門(mén)子" ], "count" : 1 }
{ "_id" : [ "ABB", "GE" ], "count" : 1 }
{ "_id" : [ "西門(mén)子", "GE" ], "count" : 1 }
{ "_id" : [ "西門(mén)子", "ABB" ], "count" : 1 }
{ "_id" : [ "西門(mén)子", "西門(mén)子" ], "count" : 1 }
有些額外的數(shù)據(jù),比如[ "ABB", "ABB" ],[ "西門(mén)子", "ABB" ]/[ "ABB", "西門(mén)子" ]。我暫時(shí)還沒(méi)想到很好的辦法直接在aggregation pipeline中直接過(guò)濾掉這些數(shù)據(jù),不過(guò)應(yīng)該不影響你使用。如果有想到更徹底的辦法我再回來(lái)補(bǔ)充。
求助了一下場(chǎng)外觀眾,aggregation確實(shí)很強(qiáng)大。你可能需要查一下:$map, $reduce, $let, $range這些操作符的用法
db.test.aggregate({
$project: {
tuples: {
$reduce: {
initialValue: [],
input: {
$range: [0, {
$subtract: [{
$size: "$brands"
}, 1]
}]
},
in: {
$let: {
vars: {
i1: "$$this"
},
in: {
$concatArrays: ["$$value", {
$map: {
input: {
$range: [{
$add: [1, "$$i1"]
}, {
$size: "$brands"
}]
},
in: [{
$arrayElemAt: ["$brands", "$$i1"]
}, {
$arrayElemAt: ["$brands", "$$this"]
}]
}
}]
}
}
}
}
}
}
}, {
$unwind: "$tuples"
}, {
$sortByCount: {
$setUnion: "$tuples"
}
})
這個(gè)管道操作本質(zhì)上的意義就是:
for(var i = 0; i < array.length - 1; i++)
for(var j = i + 1; j < array.length - 1; j++) {...}
執(zhí)行結(jié)果:
{ "_id" : [ "GE", "西門(mén)子" ], "count" : 1 }
{ "_id" : [ "ABB", "GE" ], "count" : 1 }
{ "_id" : [ "ABB", "西門(mén)子" ], "count" : 1 }北大青鳥(niǎo)APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國(guó)IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國(guó)家
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國(guó)一站式人才培養(yǎng)平臺(tái)、一站式人才輸送平臺(tái)。2014年4月3日在美國(guó)成功上市,融資1
北大課工場(chǎng)是北京大學(xué)校辦產(chǎn)業(yè)為響應(yīng)國(guó)家深化產(chǎn)教融合/校企合作的政策,積極推進(jìn)“中國(guó)制造2025”,實(shí)現(xiàn)中華民族偉大復(fù)興的升級(jí)產(chǎn)業(yè)鏈。利用北京大學(xué)優(yōu)質(zhì)教育資源及背
博為峰,中國(guó)職業(yè)人才培訓(xùn)領(lǐng)域的先行者
曾工作于聯(lián)想擔(dān)任系統(tǒng)開(kāi)發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項(xiàng)目經(jīng)理從事移動(dòng)互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項(xiàng)目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺(tái)面向?qū)ο箝_(kāi)發(fā)經(jīng)驗(yàn),技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫(kù),具有快速界面開(kāi)發(fā)的能力,對(duì)瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁(yè)制作和網(wǎng)頁(yè)游戲開(kāi)發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)。曾經(jīng)歷任德國(guó)Software AG 技術(shù)顧問(wèn),美國(guó)Dachieve 系統(tǒng)架構(gòu)師,美國(guó)AngelEngineers Inc. 系統(tǒng)架構(gòu)師。