在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 問(wèn)答/Python  數(shù)據(jù)庫(kù)/ 70w+數(shù)據(jù)如何處理。

70w+數(shù)據(jù)如何處理。

數(shù)據(jù)結(jié)構(gòu)如下:最多4級(jí)。有70w+ 數(shù)據(jù),現(xiàn)在想查詢并進(jìn)行分類處理。按城市區(qū)域劃分等級(jí)。我的想法是想一次性查出來(lái),進(jìn)行遞歸處理。但是現(xiàn)在出現(xiàn)問(wèn)題。我用mongoose find會(huì)超時(shí);請(qǐng)問(wèn)如何處理這些數(shù)據(jù)達(dá)到我想要的。

{
    "_id" : ObjectId("59df0ea9c43b39bc29e7355e"),
    "id" : 1,
    "parent_id" : 0,
    "level" : 0,
    "area_code" : NumberLong(110000000000),
    "zip_code" : 0,
    "city_code" : "",
    "name" : "北京市",
    "short_name" : "北京",
    "merger_name" : "北京",
    "pinyin" : "BeiJing",
    "lng" : 116.407526,
    "lat" : 39.90403
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e7355f"),
    "id" : 2,
    "parent_id" : 1,
    "level" : 1,
    "area_code" : NumberLong(110100000000),
    "zip_code" : 100000,
    "city_code" : 10,
    "name" : "直轄區(qū)",
    "short_name" : "北京",
    "merger_name" : "北京",
    "pinyin" : "BeiJing",
    "lng" : 116.407526,
    "lat" : 39.90403
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e73560"),
    "id" : 3,
    "parent_id" : 2,
    "level" : 2,
    "area_code" : NumberLong(110101000000),
    "zip_code" : 100000,
    "city_code" : 10,
    "name" : "東城區(qū)",
    "short_name" : "東城",
    "merger_name" : "北京,東城",
    "pinyin" : "DongCheng",
    "lng" : 116.416357,
    "lat" : 39.928353
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e73561"),
    "id" : 4,
    "parent_id" : 3,
    "level" : 3,
    "area_code" : NumberLong(110101001000),
    "zip_code" : 100006,
    "city_code" : 10,
    "name" : "東華門街道辦事處",
    "short_name" : "東華門",
    "merger_name" : "北京,東城,東華門",
    "pinyin" : "DongHuaMen",
    "lng" : 116.406708,
    "lat" : 39.914219
}
{
    "_id" : ObjectId("59df0ea9c43b39bc29e73562"),
    "id" : 5,
    "parent_id" : 4,
    "level" : 4,
    "area_code" : NumberLong(110101001001),
    "zip_code" : 100010,
    "city_code" : 10,
    "name" : "多福巷社區(qū)居委會(huì)",
    "short_name" : "多福巷",
    "merger_name" : "北京,東城,東華門,多福巷",
    "pinyin" : "DuoFuXiang",
    "lng" : 116.412747,
    "lat" : 39.923014
}
回答
編輯回答
選擇

為什么不每次只取最后一條,分類了好就刪了或做個(gè)標(biāo)識(shí),然后while.

2018年6月15日 19:54
編輯回答
我以為

無(wú)論哪個(gè)數(shù)據(jù)庫(kù)對(duì)于數(shù)據(jù)操作的態(tài)度是一樣的,盡可能只取你需要的部分。除了是做報(bào)表或數(shù)據(jù)導(dǎo)出,很少是真的需要這么多數(shù)據(jù),所以第一個(gè)問(wèn)題是你是不是真的需要70w數(shù)據(jù)(因?yàn)闆](méi)說(shuō)說(shuō)明是在做什么,我只是根據(jù)經(jīng)驗(yàn)推測(cè)??赡艿脑捳?qǐng)解釋一下這些數(shù)據(jù)的具體作用是什么)?
對(duì)于超時(shí),不知道find的條件是什么,數(shù)據(jù)總量有多少,索引是否合適,所以也不好說(shuō)問(wèn)題在哪里,可能在數(shù)據(jù)庫(kù),也可能是你的應(yīng)用處理不過(guò)來(lái)。
最后說(shuō)說(shuō)數(shù)據(jù)本身的問(wèn)題。從數(shù)據(jù)看,你要做的大概是把這些數(shù)據(jù)拼成一個(gè)樹狀圖。不過(guò)我不知道你拼好之后打算怎么用。比如

  1. 知道北京,東城查出下面所有的街道(從上往下);
  2. 知道多福巷查出街道、區(qū)、市(從下往上);

2沒(méi)什么好說(shuō)的,根據(jù)多福巷直接可以找到前面幾級(jí)。比較麻煩的是1。但是數(shù)據(jù)庫(kù)的設(shè)計(jì)者其實(shí)已經(jīng)為你想好了,你們可以先溝通一下。還是上面1的例子:

db.<collection>.find({merger_name: /^北京,東城/})

即可查出東華門多福巷。這個(gè)查詢可以命中索引

db.<collection>.createIndex({merger_name: 1})

如果上面的猜測(cè)不對(duì),還請(qǐng)你再說(shuō)明一下更具體的需求。

2018年1月8日 03:42