標(biāo)題描述的不夠清楚。
使用golang創(chuàng)建傳統(tǒng)的web服務(wù),通過(guò)路由訪問(wèn)后端接口,在該接口中有較多的數(shù)據(jù)庫(kù)查詢操作,舉個(gè)例子:
func Test() {
go func() {
// 查詢1
}()
go func() {
// 查詢2
}()
go func() {
// 查詢3
}()
}
將查詢(每個(gè)查詢都相互獨(dú)立,沒(méi)有依賴)放到多個(gè)goroutine中,理論上是能夠提高這個(gè)接口的響應(yīng)速度的。那么問(wèn)題來(lái)了,在高并發(fā)的情況下,會(huì)創(chuàng)建大量的goroutine, 在后端是否有必要去做一個(gè)限制goroutine數(shù)量的操作?如何優(yōu)雅的實(shí)現(xiàn)這樣的操作。我大概看了一下網(wǎng)上的文章:
type Grpool struct {
queue chan uint8
wg *sync.WaitGroup
}
func (gp *Grpool) Add(n int) {
for i := 0; i < n; i++ {
gp.queue <- uint8(1)
}
gp.wg.Add(n)
}
func (gp *Grpool) Done() {
<- gp.queue
gp.wg.Done()
}
func (gp *Grpool) Wait() {
gp.wg.Wait()
}
通過(guò)上面的結(jié)構(gòu)來(lái)實(shí)現(xiàn)阻塞wg.Add的操作。但問(wèn)題是我構(gòu)建了一個(gè)全局單例的Grpool對(duì)象:pool, 并且在下面的代碼中進(jìn)行使用:
func Test() {
pool.Add(3)
go func() {
// 查詢1
pool.Done()
}()
go func() {
// 查詢2
pool.Done()
}()
go func() {
// 查詢3
pool.Done()
}()
pool.Wait()
}
但是,在pool.Wait()的時(shí)候是有問(wèn)題的,因?yàn)閜ool是全局單例的,當(dāng)有別的用戶調(diào)用該接口的時(shí)候,pool.Wait可能會(huì)一直處于阻塞狀態(tài)
goroutine池很有必要,可以看看gf框架實(shí)現(xiàn)的grpool: http://gf.johng.cn/504458
在高并發(fā)下grpool的性能比原生的goroutine高出幾倍到數(shù)百倍,具體看下測(cè)試報(bào)告以及測(cè)試代碼。grpool支持工作線程數(shù)量限制,底層是使用channel來(lái)實(shí)現(xiàn)的。我覺(jué)得數(shù)量限不限制主要還是看業(yè)務(wù)場(chǎng)景以及硬件性能,默認(rèn)情況下一般不需要限制。
首先, 我覺(jué)得要不要限制 goroutine 數(shù)量得看瓶頸或關(guān)鍵問(wèn)題點(diǎn).
其次, 全局單例 Grpool 很有問(wèn)題, 以下是 sync.WaitGroup 官方文檔
func (wg *WaitGroup) Add(delta int)
Add adds delta, which may be negative, to the WaitGroup counter.
If the counter becomes zero, all goroutines blocked on Wait are released.
If the counter goes negative, Add panics.
這意味著時(shí)間相近的多個(gè)請(qǐng)求和可能會(huì)綁在一起, 變成多個(gè) pool.Wait() 同時(shí)返回.
以下是資源池的簡(jiǎn)單示例, 希望有益
package main
type Pool struct {
q chan int
}
func NewPool(max_size int) *Pool {
return &Pool{q: make(chan int, max_size)}
}
func (p *Pool) Acquire() {
p.q <- 1
}
func (p *Pool) Release() {
<-p.q
}
func main() {
p := NewPool(10)
p.Acquire()
// ...
p.Release()
}北大青鳥(niǎo)APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國(guó)IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國(guó)家
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國(guó)一站式人才培養(yǎng)平臺(tái)、一站式人才輸送平臺(tái)。2014年4月3日在美國(guó)成功上市,融資1
北大課工場(chǎng)是北京大學(xué)校辦產(chǎn)業(yè)為響應(yīng)國(guó)家深化產(chǎn)教融合/校企合作的政策,積極推進(jìn)“中國(guó)制造2025”,實(shí)現(xiàn)中華民族偉大復(fù)興的升級(jí)產(chǎn)業(yè)鏈。利用北京大學(xué)優(yōu)質(zhì)教育資源及背
博為峰,中國(guó)職業(yè)人才培訓(xùn)領(lǐng)域的先行者
曾工作于聯(lián)想擔(dān)任系統(tǒng)開(kāi)發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項(xiàng)目經(jīng)理從事移動(dòng)互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項(xiàng)目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺(tái)面向?qū)ο箝_(kāi)發(fā)經(jīng)驗(yàn),技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫(kù),具有快速界面開(kāi)發(fā)的能力,對(duì)瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁(yè)制作和網(wǎng)頁(yè)游戲開(kāi)發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)。曾經(jīng)歷任德國(guó)Software AG 技術(shù)顧問(wèn),美國(guó)Dachieve 系統(tǒng)架構(gòu)師,美國(guó)AngelEngineers Inc. 系統(tǒng)架構(gòu)師。