在golang的web服務(wù)中，有沒有必要限制goroutine的數(shù)量?

標(biāo)題描述的不夠清楚。
使用golang創(chuàng)建傳統(tǒng)的web服務(wù)，通過路由訪問后端接口，在該接口中有較多的數(shù)據(jù)庫查詢操作，舉個例子：

func Test() {
    go func() {
        // 查詢1
    }()
    
    go func() {
        // 查詢2
    }()
    
    go func() {
        // 查詢3
    }()
}

將查詢(每個查詢都相互獨(dú)立，沒有依賴)放到多個goroutine中，理論上是能夠提高這個接口的響應(yīng)速度的。那么問題來了，在高并發(fā)的情況下，會創(chuàng)建大量的goroutine，在后端是否有必要去做一個限制goroutine數(shù)量的操作？如何優(yōu)雅的實(shí)現(xiàn)這樣的操作。我大概看了一下網(wǎng)上的文章：

type Grpool struct {
    queue chan uint8
    wg *sync.WaitGroup
}

func (gp *Grpool) Add(n int)  {
    for i := 0; i < n; i++ {
        gp.queue <- uint8(1)
    }
    gp.wg.Add(n)
}

func (gp *Grpool) Done()  {
    <- gp.queue
    gp.wg.Done()
}

func (gp *Grpool) Wait()  {
    gp.wg.Wait()
}

通過上面的結(jié)構(gòu)來實(shí)現(xiàn)阻塞wg.Add的操作。但問題是我構(gòu)建了一個全局單例的Grpool對象：pool, 并且在下面的代碼中進(jìn)行使用：

func Test() {
    pool.Add(3)
    
    go func() {
        // 查詢1
        pool.Done()
    }()
    
    go func() {
        // 查詢2
        pool.Done()
    }()
    
    go func() {
        // 查詢3
        pool.Done()
    }()
    
    pool.Wait()
}

但是，在pool.Wait()的時候是有問題的，因?yàn)閜ool是全局單例的，當(dāng)有別的用戶調(diào)用該接口的時候，pool.Wait可能會一直處于阻塞狀態(tài)

回答

編輯回答

夏夕

goroutine池很有必要，可以看看gf框架實(shí)現(xiàn)的grpool: http://gf.johng.cn/504458

在高并發(fā)下grpool的性能比原生的goroutine高出幾倍到數(shù)百倍，具體看下測試報告以及測試代碼。grpool支持工作線程數(shù)量限制，底層是使用channel來實(shí)現(xiàn)的。我覺得數(shù)量限不限制主要還是看業(yè)務(wù)場景以及硬件性能，默認(rèn)情況下一般不需要限制。

2017年1月22日 10:35

編輯回答

撥弦

首先, 我覺得要不要限制 goroutine 數(shù)量得看瓶頸或關(guān)鍵問題點(diǎn).

其次, 全局單例 Grpool 很有問題, 以下是 sync.WaitGroup 官方文檔

func (wg *WaitGroup) Add(delta int)

Add adds delta, which may be negative, to the WaitGroup counter.
If the counter becomes zero, all goroutines blocked on Wait are released.
If the counter goes negative, Add panics.

這意味著時間相近的多個請求和可能會綁在一起, 變成多個 pool.Wait() 同時返回.

以下是資源池的簡單示例, 希望有益

package main

type Pool struct {
    q chan int
}

func NewPool(max_size int) *Pool {
    return &Pool{q: make(chan int, max_size)}
}

func (p *Pool) Acquire() {
    p.q <- 1
}

func (p *Pool) Release() {
    <-p.q
}

func main() {
    p := NewPool(10)
    p.Acquire()
    // ...
    p.Release()
}

2017年7月8日 21:49