Go 語言實現(xiàn)安全計數(shù)的若干種方法
原文:https://brunocalza.me/there-are-many-ways-to-safely-count/
作者:BRUNO CALZA
有一天,我正研究共享計數(shù)器的簡單經(jīng)典實現(xiàn),實現(xiàn)方式使用的是 C++ 中的互斥鎖,這時,我非常想知道還有哪些線程安全的實現(xiàn)方式。我通常使用 Go 來滿足自己的好奇心,本文就是一篇如何用 goroutine-safe 的方式實現(xiàn)計數(shù)器的方法匯總。
不要這樣做
我們先從非安全的實現(xiàn)方式開始:
type NotSafeCounter struct {
number uint64
}
func NewNotSafeCounter() Counter {
return &NotSafeCounter{0}
}
func (c *NotSafeCounter) Add(num uint64) {
c.number = c.number + num
}
func (c *NotSafeCounter) Read() uint64 {
return c.number
}
代碼上沒什么特別的地方。我們來測試下結(jié)果正確與否:創(chuàng)建 100 個 goroutine,其中三分之二的 goroutine 對共享計數(shù)器加一。
func testCorrectness(t *testing.T, counter Counter) {
wg := &sync.WaitGroup{}
for i := 0; i < 100; i++ {
wg.Add(1)
if i%3 == 0 {
go func(counter Counter) {
counter.Read()
wg.Done()
}(counter)
} else if i%3 == 1 {
go func(counter Counter) {
counter.Add(1)
counter.Read()
wg.Done()
}(counter)
} else {
go func(counter Counter) {
counter.Add(1)
wg.Done()
}(counter)
}
}
wg.Wait()
if counter.Read() != 66 {
t.Errorf("counter should be %d and was %d", 66, counter.Read())
}
}
測試的結(jié)果是不確定的,有時候能正確運(yùn)行,有時候會出現(xiàn)類似這樣的錯誤:
counter_test.go:34: counter should be 66 and was 65
經(jīng)典實現(xiàn)方式
實現(xiàn)一個正確計數(shù)器的傳統(tǒng)方式是使用互斥鎖,保證任意時間只有一個協(xié)程操作計數(shù)器。Go 語言的話,我們可以使用 sync 包。
type MutexCounter struct {
mu *sync.RWMutex
number uint64
}
func NewMutexCounter() Counter {
return &MutexCounter{&sync.RWMutex{}, 0}
}
func (c *MutexCounter) Add(num uint64) {
c.mu.Lock()
defer c.mu.Unlock()
c.number = c.number + num
}
func (c *MutexCounter) Read() uint64 {
c.mu.RLock()
defer c.mu.RUnlock()
return c.number
}
現(xiàn)在測試結(jié)果每次都能通過且都是正確的。
使用 channel
鎖是一種保證同步的低級原語。Go 也提供了更高級實現(xiàn)方式 - channel。
關(guān)于 mutexe 和 channel,現(xiàn)在有太多類似這樣的討論:“mutexe vs channel ”、“哪個更好”、“我應(yīng)當(dāng)使用哪一個”等。其中一些討論非常有趣且有益,但這并不是本文討論的重點(diǎn)。
我們使用 channel 來實現(xiàn)協(xié)程安全的計數(shù)器,使用 channel 充當(dāng)隊列,對計數(shù)器的操作(讀、寫)都緩存在隊列中,按順序操作。具體的操作通過傳遞 func() 實現(xiàn)。創(chuàng)建時,計數(shù)器會衍生出一個 goroutine 并且按順序執(zhí)行隊列里的操作。
下面是計數(shù)器的定義:
type ChannelCounter struct {
ch chan func()
number uint64
}
func NewChannelCounter() Counter {
counter := &ChannelCounter{make(chan func(), 100), 0}
go func(counter *ChannelCounter) {
for f := range counter.ch {
f()
}
}(counter)
return counter
}
當(dāng)一個協(xié)程調(diào)用 Add(),就往隊列里面添加一個寫操作:
func (c *ChannelCounter) Add(num uint64) {
c.ch <- func() {
c.number = c.number + num
}
}
當(dāng)一個協(xié)程調(diào)用 Read(),就往隊列里面添加一個讀操作:
func (c *ChannelCounter) Read() uint64 {
ret := make(chan uint64)
c.ch <- func() {
ret <- c.number
close(ret)
}
return <-ret
}
我真正喜歡這個實現(xiàn)的地方在于,這種按順序執(zhí)行的方式非常的清晰。
原子方式
我們甚至可以用更低級別的原語,利用 sync/atomic 包執(zhí)行原子操作。
type AtomicCounter struct {
number uint64
}
func NewAtomicCounter() Counter {
return &AtomicCounter{0}
}
func (c *AtomicCounter) Add(num uint64) {
atomic.AddUint64(&c.number, num)
}
func (c *AtomicCounter) Read() uint64 {
return atomic.LoadUint64(&c.number)
}
比較和交換
或者,我們可以使用非常經(jīng)典的原語:CAS,對計時器進(jìn)行計數(shù)。
func (c *CASCounter) Add(num uint64) {
for {
v := atomic.LoadUint64(&c.number)
if atomic.CompareAndSwapUint64(&c.number, v, v+num) {
return
}
}
}
func (c *CASCounter) Read() uint64 {
return atomic.LoadUint64(&c.number)
}
float 類型該如何實現(xiàn)
在我探索學(xué)習(xí)過程中,看到一個非常棒的視頻 - 《Prometheus: Designing and Implementing a Modern Monitoring Solution in Go[1]》。在視頻的最后,討論了如何實現(xiàn)浮點(diǎn)數(shù)計數(shù)器。到目前為止,所有的技術(shù)都適用于浮點(diǎn)數(shù),除了 sync/atomic 包,還沒提供浮點(diǎn)數(shù)的原子操作。
在視頻里,Bj?rn Rabenstein 介紹了如何通過將浮點(diǎn)數(shù)存儲為 uint64 并使用 math.Float64bits 和 math.Float64frombits 在 float64 和 uint64 之間進(jìn)行轉(zhuǎn)換來解決此問題。
type CASFloatCounter struct {
number uint64
}
func NewCASFloatCounter() *CASFloatCounter {
return &CASFloatCounter{0}
}
func (c *CASFloatCounter) Add(num float64) {
for {
v := atomic.LoadUint64(&c.number)
newValue := math.Float64bits(math.Float64frombits(v) + num)
if atomic.CompareAndSwapUint64(&c.number, v, newValue) {
return
}
}
}
func (c *CASFloatCounter) Read() float64 {
return math.Float64frombits(atomic.LoadUint64(&c.number))
}
最后
這篇文章是共享計數(shù)器的實現(xiàn)匯總。這是我好奇心驅(qū)使的結(jié)果,此外對并發(fā)也有一個基本的了解。如果你有其他實現(xiàn)共享計數(shù)的方式,請告訴我。
本文提到的實現(xiàn)方式對應(yīng)的代碼可以看這里[2],此外還包括運(yùn)行用例和基準(zhǔn)測試。
參考資料
Prometheus: Designing and Implementing a Modern Monitoring Solution in Go: https://www.youtube.com/watch?v=1V7eJ0jN8-E
[2]看這里: https://github.com/brunocalza/sharedcounter
推薦閱讀
