国产精品电影_久久视频免费_欧美日韩国产激情_成年人视频免费在线播放_日本久久亚洲电影_久久都是精品_66av99_九色精品美女在线_蜜臀a∨国产成人精品_冲田杏梨av在线_欧美精品在线一区二区三区_麻豆mv在线看

Golang 中 map 探究

原創(chuàng) 精選
開發(fā)
本文主要通過探究在golang 中map的數(shù)據(jù)結(jié)構(gòu)及源碼實(shí)現(xiàn)來學(xué)習(xí)和了解map的特性,共包含map的模型探究、存取、擴(kuò)容等內(nèi)容。歡迎大家共同討論。

作者|?趙燕輝

簡介

本文主要通過探究在golang 中map的數(shù)據(jù)結(jié)構(gòu)及源碼實(shí)現(xiàn)來學(xué)習(xí)和了解map的特性,共包含map的模型探究、存取、擴(kuò)容等內(nèi)容。歡迎大家共同討論。

Map 的底層內(nèi)存模型

在 goland 的源碼中表示 map 的底層 struct 是 hmap,其是 hashmap 的縮寫

type hmap struct {

// map中存入元素的個(gè)數(shù), golang中調(diào)用len(map)的時(shí)候直接返回該字段
count int
// 狀態(tài)標(biāo)記位,通過與定義的枚舉值進(jìn)行&操作可以判斷當(dāng)前是否處于這種狀態(tài)
flags uint8
B uint8 // 2^B 表示bucket的數(shù)量, B 表示取hash后多少位來做bucket的分組
noverflow uint16 // overflow bucket 的數(shù)量的近似數(shù)
hash0 uint32 // hash seed (hash 種子) 一般是一個(gè)素?cái)?shù)

buckets unsafe.Pointer // 共有2^B個(gè) bucket ,但是如果沒有元素存入,這個(gè)字段可能為nil
oldbuckets unsafe.Pointer // 在擴(kuò)容期間,將舊的bucket數(shù)組放在這里, 新buckets會(huì)是這個(gè)的兩倍大
nevacuate uintptr // 表示已經(jīng)完成擴(kuò)容遷移的bucket的指針, 地址小于當(dāng)前指針的bucket已經(jīng)遷移完成

extra *mapextra // optional fields
}

B 是 buckets 數(shù)組的長度的對(duì)數(shù), 即 bucket 數(shù)組的長度是 2^B。bucket 的本質(zhì)上是一個(gè)指針,指向了一片內(nèi)存空間,其指向的 struct 如下所示:

// A bucket for a Go map.
type bmap struct {
tophash [bucketCnt]uint8
}

但這只是表面(src/runtime/hashmap.go)的結(jié)構(gòu),編譯期間會(huì)給它加料,動(dòng)態(tài)地創(chuàng)建一個(gè)新的結(jié)構(gòu):

type bmap struct {
topbits [8]uint8
keys [8]keytype
values [8]valuetype
pad uintptr // 內(nèi)存對(duì)齊使用,可能不需要
overflow uintptr // 當(dāng)bucket 的8個(gè)key 存滿了之后
}

bmap 就是我們常說的“桶”的底層數(shù)據(jù)結(jié)構(gòu), 一個(gè)桶中可以存放最多 8 個(gè) key/value, map 使用 hash 函數(shù) 得到 hash 值決定分配到哪個(gè)桶, 然后又會(huì)根據(jù) hash 值的高 8 位來尋找放在桶的哪個(gè)位置 具體的 map 的組成結(jié)構(gòu)如下圖所示:

圖片

Map 的存與取

在 map 中存與取本質(zhì)上都是在進(jìn)行一個(gè)工作, 那就是:

  1. 查詢當(dāng)前 k/v 應(yīng)該存儲(chǔ)的位置。
  2. 賦值/取值, 所以我們理解了 map 中 key 的定位我們就理解了存取。

底層代碼

func mapaccess2(t *maptype, h *hmap, key unsafe.Pointer) (unsafe.Pointer, bool) {
// map 為空,或者元素?cái)?shù)為 0,直接返回未找到
if h == nil || h.count == 0 {
return unsafe.Pointer(&zeroVal[0]), false
}
// 不支持并發(fā)讀寫
if h.flags&hashWriting != 0 {
throw("concurrent map read and map write")
}
// 根據(jù)hash 函數(shù)算出hash值,注意key的類型不同可能使用的hash函數(shù)也不同
hash := t.hasher(key, uintptr(h.hash0))
// 如果 B = 5,那么結(jié)果用二進(jìn)制表示就是 11111 , 返回的是B位全1的值
m := bucketMask(h.B)
// 根據(jù)hash的后B位,定位在bucket數(shù)組中的位置
b := (*bmap)(unsafe.Pointer(uintptr(h.buckets) + (hash&m)*uintptr(t.bucketsize)))
// 當(dāng) h.oldbuckets 非空時(shí),說明 map 發(fā)生了擴(kuò)容
// 這時(shí)候,新的 buckets 里可能還沒有老的內(nèi)容
// 所以一定要在老的里面找,否則有可能發(fā)生“消失”的詭異現(xiàn)象
if c := h.oldbuckets; c != nil {
if !h.sameSizeGrow() {
// 說明之前只有一半的 bucket,需要除 2
m >>= 1
}
oldb := (*bmap)(unsafe.Pointer(uintptr(c) + (hash&m)*uintptr(t.bucketsize)))
if !evacuated(oldb) {
b = oldb
}
}
// tophash 取其高 8bit 的值
top := tophash(hash)
// 一個(gè) bucket 在存儲(chǔ)滿 8 個(gè)元素后,就再也放不下了,這時(shí)候會(huì)創(chuàng)建新的 bucket,掛在原來的 bucket 的 overflow 指針成員上
// 遍歷當(dāng)前bucket的所有鏈?zhǔn)絙ucket
for ; b != nil; b = b.overflow(t) {
// 在bucket的8個(gè)位置上查詢
for i := uintptr(0); i < bucketCnt; i++ {
// 如果找到了相等的 tophash,那說明就是這個(gè) bucket 了
if b.tophash[i] != top {
continue
}
// 根據(jù)內(nèi)存結(jié)構(gòu)定位key的位置
k := add(unsafe.Pointer(b), dataOffset+i*uintptr(t.keysize))
if t.indirectkey {
k = *((*unsafe.Pointer)(k))
}
// 校驗(yàn)找到的key是否匹配
if t.key.equal(key, k) {
// 定位v的位置
v := add(unsafe.Pointer(b), dataOffset+bucketCnt*uintptr(t.keysize)+i*uintptr(t.valuesize))
if t.indirectvalue {
v = *((*unsafe.Pointer)(v))
}
return v, true
}
}
}

// 所有 bucket 都沒有找到,返回零值和 false
return unsafe.Pointer(&zeroVal[0]), false
}

尋址過程

圖片

圖片

Map 的擴(kuò)容

在 golang 中 map 和 slice 一樣都是在初始化時(shí)首先申請(qǐng)較小的內(nèi)存空間,在 map 的不斷存入的過程中,動(dòng)態(tài)的進(jìn)行擴(kuò)容。擴(kuò)容共有兩種,增量擴(kuò)容與等量擴(kuò)容(重新排列并分配內(nèi)存)。下面我們來了解一下擴(kuò)容的觸發(fā)方式:

  1. 負(fù)載因子超過閾值,源碼里定義的閾值是 6.5。(觸發(fā)增量擴(kuò)容)
  2. overflow 的 bucket 數(shù)量過多:當(dāng) B 小于 15,也就是 bucket 總數(shù) 2^B 小于 2^15 時(shí),如果 overflow 的 bucket 數(shù)量超過 2^B;當(dāng) B >= 15,也就是 bucket 總數(shù) 2^B 大于等于 2^15,如果 overflow 的 bucket 數(shù)量超過 2^15。(觸發(fā)等量擴(kuò)容)

第一種情況

圖片

第二種情況

圖片

Map 的有序性

先說結(jié)論,在 golang 中 map 是無序的,準(zhǔn)確的說是無法嚴(yán)格保證順序的, 從上面的源碼中我們可以知道,golang 中 map 在擴(kuò)容后,可能會(huì)將部分 key 移至新內(nèi)存,由于在擴(kuò)容搬移數(shù)據(jù)過程中,并未記錄原數(shù)據(jù)位置, 并且在 golang 的數(shù)據(jù)結(jié)構(gòu)中也并未保存數(shù)據(jù)的順序,所以那么這一部分在擴(kuò)容后實(shí)際上就已經(jīng)是無序的了。

遍歷的過程,其實(shí)就是按順序遍歷內(nèi)存地址,同時(shí)按順序遍歷內(nèi)存地址中的 key。但這時(shí)已經(jīng)是無序的了。但是如果我就一個(gè) map,我保證不會(huì)對(duì) map 進(jìn)行修改刪除等操作,那么按理說沒有擴(kuò)容就不會(huì)發(fā)生改變。但也是因?yàn)檫@樣,GO 才在源碼中 但是有一個(gè)有趣的現(xiàn)象,就算不對(duì) map 進(jìn)行插入刪除等操作致使其擴(kuò)容,其在遍歷過程中仍是無序的。

objMap := make(map[string]int)
for i := 0; i < 5; i++ {
objMap[strconv.Itoa(i)] = i
}
for i := 0 ; i < 5; i ++ {
var valStr1, valStr2 string
for k, v := range objMap {
fmt.Println(k)
fmt.Println(v)
valStr1 += k
}
for k, v := range objMap {
fmt.Println(k)
fmt.Println(v)
valStr2 += k
}
fmt.Println(valStr1 == valStr2)
if valStr1 != valStr2 {
fmt.Println("not equal")
}
}
fmt.Println("end")

?以上的運(yùn)行結(jié)果是

圖片

?不難看出,即使不對(duì) map 進(jìn)行擴(kuò)容,在多次遍歷時(shí)也是無序的,這是因?yàn)?golang 官方在設(shè)計(jì)時(shí)故意加上隨機(jī)的元素,將遍歷 map 的順序隨機(jī)化,用來防止使用者用來順序遍歷。

而這是有風(fēng)險(xiǎn)的代碼,在 GO 的嚴(yán)格語法規(guī)則下,是堅(jiān)決不提倡的。所以我們?cè)谑褂?map 時(shí)一定要記得其是無序的,不要依賴其順序。

Map 的并發(fā)

首先我們大家都知道,在 golang 中 map 并不是一個(gè)并發(fā)安全的數(shù)據(jù)結(jié)構(gòu),當(dāng)幾個(gè) goruotine 同時(shí)對(duì)一個(gè) map 進(jìn)行讀寫操作時(shí),就會(huì)出現(xiàn)并發(fā)寫問題:fatal error: concurrent map writes。但是為什么 map 是不支持并發(fā)安全的呢, 主要是因?yàn)槌杀九c效益。

官方答復(fù)原因如下:?

  • 典型使用場(chǎng)景:map 的典型使用場(chǎng)景是不需要從多個(gè) goroutine 中進(jìn)行安全訪問。
  • 非典型場(chǎng)景(需要原子操作):map 可能是一些更大的數(shù)據(jù)結(jié)構(gòu)或已經(jīng)同步的計(jì)算的一部分。

?性能場(chǎng)景考慮:若是只是為少數(shù)程序增加安全性,導(dǎo)致 map 所有的操作都要處理 mutex,將會(huì)降低大多數(shù)程序的性能。同時(shí) golang 提供了并發(fā)安全的 sync map。

, // 不支持并發(fā)讀寫
if h.flags&hashWriting != 0 {
throw("concurrent map read and map write")
}

但是我們又有疑問了,為什么 golang map 并發(fā)沖突了不拋一個(gè) error 出來,或者 panic 掉,而是要讓程序 panic,選擇讓程序 crash 崩潰掉。這里是 golang 官方出于權(quán)衡風(fēng)險(xiǎn)和 map 使用復(fù)雜度場(chǎng)景考慮的,首先 map 在官方中就明確表示不支持并發(fā)讀寫, 所以并發(fā)對(duì) map 進(jìn)行讀寫操作本身就是不正確的。

場(chǎng)景假設(shè)一:如果 map 選擇在寫入或者讀取時(shí)增加 error 返回值,會(huì)導(dǎo)致程序在使用 map 時(shí)就無法像現(xiàn)在一樣,需要額外的捕獲并判斷 err。

場(chǎng)景假設(shè)二:如果 map 選擇 panic(可被 recover),此時(shí)如果出現(xiàn)并發(fā)寫入數(shù)據(jù)的場(chǎng)景,就會(huì)導(dǎo)致走進(jìn) recover 中,如果沒有對(duì)這種場(chǎng)景進(jìn)行特殊處理,就會(huì)導(dǎo)致 map 中存在臟數(shù)據(jù),此時(shí)程序在使用 map 時(shí)就會(huì)引發(fā)不可預(yù)知的錯(cuò)誤,此時(shí)排查起來也是很難找到問題的根因的。

所以 golang 在考慮了這些場(chǎng)景后,選擇明確的拋出 crash 崩潰異常,使得風(fēng)險(xiǎn)被提前暴露。可以明確的定位到問題點(diǎn)。綜上所述我們?cè)谑褂?map 時(shí),已經(jīng)要嚴(yán)格保障其是在單線程內(nèi)使用的,如果有多線程場(chǎng)景,建議使用 sync map?

責(zé)任編輯:未麗燕 來源: 字節(jié)跳動(dòng)技術(shù)團(tuán)隊(duì)
相關(guān)推薦

2017-09-13 10:04:41

性能探究HashMap

2010-08-30 10:58:19

DIV CSSfloat

2017-01-04 10:18:00

React NativScrollViewAndroid

2011-03-07 13:27:13

SQLCase

2023-10-22 20:20:37

FiberGo

2010-09-08 14:00:08

marginCSS

2010-11-02 13:45:52

TFS2010VS2010微軟

2023-11-13 21:55:12

Go編程

2025-06-10 02:00:00

Golangmap

2010-03-19 13:17:26

Parallel

2021-02-22 11:30:07

Golang 1.16ModuleGolang

2023-01-27 23:11:25

GolangNetHttp

2022-01-21 10:58:39

JavaScriptGolangPython

2022-03-07 16:30:10

數(shù)據(jù)庫ORM開發(fā)人員

2010-09-15 14:00:06

position屬性DIV

2010-09-10 10:20:51

DIVSpan

2010-08-25 14:11:01

CSSborder-top

2009-06-29 15:18:00

JavaFX綁定

2023-10-24 16:03:34

GoGolang

2020-10-27 18:45:45

GolangGraphQ開發(fā)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

久久精品国亚洲| 亚洲精品套图| 欧美日韩网站| 日本久久久久亚洲中字幕| 日韩精品免费观看视频| 欧美一卡在线观看| 国产青青草在线| 一区二区三区四区中文字幕| 亚洲一区二区三区四区五区xx| 豆国产96在线|亚洲| 日韩视频一二三| 美女视频一区在线观看| 日韩欧美国产二区| 在线亚洲观看| 精品综合久久久| 亚洲东热激情| 国产亚洲一区在线播放| 欧美喷水视频| 成人动漫视频在线观看免费| 68国产成人综合久久精品| 国产玖玖精品视频| 欧美一级本道电影免费专区| 日本中文字幕成人| 露出调教综合另类| 2023亚洲男人天堂| 国产探花在线精品| 国产日韩综合一区二区性色av| 全球成人免费直播| 亚洲综合中文字幕在线观看| 伊人久久大香线| 国产麻豆日韩| 另类小说一区二区三区| 欧美日韩一区二区三区电影| 国产伦精品一区二区三区免费迷 | 欧美××××黑人××性爽| 国产婷婷成人久久av免费高清| 澳门成人av网| 欧美精品电影免费在线观看| 久久99青青| 91深夜福利视频| 首页亚洲欧美制服丝腿| 青青在线视频免费观看| 欧美国产1区2区| 一个人看的www一区| 欧美日韩大陆在线| 欧美大片免费高清观看| 久久久久久久91| 日韩欧美在线中字| 国产一区在线免费观看| 久久国产精品区| 四季av一区二区| 欧美视频在线观看免费| 青春草免费在线视频| 中文字幕日韩精品在线| 亚洲免费福利一区| 国产欧美日韩在线播放| 国产精品一区三区| 国产色视频网站| 欧美日韩国产另类不卡| 久草综合在线| 成人欧美一区二区三区黑人| 欧美aaaaaa午夜精品| 日韩av片网站| 欧美日韩国产天堂| 成人综合日日夜夜| 黑人中文字幕一区二区三区| 91在线观看视频| 丁香婷婷在线观看| 久久国产精品久久久久| 午夜日韩在线| 人妻少妇被粗大爽9797pw| 日本韩国精品一区二区在线观看| 电影亚洲精品噜噜在线观看| 国产精品免费视频xxxx| 国产老妇另类xxxxx| 国产在线制服美女| 中文字幕欧美精品在线| 国内在线观看一区二区三区| 18禁免费无码无遮挡不卡网站| 日韩欧美亚洲一二三区| 欧美成人三级| 欧美黄色直播| 亚洲精品乱码久久久久久久久 | 78精品国产综合久久香蕉| 国产一区二区在线免费视频| 久草这里只有精品视频| 最新二区三区av| 国产一区二区三区高清在线观看| 99久久99视频只有精品| youjizz.com在线观看| 91电影在线观看| 日本高清久久| 亚洲精品日韩在线观看| 亚洲国产精品久久艾草纯爱| 写真福利精品福利在线观看| 国产精品一码二码三码在线| 国产精品素人视频| 欧美特黄aaaaaaaa大片| 国产综合欧美在线看| 亚洲人成精品久久久久久| 99热播精品免费| 色视频一区二区三区| 高跟丝袜欧美一区| 色橹橹欧美在线观看视频高清| 韩国无码av片在线观看网站| 7777精品伊人久久久大香线蕉超级流畅| 自拍自偷一区二区三区| 欧美精品色婷婷五月综合| 亚洲精品国产福利| 一区二区日本视频| 第九色区av在线| 91精品视频在线看| 亚洲免费毛片网站| aiai久久| 91插插插插插插插插| 久久久999成人| 成人精品鲁一区一区二区| 久久电影网站| 日韩在线第一区| 欧美一区二区三区喷汁尤物| 欧美特黄一级| 九色在线观看视频| 国产在线观看91精品一区| 亚洲免费资源在线播放| 日本欧美韩国国产| 国产小黄视频| 日韩女在线观看| 亚洲最快最全在线视频| 欧美综合精品| 黄色免费观看网站| 茄子视频成人在线| 亚洲精品免费电影| 精品一区电影| 日本福利午夜视频在线| 操一操视频一区| 欧美美女bb生活片| 日韩精品国产精品| f2c人成在线观看免费视频| 日韩免费电影一区二区| 精品福利一二区| 国产一区二区调教| 网友自拍亚洲| 韩国无码av片在线观看网站| 亚洲欧美色图片| 91视频com| 香蕉久久夜色精品国产使用方法 | 久草免费在线视频| 日韩人妻精品一区二区三区| 中文字幕日本欧美| 国产精品对白交换视频 | 欧美高清视频一区二区| 国产精品麻豆99久久久久久| 青青一区二区| 在线激情av| 精品免费视频123区| 精品久久久久一区| 成人a区在线观看| 老牛国内精品亚洲成av人片| 玖玖在线免费视频| 国产乱码精品一区二区三区中文| 7777精品伊人久久久大香线蕉完整版| 免费成人美女在线观看.| 99久久久国产精品免费调教网站 | 国产精品电影网站| 一本大道综合伊人精品热热| 视频一区视频二区中文| 日本少妇一区| 久久综合色播| 久久久久久国产精品一区| 国产一区二区三区中文| 亚洲精品视频观看| 另类av一区二区| 日本一区精品视频| 久香视频在线观看| 欧美日韩午夜爽爽| 97视频免费在线观看| 欧美午夜片在线免费观看| 久久久久久久欧美精品| 精品国产亚洲一区二区三区在线| 22288色视频在线观看| 日韩av高清| 欧美黑人巨大精品一区二区| 91黄色免费网站| 国产 日韩 欧美大片| 偷偷www综合久久久久久久| а√天堂资源官网在线资源| 九七影院理伦片| 欧美午夜视频在线| 性视频1819p久久| 精品久久久影院| 一区二区三区91| 精品在线你懂的| 日韩成人精品一区二区| 国产精品专区免费| 最色在线观看| 亚洲午夜精品久久久久久人妖| 国产亚洲精品美女久久久m| 久久免费少妇高潮久久精品99| 欧美一级黄色大片| 亚洲一区二区在线免费看|