国产精品电影_久久视频免费_欧美日韩国产激情_成年人视频免费在线播放_日本久久亚洲电影_久久都是精品_66av99_九色精品美女在线_蜜臀a∨国产成人精品_冲田杏梨av在线_欧美精品在线一区二区三区_麻豆mv在线看

Redis SDS 是以時間換空間,還是空間換時間?

數據庫 Redis
本文從 Redis 的底層 SDS 實現分析了 String 的實現原理,可以說 SDS 是一種很優秀的設計,它即遵循了 C語言的部分功能,又規避了 C語言字符串常見的一些問題。

在 Redis中,String稱得上一個萬精油數據結構, 它即可以存放普通的字符串,也可以存放對象,同樣可以存圖片,視頻等二進制數據,使用頻次特別高,真可謂是一個萬精油。

為什么 Redis 的 String 可以存放這么多類型的數據?Redis 底層到底是如何實現 String 的呢?今天我們就來聊一聊。

一、String的特性

String 的特性主要包含下面4點:

  • String 是Redis中最基本的數據類型;
  • String 是二進制安全,存入和獲取的數據相同;
  • Redis 字符串存儲字節序列,包括文本、序列化對象和二進制數組;
  • String 存儲的 value值最大為 512MB;

二、String常用指令 

String 高頻指令如下表:

指令

舉例

說明

set

set key value

設置值

get

get key

獲取值

getset

getset key

先獲取之前的值,然后設置一個新的值

del

del key

刪除key

incr

incr key

從0開始自增1

incrby

incrby key n

自增指定的步長

decr

decr key 

自減1

decrby

decrby key n

自減指定的步長

append

append key

追加內容

如下圖,展示了 String常用指令:

三、實現原理 

上文介紹了 String數據對象的一些基礎知識,接下來進入核心內容:String 的 Redis 底層實現。

1. SDS 結構

Redis 底層是 C語言實現的,但是 Redis 的 String數據對象并沒有直接使用 C語言傳統的字符串,而是自創了一套 SDS,用于 Redis 默認字符串表示。SDS(simple dynamic string),簡單動態字符串。

SDS 的結構定義在 sds.h 文件中,每個 sds.h/sdshdr 結構表示一個 SDS 值,在 Redis 3.2 版本之后,SDS 由一種數據結構變成了 5 種數據結構,如下源碼截圖:

  • sdshdr5:存儲大小為 32 byte = 2^ 5 ,被棄用;
  • sdshdr8:存儲大小為 256 byte = 2^ 8;
  • sdshdr16:存儲大小為 64KB = 2 ^16
  • sdshdr32:存儲大小為 4GB = 2^ 32;
  • sdshdr64:存儲大小為 2^ 64;

5 種數據結構存儲不同長度的內容,Redis 會根據 SDS 存儲的內容長度來選擇不同的結構,源碼實現對應 sds.c/sdsReqType,截圖如下:

為了對 SDS 有一個更好的體感,這里以 sdshdr8 為例,執行指令:SET name Redis

執行上述 set 指令后,值對象對應的 SDS 結構如下圖:

SDS 各個屬性說明:

  • len:表示 buf 已用空間的長度,占 4 個字節,不包括 \0;
  • alloc:表示 buf 的實際分配長度,占 4 個字節,不包括 \0;
  • flags:標記當前字節數組是 sdshdr8/16/32/64 中的哪一種,占 1 個字節;
  • buf:表示字節數組,保存實際數據。為了表示字節數組的結束,Redis 會自動在數組最后加一個\0,需要額外占用 1 個字節的開銷;

從上面 SDS 的結構可以看出,SDS 依然遵循了 C語言中字符串以 \0 結尾的規則, 但是,\0占用的1 個字節空間并沒有計算在 SDS 的 len 屬性里面。

分析完 SDS 的結構,我們會問,SDS 在 Redis 中是如何存放的呢?

因為 Redis 的數據類型有很多(String、List、Set、Hash等等),不同數據類型會包含相同的元數據,所以值對象并不是直接存儲,而是被包裝成 redisObject 對象(源碼位于 server.h中),其定義如下圖:

所以,SDS 在 Redis Server 端的存儲如下圖:

另外,為了節省內存空間,Redis 還做了如下優化:

  • 當保存 Long 類型整數,RedisObject 中的指針直接賦值為整數數據,這樣就不用額外的指針指向整數。這種方式稱為 int 編碼方式。
  • 當保存字符串數據,且字符串小于等于 44 字節時,RedisObject 中的元數據、指針和 SDS 是一塊連續的內存區域,這樣可以避免內存碎片。這種方式稱為 embstr 編碼方式。
  • 當保存字符串數據,且字符串大于 44 字節時,Redis 不再把 SDS 和 RedisObject 放在一起,而是給 SDS 分配獨立的空間,并用指針指向 SDS 結構。這種方式稱為 raw 編碼模式。

下圖為 int、embstr 和 raw 這三種編碼模式的對比:

如果想查看一個值對象是采用哪種編碼模式,可以使用 OBJECT ENCODING((大小寫不敏感)命令,下面給了幾個示例截圖:

到此,SDS 的實現原理分析完成,需要補充的是:Redis 官方為了保證 String 的性能,在 SDS 設計上采用了兩個非常優秀的設計:空間預分配 和 惰性空間釋放。

2. 空間預分配

在對 SDS 進行修改操作時(追加字符串,拷貝字符串等),通常會調用 sds.c/sdsMakeRoomFor 方法對 SDS 的剩余容量進行檢查,如有必要會對 SDS 進行擴容,當計算修改之后字符串(用target_string表示)的目標長度之后分以下幾種情況:

(1) 剩余的 freespace 足夠容納 target_string 和末尾\0字符,則不作任何操作

(2) 剩余的 freespace 不夠容納 target_string 和末尾的\0字符

  • 當target_string_size < 1MB,則會直接分配2 * target_string_size 的空間用于存儲字符串
  • 當target_string_size >= 1MB,則會再額外多分配1MB的空間用于存儲字符串(target_string_size + 1024*1024)

3. 惰性空間釋放

當 SDS 字符串縮短時, 空余出來的空間并不會直接釋放,而是會被保留,等待下次再次使用,字符串縮短操作需要更新 sdshdr 頭中的 Len 字段以及alloced buffer中的\0字符的位置,如下源碼截圖,在更新字符串長度的過程中并沒有涉及到內存的重分配策略,只是簡單的修改sdshdr 頭中的 Len 字段。

四、SDS 的缺點 

從上面 SDS 的結構可以看出,SDS 除了存儲 String 的內容外,還需要額外的內存空間記錄數據長度、空間使用等信息,這個就導致了 SDS 的一個比較大的缺點:占內存。那么有什么更好的數據結構呢?我們下篇文章會進行分析。

不過,計算機領域很多時候都在空間和時間上的一種權衡。而Redis String 這種浪費內存換取讀寫速度就是一個很好的體現。

五、SDS 與 C字符串比較

1. 獲取字符串長度復雜度

C字符串不記錄長度,獲取長度必須遍歷整個字符串,復雜度為O(N),SDS 在 len 屬性中記錄了 SDS 本身的長度, 獲取 SDS 長度的復雜度為 O(1) ;

2. 緩沖區溢出

C字符串不記錄自身的長度,每次增長或縮短一個字符串,都要對底層的字符數組進行一次內存重分配操作。如果在 append 操作之前沒有通過內存重分配來擴展底層數據的空間大小,就會產生緩存區溢出;如果進行 trim 操作之后沒有通過內存重分配來釋放不再使用的空間,就會產生內存泄漏;

SDS 通過未使用空間解除了字符串長度和底層數據長度的關聯,3.0版本用 free屬性記錄未使用空間,3.2版本用 alloc屬性記錄總的分配字節數量。通過未使用空間,SDS實現了空間預分配和惰性空間釋放兩種優化的空間分配策略,解決了字符串拼接和截取的空間問題;

3. 二進制安全

C 字符串以 \0結尾(即 以 \0判斷字符串結束),所以在 C字符串的內容里面不能包含 \0,否則會被認為是字符串結尾,因此,C字符串只能保存文本數據,不能保存像圖片這樣的二進制數據;

而 SDS 的 API 會以處理二進制的方式來處理存放在 bu f數組里的數據,不會對里面的數據做任何的限制。SDS 使用 len 屬性來判斷字符串是否結束,而不是空字符。

兩者比較歸納如下表:

C字符串

SDS

獲取字符串長度復雜度為O(N)

獲取字符串長度復雜度為O(1)

API是不安全的,可能會造成緩沖區溢出

API是安全的,不會造成緩沖區溢出

修改字符串長度必然需要內存重分配

修改字符串長度 N次最多需要執行 N次內存重分配

只能保存文本數據

可以保存文本或二進制數據

可以使用所有<string.h>庫中的函數

可以使用一部分<string.h>庫中的函數

六、總結

本文從 Redis的底層 SDS 實現分析了 String 的實現原理,可以說 SDS 是一種很優秀的設計,它即遵循了 C語言的部分功能,又規避了 C語言字符串常見的一些問題,這或許就是 Redis 優秀的一個原因。

另外,SDS 為了保證讀寫速度,盡管做了很多節省內存的操作(比如:sdshdr8/16/32/64,int/embstr/raw),但是,還在是一定程度上采用空間換時間。

通過 SDS 的設計,我們可以看出:在程序的世界里沒有“銀彈”,每種數據結構似乎總有其擅長的場景以及不足之處,這也正是各種數據結構百花齊放的原因。

責任編輯:趙寧寧 來源: 猿java
相關推薦

2011-04-18 11:27:49

空間時間數據庫設計

2011-04-12 13:44:39

緩存

2011-08-16 09:05:21

SQL Server數測試索引空間換時間

2024-11-15 09:41:03

2024-11-07 22:57:30

2025-07-11 09:34:07

2021-12-17 07:30:42

排序算法效率

2024-03-14 10:30:05

緩存場景DEMO

2025-07-03 02:15:00

2019-06-06 10:00:22

2025-12-08 17:07:00

TypeScript編輯器JS

2020-12-30 05:35:56

數據結構算法

2019-05-15 10:23:58

AI人工智能視頻換臉技術

2024-06-17 11:59:39

2023-11-07 10:22:26

自動駕駛技術

2023-02-17 08:14:29

C語言C技巧內存

2021-06-28 06:15:14

算法Algorithm時間空間復雜度

2024-05-13 10:24:09

Ngram存儲Google

2021-01-14 09:37:20

內核空間用戶

2022-06-17 07:49:14

緩存LRU
點贊
收藏

51CTO技術棧公眾號

91xxx在线观看| 日韩欧美一区在线观看| 中文字幕影音在线| 精品一区2区三区| 亚洲第一av色| 神马日本精品| 88av.com| 插插插亚洲综合网| 国产·精品毛片| 超碰激情在线| 一区二区三区四区五区精品| 日韩视频免费观看高清在线视频| 亚洲午夜一区| 亚洲成人观看| 亚洲精品免费网站| 日韩欧美国产高清91| 欧日韩精品视频| 国内一区二区三区| 偷拍自拍在线| 国产亚洲精品久久| 日韩有吗在线观看| caoporn超碰97| 另类色图亚洲色图| 91丨九色丨国产丨porny| 日韩福利一区二区| 久久久999成人| 亚洲伊人伊色伊影伊综合网| 日欧美一区二区| 国产高清不卡无码视频| 精品国产乱码久久久久久夜甘婷婷| 美女被久久久| 国产高清中文字幕在线| 久久久久久久久影视| 自拍偷拍亚洲欧美| 久久久久99精品一区| 欧美1区2区3区4区| 亚洲kkk444kkk在线观看| 国产99在线播放| 日韩欧美精品在线| 国产高清不卡一区| 在线观看视频一区二区三区| 黄网视频在线观看| 亚洲尤物视频网| 欧美成人精精品一区二区频| 国产麻豆欧美日韩一区| 久久综合给合| 午夜免费啪视频观看视频| 99国产在线| 亚洲国产日韩一区| 91亚洲精品久久久蜜桃网站| 日韩成人av在线资源| 麻豆导航在线观看| 亚洲欧美日韩精品综合在线观看| 在线看国产精品| 亚洲欧美综合网| 亚洲午夜激情在线| 色老太综合网| 91国内精品在线视频| 国产传媒一区二区| 亚洲图片制服诱惑| 亚洲伦在线观看| 国产欧美激情| 国产免费av国片精品草莓男男| 超碰在线电影| 欧美下载看逼逼| 久久久精品免费| 亚洲mv大片欧洲mv大片精品| 日韩电影在线一区二区| eeuss国产一区二区三区四区| 日本黄在线观看| 大胆欧美熟妇xx| 国产精品美乳在线观看| 欧美成人精品福利| 国产精品午夜免费| 亚洲欧美日韩国产一区| 日本精品视频| 国产三级视频在线看| 视频一区二区视频| 国产精品h片在线播放| 亚洲第一区第一页| 亚洲狼人国产精品| 捆绑变态av一区二区三区| 色愁久久久久久| 激情图片在线观看高清国产| 4hu永久免费入口| 亚洲欧洲精品一区二区| 日本三级韩国三级久久| 欧美成人性战久久| 亚洲欧洲综合另类| 另类的小说在线视频另类成人小视频在线| 久久综合五月婷婷| av午夜在线观看| 色播视频在线观看| 欧美国产日韩激情| 国产在线欧美日韩| 欧美影院在线播放| 亚洲欧洲视频在线| 欧美性色aⅴ视频一区日韩精品| 91色在线porny| 国产免费成人| 国产精品视频一区二区三区四蜜臂| 超碰在线网站| 在线观看中文字幕| 男人用嘴添女人下身免费视频| 国产精品高清一区二区三区| 欧美激情视频一区二区| 日韩欧美成人激情| 高跟丝袜欧美一区| 国产视频一区二区在线| 精品亚洲国内自在自线福利| 欧美日本亚洲韩国国产| 日韩深夜福利| 97久久中文字幕| 九色porny自拍视频在线观看| 免费黄色片在线观看| 四色永久网址| 黄色一级视频片| 亚洲日本精品国产第一区| 动漫一区二区在线| 国产成人欧美在线观看| 久久影院中文字幕| 精品视频在线观看日韩| 欧美剧情电影在线观看完整版免费励志电影 | 亚洲午夜久久久影院伊人| 国产精品视频在线播放| 麻豆国产精品va在线观看不卡| 日韩精品一区二区三区蜜臀| 91午夜精品| 国产精品国产精品| 国产成人精品在线观看| 欧美成人免费网| 日韩精品亚洲精品| 欧美日本高清视频在线观看| 中文字幕一区二区在线播放| 成人动漫一区二区在线| 久久se精品一区精品二区| 精品电影一区| 亚洲午夜精品一区二区国产| 久久99青青| 99久久免费精品国产72精品九九| 成人勉费视频| 丰满的护士2在线观看高清| 中文字幕在线免费| 日产精品久久久久久久性色| 日本成在线观看| www.成人69.com| 国产成人综合美国十次| 午夜欧美福利视频| 国产精品videossex久久发布| 成人片在线播放| 成年人在线看片| 日韩av在线播放不卡| 成年在线观看视频| 韩国黄色一级大片| a级黄色片网站| 久久av秘一区二区三区| 久久偷看各类wc女厕嘘嘘偷窃| 91成人理论电影| 国产精品久久久久久久久久东京| 日av在线播放中文不卡| 欧美夫妻性生活视频| 久久91亚洲精品中文字幕| 久久精品国产亚洲精品2020| 日韩亚洲成人av在线| 神马久久久久久| 久久久999精品免费| 久久视频在线看| 精品国产一区二区在线| 欧美美女操人视频| 69视频在线播放| 国产精品免费久久久久影院| 91精品中文在线| 国产v亚洲v天堂无码| 精品国产一区二区三区日日嗨| 久久综合伊人77777麻豆| 日本三级中国三级99人妇网站| 精品久久久香蕉免费精品视频| 亚洲日本精品国产第一区| 久久精品播放| 久久手机免费视频| 一区二区三区短视频| 日韩精品福利网站| 午夜小视频福利在线观看| 欧美成人r级一区二区三区| 国产剧情在线观看| 欧美亚洲国产一区二区三区| 可以在线观看的av| 狠狠色噜噜狠狠狠狠97| 400部精品国偷自产在线观看| 亚洲天堂导航| 欧美日韩国产一中文字不卡| 日韩在线电影一区| 国产伦乱精品| 日韩欧美高清视频| 国产高清不卡av| a日韩av网址| 久久精品亚洲一区二区三区浴池 | 欧美xxxx性xxxxx高清| 国产美女精品一区二区三区| 成人高清视频观看www|