在高并發(fā)場景下，巧妙地利用緩存批量查詢技巧能夠顯著提高系統(tǒng)性能。

在筆者看來，熟練掌握細粒度的緩存使用是每位架構(gòu)師必備的技能。因此，在本文中，我們將深入探討 Redis 中批量查詢的一些技巧，希望能夠給你帶來一些啟發(fā)。

圖片

1.為什么需要批量執(zhí)行命令

下圖展示了客戶端與服務(wù)端交互的流程：

圖片

每次客戶端發(fā)送一個一個請求命令，Redis 服務(wù)端接收到命令后，將命令放在隊列內(nèi)，一個一個命令執(zhí)行，并將結(jié)果返回。

批量執(zhí)行命令有三點優(yōu)勢：

• 提高命令執(zhí)行效率減少了網(wǎng)絡(luò)延遲，從而提高了 Redis 服務(wù)器的響應(yīng)速度。批量執(zhí)行減少了每個命令的單獨網(wǎng)絡(luò)傳輸開銷，有效降低了往返時間（RTT）。
• 簡化客戶端邏輯通過將多個命令封裝成一個操作，客戶端的處理邏輯變得更加簡潔和清晰。這使得客戶端代碼更易讀、易維護。
• 提升事務(wù)性能批量執(zhí)行命令能夠確保一組命令在同一時間內(nèi)執(zhí)行，從而提高了事務(wù)的性能。這對于需要保持原子性的操作尤為重要，確保一組命令要么全部執(zhí)行成功，要么全部失敗。

接下來，我們詳細講解批量查詢的四種方式。

• 字符串 MGET命令
• 哈希表 HMGET命令
• 管道技術(shù)
• Lua 腳本

2.字符串 MGET命令

MGET 是 Redis 中的一個命令，用于批量獲取多個字符串鍵的值。它接受一個或多個鍵作為參數(shù)，返回與這些鍵關(guān)聯(lián)的值。

以下是一個簡要的描述：

圖片

• key1, key2, ..., keyN：要獲取值的鍵列表。
• MGET 返回一個包含相應(yīng)值的列表，如果鍵不存在，則對應(yīng)的位置返回 nil。

該命令主要用于一次性獲取多個鍵的值，可以減少多次單獨查詢的開銷，提高效率。

圖片

接下來，我們展示 SpringBoot 項目展示如何使用 MGET 命令。

圖片

圖中，我們分別設(shè)置（key：a , b , c） 三個 key 的值，然后定義一個列表對象 keys， 列表中包含了一個不存在的鍵 "d"。

圖片

當(dāng)我們使用 MULTIGET 命令查看結(jié)果時，發(fā)現(xiàn)返回的結(jié)果是一個列表對象，列表對象的大小是 4，同時第三個對象值為 NULL ，也就是鍵 “d” 對應(yīng)的值為 nil。

3.哈希表 HMGET命令

HMGET 是 Redis 中的命令之一，用于獲取哈希表中指定字段的值。

它接受一個哈希表的鍵以及一個或多個字段名作為參數(shù)，返回與這些字段名關(guān)聯(lián)的值。以下是 HMGET 命令的基本語法：

圖片

如果給定的域不存在于哈希表，那么返回一個 nil 值。

因為不存在的 key 被當(dāng)作一個空哈希表來處理，所以對一個不存在的 key 進行 HMGET 操作將返回一個只帶有 nil 值的表。

圖片

接下來，我們展示 SpringBoot 項目展示如何使用 HMGET 命令。

圖片

首先分別設(shè)置鍵為 "myhashkey" 下的三個字段（field）的值 ，然后定義需要查詢的字段集合 fields ，最后調(diào)用哈希表的 HMGET 命令。

圖片

和 MGET命令的結(jié)果類似，spring data redis 會將結(jié)果封裝成 List 對象，列表對象的大小是 4，同時第三個對象值為 NULL ，因為字段 “d” 對應(yīng)的值為 nil。

4.管道技術(shù)

Redis Pipeline（管道）命令是一種優(yōu)化網(wǎng)絡(luò)通信的技術(shù)，可以將多個命令一次性發(fā)送給 Redis 服務(wù)器，可以減少客戶端與 Redis 服務(wù)器之間的網(wǎng)絡(luò)通信次數(shù)。

圖片

客戶端將多個命令一次性發(fā)送給 Redis 服務(wù)器，Redis 服務(wù)器緩存這些命令，并一次性執(zhí)行，最后將執(zhí)行結(jié)果一次性返回給客戶端。

通過使用 Redis Pipeline，顯而易見的好處是避免了在每個命令執(zhí)行時都進行一次網(wǎng)絡(luò)通信，從而顯著降低了時間開銷。

• 1 次 pipeline（n條命令） = 1 次網(wǎng)絡(luò)時間 + 執(zhí)行n 條命令時間

接下來，我們展示 SpringBoot 項目展示如何使用 Pipeline 管道命令。

圖片

首先分別設(shè)置三個鍵（key：a, b, c）的值，然后分別設(shè)置鍵為 "myhashkey" 下的三個字段（field）的值， 最后調(diào)用 Pipeline 執(zhí)行多個命令，并獲取結(jié)果。

圖片

需要注意的是：

• Redis Cluster 中 Pipeline 命令操作可能無法保證原子性！由于 Redis Cluster 采用的是分片機制，這些鍵無法保證所有的 key 都在同一區(qū)域的哈希槽上。因此，即使使用了 Pipeline，每個命令仍可能在不同的節(jié)點上進行處理，導(dǎo)致多個命令的執(zhí)行不在同一時刻。
• Pipeline 能執(zhí)行有依賴關(guān)系的命令嗎？不可以。如果 Pipeline 中后一個命令的執(zhí)行依賴于前一個命令的執(zhí)行結(jié)果，Pipeline 無法滿足這樣的需求。
• Pipeline 對發(fā)送的命令有數(shù)量限制嗎？雖然命令可以一次性發(fā)給 Redis 服務(wù)端，但是考慮到帶寬等情況，建議不要超過500個命令，或者根據(jù)實際命令的數(shù)據(jù)類型和大小進行調(diào)整。這樣可以避免潛在的性能問題。

5.Lua 腳本

Redis Lua 腳本是一種在 Redis 服務(wù)器上執(zhí)行的腳本語言，基于 Lua 編程語言。

這種腳本可以包含多個 Redis 命令，而且它們在 Redis 服務(wù)器上以原子性操作的方式執(zhí)行。通過使用 Lua 腳本，你可以在服務(wù)器端執(zhí)行一系列的 Redis 命令，而不需要將它們一條一條地發(fā)送到服務(wù)器。

Redis 執(zhí)行 Lua 腳本有兩種執(zhí)行方式：Eval 和 EvalSHA 。

5.1 Eval

圖片

EVAL命令的執(zhí)行過程主要可以分為三個步驟：

• 根據(jù)客戶端提供的 Lua 腳本，在 Lua 環(huán)境中定義一個 Lua 函數(shù)。Lua 函數(shù)的名稱實際上是以 "f_" 為前綴加上腳本本身計算出的 SHA1 值，例如 f_ddfsdfjgjbg33rndgj00，其中 SHA1 的長度為40字符。函數(shù)體則是腳本本身。
• 將客戶端提供的腳本保存到 lua_scripts 字典中。簡單來說，就是添加一個鍵值對，其中鍵是 Lua 腳本的 SHA1 校驗和，值是 Lua 腳本本身。這主要是為了以后能夠復(fù)用這個腳本。
• 執(zhí)行第一步在 Lua 環(huán)境中定義的函數(shù)，從而執(zhí)行客戶端提供的 Lua 腳本。這個過程利用了在步驟二中保存的 SHA1 校驗和來調(diào)用對應(yīng)的 Lua 函數(shù)。

這個流程使得 Redis 能夠高效地處理客戶端提供的 Lua 腳本，同時通過緩存 SHA1 校驗和，可以減少重復(fù)傳輸腳本的開銷，提高效率。

在Redis中，使用了 Key 列表和參數(shù)列表來為Lua腳本提供更多的靈活性，執(zhí)行 Eval 命令的格式為：

圖片

下圖演示下 Lua 如何調(diào)用 Redis 命令 ，通過redis.call()來執(zhí)行了 Redis 命令 。

圖片

5.2 EvalSHA

與 EVAL 不同，EVALSHA 的主要目的是通過腳本的 SHA1 校驗和來執(zhí)行預(yù)先在服務(wù)器端加載的 Lua 腳本，從而避免重復(fù)傳輸腳本的開銷。

圖片

使用步驟：

• 加載 Lua 腳本到 Redis 服務(wù)端：

首先，將 Lua 腳本加載到 Redis 服務(wù)端。這可以通過 SCRIPT LOAD 命令完成。執(zhí)行 SCRIPT LOAD 后，會返回一個 SHA1 校驗和，該值唯一標識了加載的 Lua 腳本。

圖片

這會返回SHA1 校驗和: a1104f2250e5dd9fc10c3c681ddb389e7bd4a2cf。

• 執(zhí)行 Lua 腳本：

一旦 Lua 腳本被加載并獲得了 SHA1 校驗和，之后就可以使用 EVALSHA 命令來執(zhí)行該腳本。

圖片

5.3 springboot例子

圖片

首先分別設(shè)置三個鍵（key：a, b, c）的值，然后分別設(shè)置鍵為 "myhashkey" 下的三個字段（field）的值， 并編寫 Lua 腳本，執(zhí)行 Lua 腳本并獲取結(jié)果。

6.總結(jié)

本文介紹了Redis 中批量查詢的四種技巧：

• MGET（批量獲取字符串值）：

簡單直接，適用于批量獲取字符串值的場景。

• HMGET（批量獲取哈希表字段值）：

適用于批量獲取哈希表中的字段值，可以在一個命令中獲取多個字段。

• Pipeline（管道）：

最小化網(wǎng)絡(luò)開銷，一次性發(fā)送多個不同的命令，管道中的命令按照執(zhí)行順序依次執(zhí)行，減少往返時間。高并發(fā)場景下，可以顯著提高性能。

• Lua腳本：

使用 Lua 腳本的好處 ：

a.減少網(wǎng)絡(luò)開銷。將多個請求通過腳本的形式一次發(fā)送，減少網(wǎng)絡(luò)時延。

b.原子操作。Redis會將整個腳本作為一個整體執(zhí)行，中間不會被其他命令插入。

c.復(fù)用。客戶端發(fā)送的腳本會永久存在 Redis 中，其他客戶端可以復(fù)用這一腳本而不需要使用代碼完成相同的邏輯。

當(dāng)然 使用 Lua 腳本也會有瑕疵，編寫和維護相對復(fù)雜。