[[374927]]

你應(yīng)該從網(wǎng)上看過(guò)太多的文章說(shuō)緩存穿透怎么解決?無(wú)非就是布隆過(guò)濾器，緩存空值什么的。

但是，更深入的一個(gè)問(wèn)題，緩存空值有沒(méi)有問(wèn)題?如果緩存的空值太多怎么辦?

如果用的redis，那么太多的空值會(huì)不會(huì)打爆你的redis?如果用的本地緩存，會(huì)不會(huì)打爆你的內(nèi)存?繼而引發(fā)的問(wèn)題就是還是會(huì)打爆你的數(shù)據(jù)庫(kù)。

從線(xiàn)上問(wèn)題說(shuō)起

前不久，我們線(xiàn)上環(huán)境壓測(cè)，在QPS壓倒2W之后RT達(dá)到了幾十秒，排查后發(fā)現(xiàn)是redis的連接數(shù)不夠?qū)е麓罅康倪B接超時(shí)。

經(jīng)過(guò)考慮之后，我們最終決定棄用redis緩存的方案，改為本地緩存，因?yàn)槲覀兙彺娴亩际且恍┡渲眯畔ⅲ瑢?shí)際上幾個(gè)月都不太可能修改，而redis配置的連接數(shù)是200，5分鐘超時(shí)，數(shù)據(jù)量實(shí)際上也就只有幾千條而已，實(shí)際上來(lái)說(shuō)并沒(méi)有很大的必要，本地緩存完全就可以解決問(wèn)題了。

本地緩存使用Guava的LoadingCache實(shí)現(xiàn)。

但是修改完之后，壓測(cè)之后還是發(fā)現(xiàn)有接口全部走到數(shù)據(jù)庫(kù)查詢(xún)，先排查代碼，是否是代碼的BUG導(dǎo)致實(shí)際沒(méi)有生效，后來(lái)發(fā)現(xiàn)實(shí)際上發(fā)生了緩存穿透，壓測(cè)使用了一些數(shù)據(jù)庫(kù)中不存在的記錄，導(dǎo)致了穿透的問(wèn)題，實(shí)際上這個(gè)問(wèn)題在使用redis的時(shí)候也一直存在，只是由于連接數(shù)的問(wèn)題一直沒(méi)有發(fā)現(xiàn)而已。

接下來(lái)就是考慮怎么解決的問(wèn)題?

由于我們都是緩存的一些配置信息，幾千條數(shù)據(jù)而已，最終考慮簡(jiǎn)單解決的辦法。直接把所有的key全部從數(shù)據(jù)庫(kù)查出來(lái)緩存下來(lái)，查數(shù)據(jù)庫(kù)之前直接根據(jù)key過(guò)濾一把，如果不存在就直接返回，不要走數(shù)據(jù)庫(kù)查詢(xún)了。

當(dāng)然，這是由于我們的場(chǎng)景比較簡(jiǎn)單，這樣直接處理就行了，那么，如果再?gòu)?fù)雜一點(diǎn)，比如上億的緩存數(shù)據(jù)呢?

解決方案

前置過(guò)濾

如果說(shuō)類(lèi)似我這種比較簡(jiǎn)單的一些緩存，使用我上面說(shuō)的解決方案也可以，還有一些緩存的key是比如ID之類(lèi)，也可以根據(jù)一定的范圍規(guī)則去提前過(guò)濾，比如緩存的key明確知道在1-10萬(wàn)的范圍之后，那么過(guò)濾掉在這個(gè)范圍之外的請(qǐng)求直接返回就可以了。

當(dāng)然，很明顯這種簡(jiǎn)單的規(guī)則過(guò)濾適用于數(shù)據(jù)量不是很大，并且數(shù)據(jù)不會(huì)頻繁發(fā)生改變的情況。

布隆過(guò)濾器

對(duì)于上述場(chǎng)景，因?yàn)閿?shù)據(jù)量很小，簡(jiǎn)單的代碼實(shí)現(xiàn)緩存即可，如果說(shuō)數(shù)據(jù)量很大的話(huà)，比如有一億個(gè)key，使用布隆過(guò)濾器就是個(gè)更優(yōu)解。

我們可以每天定時(shí)把所有的配置信息從數(shù)據(jù)庫(kù)中查詢(xún)出來(lái)構(gòu)建成bitmap。

關(guān)于布隆過(guò)濾器我前面的文章也有寫(xiě)過(guò)，貼上之前的圖一張，如果查詢(xún)的位置都是1的話(huà)說(shuō)明key存在，反之只要有一個(gè)0則說(shuō)明肯定不存在。

使用布隆過(guò)濾器的缺點(diǎn)也很明顯，存在一定概率的誤判。當(dāng)然，既然用了，對(duì)于誤判比例、內(nèi)存占用等等問(wèn)題應(yīng)該事先評(píng)估好。

緩存空值

這個(gè)是網(wǎng)上說(shuō)爛的問(wèn)題，但是緩存空值的空值太多明顯也是有問(wèn)題的，再進(jìn)一步解決方案就是快速過(guò)期。

一般來(lái)說(shuō)，普通的緩存的寫(xiě)法如下，先查緩存，如果緩存存在則直接返回，如果緩存沒(méi)有則去數(shù)據(jù)庫(kù)查詢(xún)，結(jié)果不是空就保存到緩存中。

改進(jìn)版的寫(xiě)法就是緩存空對(duì)象，針對(duì)空的數(shù)據(jù)，設(shè)置過(guò)期時(shí)間，比如10分鐘，快速過(guò)期，防止太多的空值問(wèn)題。

但是這個(gè)解決方案仍然有點(diǎn)小問(wèn)題，就是短暫的數(shù)據(jù)不一致的問(wèn)題。

想象一下如果緩存的空值這時(shí)候?qū)嶋H上已經(jīng)有值了，那么在過(guò)期時(shí)間的這段時(shí)間內(nèi)就可能存在短暫的數(shù)據(jù)不一致。

總結(jié)

緩存穿透的問(wèn)題總結(jié)下來(lái)就是三點(diǎn)，這三個(gè)方式不是說(shuō)是隔離的解決方案，他們可以結(jié)合在一起使用。

首先看數(shù)據(jù)量，如果數(shù)據(jù)量很小并且沒(méi)有頻繁變更的話(huà)，選擇前置過(guò)濾的方式，根據(jù)具體的業(yè)務(wù)規(guī)則來(lái)處理就可以。

如果數(shù)據(jù)量大的話(huà)，可以選擇使用布隆過(guò)濾器，但是存在一定概率的誤判。

通過(guò)前置的攔截，應(yīng)該攔截住大部分的流量，避免直接打爆數(shù)據(jù)庫(kù)。

最后，可以使用緩存空值并且設(shè)置快速過(guò)期的方式來(lái)作為一個(gè)兜底的方案。

如果還有問(wèn)題，那么就是限流、降級(jí)了。

本文轉(zhuǎn)載自微信公眾號(hào)「艾小仙」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系艾小仙公眾號(hào)。