国产精品电影_久久视频免费_欧美日韩国产激情_成年人视频免费在线播放_日本久久亚洲电影_久久都是精品_66av99_九色精品美女在线_蜜臀a∨国产成人精品_冲田杏梨av在线_欧美精品在线一区二区三区_麻豆mv在线看

如何保證緩存與數據庫的雙寫一致性?

數據庫
用到了分布式緩存,就可能會涉及到緩存與數據庫雙存儲雙寫,你只要是雙寫,就一定會有數據一致性的問題,那么你如何解決一致性問題?一起來看一下吧。

分布式緩存是現在很多分布式應用中必不可少的組件,但是用到了分布式緩存,就可能會涉及到緩存與數據庫雙存儲雙寫,你只要是雙寫,就一定會有數據一致性的問題,那么你如何解決一致性問題?

Cache Aside Pattern

最經典的緩存+數據庫讀寫的模式,就是 Cache Aside Pattern。

讀的時候,先讀緩存,緩存沒有的話,就讀數據庫,然后取出數據后放入緩存,同時返回響應。

更新的時候,先更新數據庫,然后再刪除緩存。

為什么是刪除緩存,而不是更新緩存?

原因很簡單,很多時候,在復雜點的緩存場景,緩存不單單是數據庫中直接取出來的值。

比如可能更新了某個表的一個字段,然后其對應的緩存,是需要查詢另外兩個表的數據并進行運算,才能計算出緩存最新的值的。

另外更新緩存的代價有時候是很高的。是不是說,每次修改數據庫的時候,都一定要將其對應的緩存更新一份?也許有的場景是這樣,但是對于比較復雜的緩存數據計算的場景,就不是這樣了。如果你頻繁修改一個緩存涉及的多個表,緩存也頻繁更新。但是問題在于,這個緩存到底會不會被頻繁訪問到?

舉個栗子,一個緩存涉及的表的字段,在 1 分鐘內就修改了 20 次,或者是 100 次,那么緩存更新 20 次、100 次;但是這個緩存在 1 分鐘內只被讀取了 1次,有大量的冷數據。實際上,如果你只是刪除緩存的話,那么在 1 分鐘內,這個緩存不過就重新計算一次而已,開銷大幅度降低,用到緩存才去算緩存。

其實刪除緩存,而不是更新緩存,就是一個 lazy 計算的思想,不要每次都重新做復雜的計算,不管它會不會用到,而是讓它到需要被使用的時候再重新計算。像 mybatis,hibernate,都有懶加載思想。查詢一個部門,部門帶了一個員工的 list,沒有必要說每次查詢部門,都里面的 1000 個員工的數據也同時查出來啊。80% 的情況,查這個部門,就只是要訪問這個部門的信息就可以了。先查部門,同時要訪問里面的員工,那么這個時候只有在你要訪問里面的員工的時候,才會去數據庫里面查詢 1000 個員工。

最初級的緩存不一致問題及解決方案

問題:先修改數據庫,再刪除緩存。如果刪除緩存失敗了,那么會導致數據庫中是新數據,緩存中是舊數據,數據就出現了不一致。

解決思路:先刪除緩存,再修改數據庫。如果數據庫修改失敗了,那么數據庫中是舊數據,緩存中是空的,那么數據不會不一致。因為讀的時候緩存沒有,則讀數據庫中舊數據,然后更新到緩存中。

比較復雜的數據不一致問題分析

數據發生了變更,先刪除了緩存,然后要去修改數據庫,此時還沒修改。一個請求過來,去讀緩存,發現緩存空了,去查詢數據庫,查到了修改前的舊數據,放到了緩存中。隨后數據變更的程序完成了數據庫的修改。

完了,數據庫和緩存中的數據不一樣了。。。

為什么上億流量高并發場景下,緩存會出現這個問題?

只有在對一個數據在并發的進行讀寫的時候,才可能會出現這種問題。其實如果說你的并發量很低的話,特別是讀并發很低,每天訪問量就 1 萬次,那么很少的情況下,會出現剛才描述的那種不一致的場景。但是問題是,如果每天的是上億的流量,每秒并發讀是幾萬,每秒只要有數據更新的請求,就可能會出現上述的數據庫+緩存不一致的情況。

解決方案如下:

更新數據的時候,根據數據的唯一標識,將操作路由之后,發送到一個 jvm 內部隊列中。讀取數據的時候,如果發現數據不在緩存中,那么將重新讀取數據+更新緩存的操作,根據唯一標識路由之后,也發送同一個 jvm 內部隊列中。

一個隊列對應一個工作線程,每個工作線程串行拿到對應的操作,然后一條一條的執行。這樣的話,一個數據變更的操作,先刪除緩存,然后再去更新數據庫,但是還沒完成更新。此時如果一個讀請求過來,讀到了空的緩存,那么可以先將緩存更新的請求發送到隊列中,此時會在隊列中積壓,然后同步等待緩存更新完成。

這里有一個優化點,一個隊列中,其實多個更新緩存請求串在一起是沒意義的,因此可以做過濾,如果發現隊列中已經有一個更新緩存的請求了,那么就不用再放個更新請求操作進去了,直接等待前面的更新操作請求完成即可。

待那個隊列對應的工作線程完成了上一個操作的數據庫的修改之后,才會去執行下一個操作,也就是緩存更新的操作,此時會從數據庫中讀取最新的值,然后寫入緩存中。

如果請求還在等待時間范圍內,不斷輪詢發現可以取到值了,那么就直接返回;如果請求等待的時間超過一定時長,那么這一次直接從數據庫中讀取當前的舊值。

高并發的場景下,該解決方案要注意的問題:

1、讀請求長時阻塞

由于讀請求進行了非常輕度的異步化,所以一定要注意讀超時的問題,每個讀請求必須在超時時間范圍內返回。

該解決方案,最大的風險點在于說,可能數據更新很頻繁,導致隊列中積壓了大量更新操作在里面,然后讀請求會發生大量的超時,最后導致大量的請求直接走數據庫。務必通過一些模擬真實的測試,看看更新數據的頻率是怎樣的。

另外一點,因為一個隊列中,可能會積壓針對多個數據項的更新操作,因此需要根據自己的業務情況進行測試,可能需要部署多個服務,每個服務分攤一些數據的更新操作。如果一個內存隊列里居然會擠壓 100 個商品的庫存修改操作,每隔庫存修改操作要耗費 10ms 去完成,那么最后一個商品的讀請求,可能等待 10 * 100 = 1000ms = 1s 后,才能得到數據,這個時候就導致讀請求的長時阻塞。

一定要做根據實際業務系統的運行情況,去進行一些壓力測試,和模擬線上環境,去看看最繁忙的時候,內存隊列可能會擠壓多少更新操作,可能會導致最后一個更新操作對應的讀請求,會 hang 多少時間,如果讀請求在 200ms 返回,如果你計算過后,哪怕是最繁忙的時候,積壓 10 個更新操作,最多等待 200ms,那還可以的。

如果一個內存隊列中可能積壓的更新操作特別多,那么你就要加機器,讓每個機器上部署的服務實例處理更少的數據,那么每個內存隊列中積壓的更新操作就會越少。

其實根據之前的項目經驗,一般來說,數據的寫頻率是很低的,因此實際上正常來說,在隊列中積壓的更新操作應該是很少的。像這種針對讀高并發、讀緩存架構的項目,一般來說寫請求是非常少的,每秒的 QPS 能到幾百就不錯了。

實際粗略測算一下

如果一秒有 500 的寫操作,如果分成 5 個時間片,每 200ms 就 100 個寫操作,放到 20 個內存隊列中,每個內存隊列,可能就積壓 5 個寫操作。每個寫操作性能測試后,一般是在 20ms 左右就完成,那么針對每個內存隊列的數據的讀請求,也就最多 hang 一會兒,200ms 以內肯定能返回了。

經過剛才簡單的測算,我們知道,單機支撐的寫 QPS 在幾百是沒問題的,如果寫 QPS 擴大了 10 倍,那么就擴容機器,擴容 10 倍的機器,每個機器 20 個隊列。

2、讀請求并發量過高

這里還必須做好壓力測試,確保恰巧碰上上述情況的時候,還有一個風險,就是突然間大量讀請求會在幾十毫秒的延時 hang 在服務上,看服務能不能扛的住,需要多少機器才能扛住最大的極限情況的峰值。

但是因為并不是所有的數據都在同一時間更新,緩存也不會同一時間失效,所以每次可能也就是少數數據的緩存失效了,然后那些數據對應的讀請求過來,并發量應該也不會特別大。

3、多服務實例部署的請求路由

可能這個服務部署了多個實例,那么必須保證說,執行數據更新操作,以及執行緩存更新操作的請求,都通過 Nginx 服務器路由到相同的服務實例上。

比如說,對同一個商品的讀寫請求,全部路由到同一臺機器上。可以自己去做服務間的按照某個請求參數的 hash 路由,也可以用 Nginx 的 hash 路由功能等等。

4、熱點商品的路由問題,導致請求的傾斜

萬一某個商品的讀寫請求特別高,全部打到相同的機器的相同的隊列里面去了,可能會造成某臺機器的壓力過大。就是說,因為只有在商品數據更新的時候才會清空緩存,然后才會導致讀寫并發,所以其實要根據業務系統去看,如果更新頻率不是太高的話,這個問題的影響并不是特別大,但是的確可能某些機器的負載會高一些。 

 

責任編輯:龐桂玉 來源: 運維派
相關推薦

2022-03-31 08:21:14

數據庫緩存雙寫數據一致性

2021-06-11 09:21:58

緩存數據庫Redis

2022-03-29 10:39:10

緩存數據庫數據

2024-10-28 12:41:25

2022-12-05 08:24:32

mongodb數據庫數據

2022-04-01 16:55:22

數據庫緩存日志

2024-12-26 15:01:29

2025-04-27 08:52:21

Redis數據庫緩存

2020-06-01 22:09:48

緩存緩存同步緩存誤用

2021-12-01 08:26:27

數據庫緩存技術

2021-06-04 09:56:12

RedisMySQL美團

2024-08-06 09:42:23

2024-01-22 08:52:00

AQS雙異步數據一致性

2022-02-23 09:17:09

數據庫分離變更

2019-08-30 12:46:10

并發扣款查詢SQL

2018-05-16 16:10:28

數據庫緩存MySQL

2025-03-27 08:20:54

2024-01-15 10:38:20

多級緩存數據一致性分布式緩存

2021-04-24 16:58:03

數據庫工具技術

2022-10-19 12:22:53

并發扣款一致性
點贊
收藏

51CTO技術棧公眾號

97超碰资源| 日韩在线中文视频| 欧美一级视频免费看| 97欧美精品一区二区三区| 无码精品国产一区二区三区免费| 青娱乐精品视频| 精品无人区一区二区三区竹菊| 影音先锋在线播放| 亚洲福利视频网站| 久久精品99久久久| 欧美精品做受xxx性少妇| www.成人在线.com| 久久99热精品| 日本妇女一区| 国产精品一区久久久| 久久av中文字幕片| av片在线观看免费| 久久综合狠狠综合| 欧美色老女人| 你懂的一区二区| 日韩在线第七页| 日韩av片在线看| 精品精品国产高清a毛片牛牛| 欧美成人精品欧美一级乱| 久久精品一区二区三区av| 色婷婷亚洲十月十月色天| 亚洲国产成人91porn| 都市激情在线视频| 亚洲精品久久久久| 一区二区三区国产好| 国产精品国产三级国产aⅴ9色| 成人激情视频在线| 久久久久久久综合| 日韩视频在线一区二区三区| 欧美激情中文网| 天堂91在线| 欧美精品aⅴ在线视频| 手机在线观看av网站| 久久久久久久久久久久久久久久久久av| 最近国产精品视频| 精品视频在线观看| 国产精品影音先锋| 国产毛片毛片| 欧美一区二区三区视频| 日韩毛片免费视频一级特黄| 国产精品视频一| 美国毛片一区二区三区| 污网站免费看| 午夜精品在线视频| 色菇凉天天综合网| 一本一道波多野结衣一区二区| 亚洲一区二区三区加勒比| 91在线视频网址| 日本福利小视频| 精品久久久久久久人人人人传媒| 欧美一级大片在线视频| 亚洲精品久久久久久久久久久| 蜜臀久久精品| 亚洲成av人片一区二区三区| 国产盗摄精品一区二区酒店| 欧美激情国产精品| 亚洲经典三级| www.精品在线| 欧美精品久久天天躁| 97se亚洲| 亚洲国产一区二区三区在线播 | 濑亚美莉一二区在线视频 | 国产精品九九九| 中文字幕精品视频| 91福利在线观看| 2020国产精品极品色在线观看| 国产成人亚洲综合91精品| 天堂蜜桃一区二区三区| 秋霞成人影院| 成人性免费视频| 国产精品日韩专区| 日韩网站在线看片你懂的| 北条麻妃国产九九精品视频| 免费一级欧美在线观看视频| 免费看污污网站| 国产中文字幕二区| 久久99精品久久久久久秒播放器 | 久久久水蜜桃| 欧美一级成年大片在线观看 | 中文字幕 91| 亚洲一区美女视频在线观看免费| 欧美一区二区三区免费观看视频 | 欧美精品v国产精品v日韩精品 | 狠狠干婷婷色| 中文字幕免费精品一区| 国产综合视频| 999久久欧美人妻一区二区| 欧美性猛交xxxx久久久| 国产精品久久久网站 | 午夜日韩av| 四虎国产精品成人免费4hu| 亚洲亚裔videos黑人hd| 国产精品亚洲综合久久| 91亚洲va在线va天堂va国| 久久久国产午夜精品| 惠美惠精品网| 丝袜足脚交91精品| 欧美三级三级三级| 成人同人动漫免费观看| 色婷五月综激情亚洲综合| 久久亚洲欧美日韩精品专区| 国产传媒欧美日韩成人| 欧美色欧美亚洲另类七区| 国产天堂亚洲国产碰碰| 免费一区二区三区四区| 国产精品伦理一区二区| av资源新版天堂在线| 中文字幕一区二区三中文字幕| 欧美美女被草| 超碰电影在线播放| 国产二区在线播放| 伊人网在线免费观看| 男女在线视频| 久久精品影视大全| 欧美亚洲另类色图| 91色国产在线| 九色视频一区| 巨大荫蒂视频欧美大片| 91视视频在线观看入口直接观看www | 亚洲图片在线| 亚洲无毛电影| 国产精品久久久久久久久久妞妞| 啪啪亚洲精品| 一区二区三区在线| 国产成人av电影| 亚洲国产色一区| 九七影院理论片| 97国产suv精品一区二区62| 亚洲专区在线| 黄网站免费久久| 国产精品精品国产色婷婷| 欧美成人国产一区二区| 亚洲第一福利视频| 伊人色综合影院| 欧美一区二区观看视频| 色噜噜狠狠色综合网图区| 国产精品激情av在线播放 | 亚洲成人xxx| 91小视频免费看| 91香蕉视频黄| 欧美伊人久久久久久久久影院| 久久久久久久久久久亚洲| 色综合久久88色综合天天提莫| 骚视频在线观看| 国产色婷婷在线| 少妇精品视频在线观看| 中文一区一区三区免费在线观看| 播五月开心婷婷综合| 欧美男人的天堂一二区| 欧美精品www在线观看| 日韩国产在线一区| 欧美精品资源| 亚洲精华一区二区三区| 欧美黄色一级视频| 1024精品合集| 色综合导航网站| 春日野结衣av| 性欧美lx╳lx╳| 亚洲女人av| 欧美另类videos死尸| 91香蕉电影院| 亚洲精品蜜桃久久久久久| 欧美78videosex性欧美| 国产农村妇女毛片精品久久莱园子| 日本高清好狼色视频| 国产欧美一区二区白浆黑人| 久久99国产精品一区| 黄色激情在线播放| 欧美日韩国产丝袜美女| 亚洲黄色网址在线观看| 亚洲国产精品久久久久秋霞不卡| 亚洲最大在线视频| 中文字幕一精品亚洲无线一区 | 精品午夜一区二区三区在线观看 | 免费黄色日本网站| 波多野结衣中文在线| 亚洲国产国产| 午夜精品久久久久久久99樱桃| 成人欧美一区二区三区在线湿哒哒| 青青草视频在线视频| 91精品国产一区二区三区蜜臀| 99re成人精品视频| 色小子综合网| 芒果视频成人app| 在线久久视频| 少妇久久久久久被弄到高潮| 国产精品嫩草影院久久久| 亚洲精品中文字幕有码专区| 亚洲国产成人va在线观看天堂| 国产成人丝袜美腿| 国产精品大片| 久久av导航| 日韩综合av| 日本三级韩国三级欧美三级| 亚洲aⅴ优女av综合久久久|