国产精品电影_久久视频免费_欧美日韩国产激情_成年人视频免费在线播放_日本久久亚洲电影_久久都是精品_66av99_九色精品美女在线_蜜臀a∨国产成人精品_冲田杏梨av在线_欧美精品在线一区二区三区_麻豆mv在线看

分布式理論:分布式 ID 方案、雪花算法與時鐘回撥問題

系統
系統的架構雖然是分布式的,但是在用戶層應是無感知的,重復的訂單主鍵顯而易見是不被允許的。那么針對分布式系統如何做到主鍵唯一性呢?

一、為什么需要全局唯一ID

傳統的單體架構的時候,我們基本是單庫然后業務單表的結構。每個業務表的ID一般我們都是從1增,通過AUTO_INCREMENT=1設置自增起始值,但是在分布式服務架構模式下分庫分表的設計,使得多個庫或多個表存儲相同的業務數據。這種情況根據數據庫的自增ID就會產生相同ID的情況,不能保證主鍵的唯一性。

如上圖,如果第一個訂單存儲在 DB1 上則訂單 ID 為1,當一個新訂單又入庫了存儲在 DB2 上訂單 ID 也為1。我們系統的架構雖然是分布式的,但是在用戶層應是無感知的,重復的訂單主鍵顯而易見是不被允許的。那么針對分布式系統如何做到主鍵唯一性呢?

二、UUID

UUID (Universally Unique Identifier),通用唯一識別碼的縮寫。UUID是由一組32位數的16進制數字所構成,所以UUID理論上的總數為 16^32=2^128,約等于 3.4 x 10^38。也就是說若每納秒產生1兆個UUID,要花100億年才會將所有UUID用完。

生成的UUID是由 8-4-4-4-12格式的數據組成,其中32個字符和4個連字符' - ',一般我們使用的時候會將連字符刪除 uuid.toString().replaceAll("-","")。

目前UUID的產生方式有5種版本,每個版本的算法不同,應用范圍也不同。

  • 基于時間的UUID - 版本1:這個一般是通過當前時間,隨機數,和本地Mac地址來計算出來,可以通過 org.apache.logging.log4j.core.util包中的 UuidUtil.getTimeBasedUuid()來使用或者其他包中工具。由于使用了MAC地址,因此能夠確保唯一性,但是同時也暴露了MAC地址,私密性不夠好。
  • DCE安全的UUID - 版本2 DCE(Distributed Computing Environment)安全的UUID和基于時間的UUID算法相同,但會把時間戳的前4位置換為POSIX的UID或GID。這個版本的UUID在實際中較少用到。
  • 基于名字的UUID(MD5)- 版本3 基于名字的UUID通過計算名字和名字空間的MD5散列值得到。這個版本的UUID保證了:相同名字空間中不同名字生成的UUID的唯一性;不同名字空間中的UUID的唯一性;相同名字空間中相同名字的UUID重復生成是相同的。
  • 隨機UUID - 版本4 根據隨機數,或者偽隨機數生成UUID。這種UUID產生重復的概率是可以計算出來的,但是重復的可能性可以忽略不計,因此該版本也是被經常使用的版本。JDK中使用的就是這個版本。
  • 基于名字的UUID(SHA1) - 版本5 和基于名字的UUID算法類似,只是散列值計算使用SHA1(Secure Hash Algorithm 1)算法。

雖然 UUID 生成方便,本地生成沒有網絡消耗,但是使用起來也有一些缺點,

  • 不易于存儲:UUID太長,16字節128位,通常以36長度的字符串表示,很多場景不適用。
  • 信息不安全:基于MAC地址生成UUID的算法可能會造成MAC地址泄露,暴露使用者的位置。
  • 對MySQL索引不利:如果作為數據庫主鍵,在InnoDB引擎下,UUID的無序性可能會引起數據位置頻繁變動,嚴重影響性能。

三、中間層

從為什么需要全局唯一ID里面可知,是因為獲取ID的源從以前的一個變成了多個,所以才會導致重復,那我們只需要做一個公共的獲取ID的中間層就可以了,像利用公共的Mqsql、公共的Redis、公共的MongoDB、公共的ID生成服務組件都是這樣的道理。

總的來說有三種方案:

(1) 單純遞增

比如:Mysql的自增、redis的INCR、mongoDB的自增等,優點是簡單易實現,缺點是競爭過大、吞吐量低、可用性差。

(2) 步長遞增

以Mysql舉例,假設現在根據業務分了4個庫了,代表有4個表,分別是T1、T2、T3、T4,我們設置它們的起始值為1,2,3,4,步長為4,那它們id則為下所示:

T1:1,5,9,13,17
T2:2,6,10,14,18
T3:3,7,11,15,19
T4:4,8,12,16,20

可見一樣也不會重復,優點是打破單調遞增的局限、性能相比較好,缺點不利于拓展,特殊情況可能會導致重復。

(3) 號段模式

同樣以Mysql為例,以上ID都是一個一個的分發,自然導致了并發可能過大的問題,此模式就是為了降低對中間層的訪問次數,一次性發放一批ID給客戶端緩存,用完了在重新獲取,這就是這模式的核心思想,具體以實際為準。

四、雪花算法-Snowflake

Snowflake,雪花算法是由Twitter開源的分布式ID生成算法,以劃分命名空間的方式將 64-bit位分割成多個部分,每個部分代表不同的含義。而 Java中64bit的整數是Long類型,所以在 Java 中 SnowFlake 算法生成的 ID 就是 long 來存儲的。

  • 第1位占用1bit,其值始終是0,可看做是符號位不使用。
  • 第2位開始的41位是時間戳,41-bit位可表示2^41個數,每個數代表毫秒,那么雪花算法可用的時間年限是(1L<<41)/(1000L360024*365)=69 年的時間。
  • 中間的10-bit位可表示機器數,即2^10 = 1024臺機器,但是一般情況下我們不會部署這么臺機器。如果我們對IDC(互聯網數據中心)有需求,還可以將 10-bit 分 5-bit 給 IDC,分5-bit給工作機器。這樣就可以表示32個IDC,每個IDC下可以有32臺機器,具體的劃分可以根據自身需求定義。
  • 最后12-bit位是自增序列,可表示2^12 = 4096個數。

這樣的劃分之后相當于在一毫秒一個數據中心的一臺機器上可產生4096個有序的不重復的ID。但是我們 IDC 和機器數肯定不止一個,所以毫秒內能生成的有序ID數是翻倍的。

雪花算法提供了一個很好的設計思想,雪花算法生成的ID是趨勢遞增,不依賴數據庫等第三方系統,以服務的方式部署,穩定性更高,生成ID的性能也是非常高的,而且可以根據自身業務特性分配bit位,非常靈活。

但是雪花算法強依賴機器時鐘,如果機器上時鐘回撥,會導致發號重復或者服務會處于不可用狀態。如果恰巧回退前生成過一些ID,而時間回退后,生成的ID就有可能重復。官方對于此并沒有給出解決方案,而是簡單的拋錯處理,這樣會造成在時間被追回之前的這段時間服務不可用。并發足夠大的情況下,ID會用完,因為自增序列會達到上限。

以上每種模式都有自己的缺點,實際上大多是以上幾種模式的結合來運用的,比如美團的Leaf、百度的UidGenerator,所以大方向是兩個方案:

  • 綜合后的緩存+號段
  • 雪花的改良,天然的唯一性。

五、如何解決時鐘回撥問題

時鐘回撥:指的是系統時鐘被向后調整到之前的時間,也就是在某一瞬間,系統時間突然跳回到之前的某個時間點;

這對雪花來說無疑是致命!

這個問題談不上解決,只能說規避或者保證唯一的解決方案:

(1) 拒絕策略

這個很簡單,就是檢測到時鐘回撥后,拒絕ID的生成。

(2) 使用物理時鐘和邏輯時鐘結合的方式

物理時鐘是指系統硬件上的時鐘,它具有不同步的風險。而邏輯時鐘則是指根據本地時鐘和網絡時間協議(NTP)獲取的網絡時鐘計算出來的時間戳,它具有更好的同步性能。

在使用邏輯時鐘時,可以將本地的邏輯時鐘與 NTP 服務提供的時間進行比較,并使用兩個時鐘之間的差值來確定當前的本地時間。如果本地時鐘發生回撥,可以通過記錄回撥的信息以及處理回撥前后的時間變化來避免ID重復或生成失敗。

(3) 時間后移消費

每次產生ID的時候保存一次時間,發生時間回撥的時候,取出緩存的時間+1s,缺點是時間可能會錯位。

責任編輯:趙寧寧 來源: 程序員阿沛
相關推薦

2019-09-05 13:06:08

雪花算法分布式ID

2023-12-12 07:13:39

雪花算法分布式ID

2022-02-23 07:09:30

分布式ID雪花算法

2021-12-15 07:24:56

分布式系統時鐘

2023-12-13 09:35:52

算法分布式

2023-03-05 18:23:38

分布式ID節點

2024-02-02 10:57:12

Java分布式算法

2019-10-10 09:16:34

Zookeeper架構分布式

2023-05-29 14:07:00

Zuul網關系統

2019-06-19 15:40:06

分布式鎖RedisJava

2017-09-01 05:35:58

分布式計算存儲

2024-01-10 08:02:03

分布式技術令牌,

2022-06-21 08:27:22

Seata分布式事務

2017-07-01 16:02:39

分布式ID生成器

2017-10-27 08:40:44

分布式存儲剪枝系統

2023-10-26 18:10:43

分布式并行技術系統

2025-08-04 01:00:45

2021-06-02 22:16:56

框架CAPBASE

2021-03-11 07:27:15

CAPBASE分布式

2025-06-13 07:30:51

點贊
收藏

51CTO技術棧公眾號

国产婷婷视频在线| 欧美+日本+国产+在线a∨观看| 最新热久久免费视频| 日韩国产欧美精品| 欧美国产中文高清| 亚洲成人久久一区| 嫩草研究院在线观看| 中文在线一区二区| 亚洲欧美丝袜| 欧美黄色录像片| 久久不射热爱视频精品| 香蕉久久aⅴ一区二区三区| 一区二区三区免费网站| 肉大捧一出免费观看网站在线播放| 91精品电影| 日韩av色在线| 久久视频免费| 亚洲天堂影视av| 91精品久久久| 日本丰满少妇一区二区三区| 久久久久久77777| 久久精品视频一区二区三区| 国产精品久久久影院| 久久久水蜜桃av免费网站| 成人h片在线播放免费网站| 日韩一级淫片| 另类美女黄大片| 欧美日韩尤物久久| 亚洲精品影视在线观看| 自拍亚洲图区| 日韩欧美国产高清| 超碰在线观看免费版| 欧美日韩在线播放| 国产精品一区在线看| 色综合久久天天| 亚洲综合图片| 欧美日韩激情网| 中文在线资源在线| 精品成人av一区| 国产超碰在线观看| 亚洲高清免费在线| 一色桃子在线| 精品久久久一区| 桥本有菜亚洲精品av在线| 亚洲一级二级三级在线免费观看| 日韩vs国产vs欧美| 2019中文在线观看| 亚洲婷婷丁香| 日本精品视频在线播放| 蜜桃精品wwwmitaows| 国产福利精品av综合导导航| 狠狠做六月爱婷婷综合aⅴ| 国产精品亚洲美女av网站| 99久久久国产精品美女| 亚洲一区二区三区香蕉| 国产精品久久久久久久免费软件| 欧美性天天影院| 国模一区二区三区白浆| 国产日韩av网站| 日本一区二区不卡视频| 黑人巨大精品欧美一区二区奶水 | 亚洲国产一区二区三区四区| 国产福利在线免费观看| 亚洲欧美日韩精品| 台湾天天综合人成在线| 欧美第一淫aaasss性| 国产精品欧美在线观看| 91久久精品国产91久久| 亚洲天堂激情| 亚洲视频在线二区| 91亚洲国产成人精品一区二三| 99re热在线观看| 欧美色道久久88综合亚洲精品| 欧美一区二区三区| 中文字幕久久亚洲| 欧美人与牛zoz0性行为| 久久精品成人一区二区三区蜜臀 | 国产黄视频在线观看| 精品福利樱桃av导航| av在线免费观看网址| 中文字幕v亚洲ⅴv天堂| 免费观看久久av| 日本不卡久久| 91免费在线视频观看| 最新亚洲伊人网| 亚洲区一区二区三区| 亚洲а∨天堂久久精品9966| 国产精品偷拍| 一个色的综合| 成人网18免费网站在线| 日韩影视高清在线观看| 春色成人在线视频| 美女脱光内衣内裤视频久久网站| www.射射射| 亚洲.国产.中文慕字在线| 91超碰免费在线| 欧美又大又粗又长| 老司机亚洲精品| 在线观看国产一级片| 欧美视频在线一区| 亚洲伦理网站| 丁香五月网久久综合| 国产成人免费视频网站高清观看视频| 超清福利视频| 亚洲精品美女网站| 午夜影院欧美| 亚洲精品乱码久久久久久自慰| 欧美三级韩国三级日本三斤| 国模大尺度视频一区二区| 国产精品成人观看视频免费| 91年精品国产| 调教一区二区| 奇米一区二区三区四区久久| 久久精品免费观看| 中文字幕在线二区| 日韩网站免费观看高清| 亚洲一区二区三区高清| 国产特级嫩嫩嫩bbb| 亚洲欧美激情另类校园| 激情欧美亚洲| 米奇.777.com| 久久这里有精品| 免费高清在线一区| 色视频精品视频在线观看| 九九热最新视频//这里只有精品| 日韩电影一区二区三区| 日本不卡免费播放| 97在线观看视频国产| 福利视频网站一区二区三区| 麻豆传媒视频在线观看免费| 国产精品成人久久久久| 性开放的欧美大片| 亚洲老妇xxxxxx| 欧美.com| 在线观看污视频| 51精品久久久久久久蜜臀| 少妇精品久久久一区二区三区 | 欧美精品aaa| 精一区二区三区| 日本在线看片免费人成视1000| 欧洲精品毛片网站| 国产视频一区二区在线| 三级成人在线| 手机福利在线视频| 日韩小视频在线观看专区| 亚洲v在线看| 三上悠亚在线观看| 91成人性视频| 国产免费成人在线视频| 男人天堂久久| 国产自产在线视频| 中文字幕欧美国内| 99热国产精品| 国产精品亚洲一区二区在线观看| 丁香色欲久久久久久综合网| 精品无码久久久久久国产| 美女网站色91| 免费毛片b在线观看| 欧美一级爽aaaaa大片| 91 com成人网| 丝袜美腿成人在线| 欧美aaa免费| 天天综合中文字幕| 亚洲视频自拍偷拍| av成人免费在线| 国产高清视频一区二区| 91看片就是不一样| 中文字幕免费国产精品| 91首页免费视频| 青草伊人久久| 在线视频日韩一区| 久久久久久亚洲| 亚洲曰韩产成在线| 久久久久午夜电影| 国产午夜精品久久久久免费视| 亚洲乱码一区二区三区三上悠亚 | 免费亚色电影在线观看| 国产精品久久不能| 一本久久a久久免费精品不卡| 91综合网人人| 欧美色综合一区二区三区| 国产亚洲精品自在久久| 欧美日韩国产高清一区二区三区 | 黄网页免费在线观看| 久久人人97超碰人人澡爱香蕉| 欧美日韩精品专区| 日韩激情av在线| 成人在线高清| av手机在线看| 91精品国产综合久久久久久丝袜| 51精品秘密在线观看| 国产成人av电影在线观看| caoporn成人| 蜜桃臀av在线| 日本视频一区二区不卡| 久久夜色精品亚洲噜噜国产mv | 久久青青视频| 亚洲视频第二页| a级国产乱理论片在线观看99| 精品国产一区二区三区不卡|