国产精品电影_久久视频免费_欧美日韩国产激情_成年人视频免费在线播放_日本久久亚洲电影_久久都是精品_66av99_九色精品美女在线_蜜臀a∨国产成人精品_冲田杏梨av在线_欧美精品在线一区二区三区_麻豆mv在线看

MySQL海量數據分布式存儲

數據庫 MySQL 分布式
分布式數據庫是指利用高速網絡將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的數據庫。分布式數據庫的基本思想是將原來集中式數據庫中的數據分散存儲到多個通過網絡連接的數據存儲節點上,以獲得更大的存儲容量和更高的并發訪問量。

本文只是一個概念,具體配置太多,這里不做細節描述。

1、分布式應用的概念和優勢

分布式數據庫是指利用高速網絡將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的數據庫。分布式數據庫的基本思想是將原來集中式數據庫中的數據分散存儲到多個通過網絡連接的數據存儲節點上,以獲得更大的存儲容量和更高的并發訪問量。近年來,隨著數據量的增長,分布式數據庫技術也得到了快速的發展,傳統的關系型數據庫開始從集中式模型向分布式存儲,從集中式計算走向分布式計算。

分布式數據庫系統的主要目的是容災、異地數據備份,并且通過就近訪問原則,用戶可以就近訪問數據庫節點,這樣就實現了異地的負載均衡。同時,通過數據庫之間的數據傳輸同步,可以分布式保持數據的一致性,這個過程完成了數據備份,異地存儲數據在單點故障的時候不影響服務的訪問,只需要將訪問流量切換異地鏡像就行。

分布式數據庫應用的優勢如下:

(1)適合分布式數據管理,能夠有效提高系統性能。

(2)系統經濟性和靈活性好。

(3)系統的可靠性和可用性強。

MySQL海量數據分布式存儲

2、mysql分布式應用的主要技術

(1)mysql數據切割

數據切割(sharding)是指通過某種特定的條件,將存放在同一數據庫中的數據分散存放到多個數據庫(主機)上面,以達到分散單臺設備負載的效果。數據切分還可以提高系統的總體可用性,因為單臺crash之后,只有總體數據的某部分不同,而不是所有數據。

根據其切分規則的類型,可以分為兩種切分模式。一種是按照不同的表(或者schema)來切分到不同的數據庫(主機)之上,這種切分成為數據的垂直(縱向切分);另一種則是根據表中數據的邏輯關系,將同一個表中的數據按照某種條件拆分到多臺數據庫(主機)上面,這種切分稱為數據的水平(橫向)切分。垂直切分的***特點就是規則簡單,實施也更為方便,尤其適合各個業務之間耦合度低,相互影響小、業務邏輯非常清晰的系統。在這種系統中,可以很容易做到將不同業務模塊所使用的表拆分到不同的數據庫中。根據不同的表進行拆分,對應用程序的影響也更小,拆分規則也會比較簡單清晰。水平切分比垂直切分更復雜一點。因為要將同一個表中的不同數據拆分到不同的數據庫中,對于應用程序來說,拆分規則本身比較復雜,后期的數據維護也更加復雜一些。

(2)為什么要切分數據?

1)像Oracle這樣成熟穩定的DB可以支撐海量數據的存儲和查詢,但是價格不是所有人都承受得起。

2)負載高點時,Master-Slaver模式中存在瓶頸。現有技術中,在負載高點時使用相關的Replication機制來實現相關的讀寫的吞吐性能。這種機制存在兩個瓶頸:一是有效性依賴于讀操作的比例,這里Master往往會成為瓶頸所在,寫操作時需要一個順序隊列來執行,過載時Master會承受不住,Slaver的數據同步延遲也會很大,同時還會消耗CPU的計算能力,為write操作在Master上執行以后還是需要在每臺slave機器上都跑一次。而Sharding可以輕松的將計算,存儲,I/O并行分發到多臺機器上,這樣可以充分利用多臺機器各種處理能力,同時可以避免單點失敗,提供系統的可用性,進行很好的錯誤隔離。

3)用免費的MySQL和廉價的Server甚至是PC做集群,達到小型機+大型商業DB的效果,減少大量的資金投入,降低運營成本,何樂而不為呢?

Mysql5.1以上的版本都支持數據表分區功能。數據庫中的數據在經過垂直或水平切分被存放在不同的數據庫主機中之后,應用系統面臨的***問題就是如何讓這些數據源得到較好的整合,有以下兩種解決思路。

1)在每個應用程序模塊中配置管理自己需要的一個(或者多個)數據源,直接訪問各個數據庫,在模塊內完成數據的整合。

2)通過中間代理層來統一管理所有的數據源,后端數據庫集群對前端應用程序透明。

第二種方案,雖然短期內需要付出的成本可能會大一些,但是對整個系統的擴展性來說,是非常有幫助的。針對第二種方案,可以思路如下:

1)利用mysql proxy實現數據切分及整合。

Mysql proxy是在客戶端請求與mysql服務器之間建立一個連接池,所有客戶端請求都發送到mysql proxy,由mysql proxy進行相應的分析,判斷是讀操作還是寫操作,然后發送到相應的mysql服務器上。對于多節點slave集群,也可以做到負載均衡的效果。

2)利用amoeba實現數據切分及整合。

Amoeba是一個基于java開發的、專注于解決分布式數據庫數據源整合proxy程序的開源框架,amoeba已經具有query路由,query過濾、讀寫分離、負載均衡以及HA機制等相關內容。Amoeba主要解決以下幾個問題:

①數據切分后復雜數據源整合

②提供數據切分規則并降低數據切分規則給數據庫帶來的影響

③降低數據庫與客戶端的連接數

④讀寫分離路由

3)利用HiveDB實現數據切分及整合。

3、mysql讀寫分離

讀寫分離是利用數據庫的復制技術,將讀和寫分布在不同的處理節點上,從而達到提高可用性和擴展性的目的。主數據庫提供寫操作,從數據庫提供讀操作,在很多系統中,更多地是讀操作。當主數據庫進行寫操作時,數據要同步到從數據庫,這樣才能有效保證數據庫完整性。Mysql也有自己的同步數據技術。Mysql通過二進制日志來復制數據,主數據庫同步到從數據庫后,從數據庫一般由多臺數據庫組成,這樣才能達到減輕壓力的目的。讀操作應根據服務器的壓力分配到不同的服務器,而不是簡單的隨機分配。Mysql提供了mysql proxy實現讀寫分離操作。

目前較為常見的mysql讀寫分離分為以下兩種。

①基于程序代碼內部實現

在代碼中根據select、insert進行路由分類,這類方法也是目前生產環境中應用最廣泛的。

②基于中間代理層實現

代理位于客戶端和服務器之間,代理服務器收到客戶端請求后通過判斷轉發到后端數據庫。下圖是ebay讀寫分離的結構圖,通過share plex近乎實時的復制數據到其他數據節點,再通過特定的模塊檢查數據庫狀態,并進行負載均衡、讀寫分離,極大地提高了系統可用性。

4、mysql集群

Mysql cluster技術在分布式系統中為mysql數據提供了冗余特性,增強了安全性,使得單個mysql服務器故障不會對系統產生巨大的負面效應,系統的穩定性得到保障。

Mysql cluster采用shared-nothing(無共享)架構。Mysql custer主要利用了NDB存儲引擎來實現,NDB存儲引擎是一個內存式存儲引擎,要求數據必須全部加載到內存之中。數據被自動分布在集群中的不同存儲節點上,每個存儲節點只保存完整數據的一個分片(fragment)。同時,用戶可以設置同一份數據保存在多個不同的存儲節點上,以保證單點故障不會造成數據丟失。

Mysql cluster需要一組計算機,每臺計算機的角色可能是不一樣的。Mysql cluster按照節點類型可以分為3類:管理節點(對其他節點進行管理)、數據節點(存放cluster中的數據,可以有多個)和mysql節點(存放表結構,可以有多個)。Cluster中的某計算機可以是某一種節點,也可以是2種或3種節點的集合。這3種節點只是在邏輯上劃分,所以他們不一定和物理計算機是一一對應的關系。多個節點之間可以分布在不同的地理位置,因此也是一個實現分布式數據庫的方案。

Mysql集群的出現很好的實現了數據庫的負載均衡,減少了數據中心節點的壓力和大數據處理,當數據庫中心節點出現故障時,集群會采用一定的策略切換到其他備份節點上,有效的屏蔽了故障問題,單節點的失效不會影響整個數據庫對外提供服務。而且通過采用數據庫集群架構,主從數據庫之間時刻都在進行數據的同步冗余,數據庫是多點的、分布式的,良好的完成了數據庫數據的備份,避免了數據損失。 

責任編輯:龐桂玉 來源: 今日頭條
相關推薦

2013-04-26 16:18:29

大數據全球技術峰會

2017-10-27 08:40:44

分布式存儲剪枝系統

2018-10-29 12:51:35

分布式存儲元數據

2017-12-18 10:47:04

分布式存儲數據

2019-06-10 14:31:24

MySQL存儲數據庫

2024-08-12 16:20:27

2015-05-12 13:03:54

開源分布式存儲HDFS

2022-09-22 16:21:29

宏杉科技

2010-04-08 10:29:54

TwitterGizzard數據存儲

2022-07-18 10:29:33

數據分布式系統

2018-02-22 08:42:04

分布式存儲安全

2017-01-10 16:18:26

分布式存儲建設

2017-10-17 08:33:31

存儲系統分布式

2017-04-14 09:48:25

分布式存儲系統

2018-10-09 10:45:40

2018-03-12 08:17:27

分布式存儲

2021-01-07 10:35:56

分布式存儲新基建數據存儲

2015-05-13 09:34:46

分布式存儲元數據設計公有云

2010-07-02 10:08:12

BigtableGoogle
點贊
收藏

51CTO技術棧公眾號

精品日韩99亚洲| 国产91av在线| 国产wwww| 亚洲欧美网站| 91国产精品视频在线| 久草在线视频福利| 一区二区三区欧美| 日本中文字幕网址| 奶水喷射视频一区| 国产欧美韩国高清| 成人午夜大片| 亚洲女人被黑人巨大进入al| 翔田千里在线视频| 久久久久青草大香线综合精品| 国产日本一区二区三区| 国产伦一区二区三区| 欧美另类高清videos| 黑森林国产精品av| 欧美一级淫片007| 欧美理论在线观看| 亚洲乱码一区二区三区在线观看| r级无码视频在线观看| 丝袜美腿亚洲综合| 福利视频久久| 国产精品99一区二区三区| 欧美极品少妇xxxxⅹ喷水| 人在线成免费视频| 亚洲精品一区二区三区99 | 伊人久久大香线蕉综合网站| 在线亚洲午夜片av大片| 97人澡人人添人人爽欧美| 欧美精品日韩精品| 999国产在线视频| 日韩欧美国产成人| 日本免费一区二区三区最新| 亚洲成人一二三| 中文字幕电影在线观看| 一区二区三区.www| 原千岁中文字幕| 亚洲777理论| 深夜影院在线观看| 日本大香伊一区二区三区| 日本新janpanese乱熟| 日产中文字幕在线精品一区| 国产精品中文字幕亚洲欧美| 99se婷婷在线视频观看| 久久99在线观看| 伊人网在线视频| 中文字幕精品在线视频| 在线观看日韩av电影| 久久久久狠狠高潮亚洲精品| 亚洲人妖av一区二区| 国产乱码精品一区二三赶尸艳谈| 国外成人在线视频| 成人黄色在线看| 女人天堂在线| 欧美精品18videos性欧| 久久精品国内一区二区三区水蜜桃| 日韩欧美一区二区三区四区五区 | av动漫精品一区二区| 国产乱人伦真实精品视频| 久久狠狠亚洲综合| 九色在线视频| 国产精品91久久久| 成人小视频免费在线观看| 天天av综合网| 精品一区二区亚洲| 日韩欧美高清在线播放| 天堂av在线网站| 亚洲精品日韩在线| 国产精品久久观看| 小泽玛利亚视频在线观看| 日韩视频永久免费| 久久一区欧美| 日本私人影院在线观看| 久久久亚洲精品视频| www.欧美日韩| 电影一区二区| 亚洲国产精品日韩| 欧美日韩国产一中文字不卡| 九九热hot精品视频在线播放| 中文字幕第88页| 琪琪亚洲精品午夜在线| 成人h动漫精品一区二区| 亚洲成人短视频| 黄色网zhan| 日韩在线高清视频| 国产精品123区| 国产免费av国片精品草莓男男| 久草综合在线观看| 国产日韩欧美夫妻视频在线观看| 亚洲精品中文在线| 欧美丝袜一区| aiai在线| 久操手机在线视频| 2019日本中文字幕| 最新久久zyz资源站| 国产精品一区二区av交换| 全网国产福利在线播放| 国产精品国模在线| 欧美一级理论性理论a| 美女一区二区久久| 国产综合色在线观看| 亚洲成人av高清| 欧美久久久久久久| 日韩视频一区二区在线观看| 视频在线观看国产精品| 99re热精品视频| 日韩脚交footjobhd| aaa毛片在线观看| 成人9ⅰ免费影视网站| 欧美精品亚洲一区二区在线播放| 国产在线不卡视频| 九九热爱视频精品视频| 污网站在线免费看| 欧美黑人又粗又大又爽免费| 国产传媒一区| 欧美高清视频不卡网| 在线亚洲精品福利网址导航| 欧美无乱码久久久免费午夜一区| 亚洲福利在线播放| 久久99精品国产99久久6尤物 | 黄色精品一区| 日韩电影在线观看电影| 欧美高清在线一区| 日韩欧美中文字幕制服| 欧美国产日韩一区二区在线观看| 日本成人黄色片| 不卡视频在线观看| 水野朝阳av一区二区三区| 国产精品亚洲欧美| 亚洲h片在线看| 久久mv成人精品亚洲动漫| 黄色91av| 97碰碰碰免费色视频| 日韩在线中文字| 日本老师69xxx| 国产精品欧美激情在线播放| 91国产在线精品| 欧美在线观看一区二区| www.欧美色图| 粉嫩在线一区二区三区视频| 首页欧美精品中文字幕| 68国产成人综合久久精品| 日韩欧美一级| 激情av综合| 国产大片一区| 欧洲美女日日| 999在线视频| 成人午夜毛片| 国产伦精品一区二区三区在线播放 | 中文一区二区视频| 日韩午夜免费视频| 污污软件在线观看| 亚洲一区二区自拍| 色94色欧美sute亚洲线路二| 亚洲成人av| 免费在线高清av| 亚洲最大av在线| 狠狠色香婷婷久久亚洲精品| 午夜av一区| 国产大片在线免费观看 | 久久99久久久精品欧美| 91免费黄视频| 日韩在线中文视频| 国产欧美一区二区在线观看| 亚州一区二区| 国产三级香港三韩国三级| 2018日韩中文字幕| 亚洲综合男人的天堂| 欧美一区91| 嫩草在线视频| 日本一区二区三不卡| 日韩精品欧美国产精品忘忧草| 精品一区二区三区蜜桃| av在线一区不卡| 日韩精品一区二区三区久久| 97成人在线视频| 日韩欧美在线视频| 青青草国产成人99久久| 黄色精品视频| 国产黄视频在线观看| 成人欧美一区二区| 精品视频www| 欧美经典一区二区| 天天综合国产| www.51av欧美视频| 国产美女三级视频| 欧美在线视频一区二区| 在线一区二区视频| 日韩av网站免费在线| а天堂中文最新一区二区三区| 97在线资源在| 91亚洲精品一区二区| 日韩欧美国产三级电影视频| av在线免费不卡| 我不卡伦不卡影院| 午夜无码国产理论在线| 影音先锋导航| 尤物国产精品|