MongoDB分片概述
原創【引自SoulMio的博客】分片
在Mongodb里面存在另一種集群，就是分片技術,可以滿足MongoDB數據量大量增長的需求。
當MongoDB存儲海量的數據時，一臺機器可能不足以存儲數據，也可能不足以提供可接受的讀寫吞吐量。這時，我們就可以通過在多臺機器上分割數據，使得數據庫系統能存儲和處理更多的數據。
為什么使用分片
- 復制所有的寫入操作到主節點
- 延遲的敏感數據會在主節點查詢
- 單個副本集限制在12個節點
- 當請求量巨大時會出現內存不足。
- 本地磁盤不足
- 垂直擴展價格昂貴
MongoDB分片
下圖展示了在MongoDB中使用分片集群結構分布：
上圖中主要有如下所述三個主要組件：
- Shard:
用于存儲實際的數據塊，實際生產環境中一個shard server角色可由幾臺機器組個一個replica set承擔，防止主機單點故障
- Config Server:
mongod實例，存儲了整個 ClusterMetadata，其中包括 chunk信息。
- Query Routers:
前端路由，客戶端由此接入，且讓整個集群看上去像單一數據庫，前端應用可以透明使用。
分片實例
192.168.1.100 : mongos
192.168.1.110 : config server
192.168.1.101 : Shard1
192.168.1.102 : Shard2
以上四個主機上都以安裝mongodb數據庫。
一.配置config server
編輯配置文件mongod.conf:
- vim /etc/mongod.conf
添加如下并啟用config server服務:
- configsvr=true
重新啟動mongodb服務:
- service mongod restart
注:默認監聽27019端口。也可以使用如下命令啟動mongod進程。
- # mongod --configsvr --dbpath <path> --port <port>
此時，默認端口由27017變為27019：
二.配置mongos實例
安裝mongos:
- yum install mongodb-org-mongos-2.6.1-1.x86_64.rpm
啟動mongos：
- mongos --configdb=192.168.1.110 --fork --logpath=/var/log/mongodb/mongos.log
注:mongos屬于輕量級應用，完全可以與其它服務運行于同一節點;啟動時，需要為mongos實例指明各config服務器的訪問地址;
默認情況下，mongos監聽于27017端口;可以使用如下命令啟動mongos實例。
- # mongos --configdb <config server hostnames((IP|Hostname):Port)>
也可以直接編輯配置文件：
1、注釋dbpath指令;
2、添加configdb指令，并指定config服務器的地址;
而后使用如下命令啟動mongos實例：
- # mongos -f /etc/mongod.conf
登錄mongos并配置shard節點：
- mongo --host 192.168.1.100
- mongos> sh.addShard("192.168.1.101")
- { "shardAdded" : "shard0000", "ok" : 1 }
- mongos> sh.addShard("192.168.1.102")
- { "shardAdded" : "shard0001", "ok" : 1 }
查看shard狀態：
- mongos> sh.status()
- --- Sharding Status ---
- sharding version: {
- "_id" : 1,
- "version" : 4,
- "minCompatibleVersion" : 4,
- "currentVersion" : 5,
- "clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d")
- }
- shards:
- { "_id" : "shard0000", "host" : "192.168.1.101:27017" }
- { "_id" : "shard0001", "host" : "192.168.1.102:27017" }
- databases:
- { "_id" : "admin", "partitioned" : false, "primary" : "config" }
啟動sharding功能：
- mongos> sh.enableSharding("testdb")；
- { "ok" : 1 }
注:mongodb的shard功能實現于collection級別，但若要在collection上啟動shard，還需要事先其相關的數據庫上啟用之。在數據庫上啟用shard功能后，MongoDB會為其指定一個主shard。
啟用過程需要mongos實例上實現，可以使用sh.enableSharding()方法，也可以使用db.runCommand()的“enableSharding命令，它們的使用格式分別如下所示：
- sh.enableSharding("<database>")
- db.runCommand( { enableSharding: <database> } )
此時，再次查看shard狀態為:
- mongos> sh.status()
- --- Sharding Status ---
- sharding version: {
- "_id" : 1,
- "version" : 4,
- "minCompatibleVersion" : 4,
- "currentVersion" : 5,
- "clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d")
- }
- shards:
- { "_id" : "shard0000", "host" : "192.168.1.101:27017" }
- { "_id" : "shard0001", "host" : "192.168.1.102:27017" }
- databases:
- { "_id" : "testdb", "partitioned" : true, "primary" : "shard0000" }
測試：
在collection上進行sharding:
- mongos> sh.shardCollection("testdb.student",{"age":1})
- { "collectionsharded" : "testdb.student", "ok" : 1 }
插入數據:
- mongos> for (i=1;i<=100000;i++) db.student.insert({name:"student"+i,age:(i%120),classes:"class+(i%10)"});
- WriteResult({ "nInserted" : 1 })
此時我們再次查看sharding狀態如下:
