ClusterShell：一個在集群節(jié)點上并行運行命令的好工具
我們過去曾寫過兩篇如何并行地在多個遠程服務(wù)器上運行命令的文章：并行 SSH（PSSH） 和分布式 Shell（DSH）。今天，我們將討論相同類型的主題，但它允許我們在集群節(jié)點上執(zhí)行相同的操作。你可能會想，我可以編寫一個小的 shell 腳本來實現(xiàn)這個目的，而不是安裝這些第三方軟件包。
當(dāng)然，你是對的，如果要在十幾個遠程系統(tǒng)中運行一些命令，那么你不需要使用它。但是，你的腳本需要一些時間來完成此任務(wù)，因為它是按順序運行的。想想你要是在一千多臺服務(wù)器上運行一些命令會是什么樣子？在這種情況下，你的腳本用處不大。此外，完成任務(wù)需要很長時間。所以，要克服這種問題和情況，我們需要可以在遠程計算機上并行運行命令。
為此，我們需要在一個并行應(yīng)用程序中使用它。我希望這個解釋可以解決你對并行實用程序的疑慮。
ClusterShell
ClusterShell 是一個事件驅(qū)動的開源 Python 庫，旨在在服務(wù)器場或大型 Linux 集群上并行運行本地或遠程命令。（clush 即 ClusterShell）。
它將處理在 HPC 集群上遇到的常見問題，例如在節(jié)點組上操作，使用優(yōu)化過的執(zhí)行算法運行分布式命令，以及收集結(jié)果和合并相同的輸出，或檢索返回代碼。
ClusterShell 可以利用已安裝在系統(tǒng)上的現(xiàn)有遠程 shell 設(shè)施，如 SSH。
ClusterShell 的主要目標(biāo)是通過為開發(fā)人員提供輕量級、但可擴展的 Python API 來改進高性能集群的管理。它還提供了 clush、clubak 和 cluset/nodeset 等方便的命令行工具，可以讓傳統(tǒng)的 shell 腳本利用這個庫的一些功能。
ClusterShell 是用 Python 編寫的，它需要 Python（v2.6+ 或 v3.4+）才能在你的系統(tǒng)上運行。
如何在 Linux 上安裝 ClusterShell？
ClusterShell 包在大多數(shù)發(fā)行版的官方包管理器中都可用。因此，使用發(fā)行版包管理器工具進行安裝。
對于 Fedora 系統(tǒng)，使用 DNF 命令來安裝 clustershell。
$ sudo dnf install clustershell
如果系統(tǒng)默認(rèn)是 Python 2，這會安裝 Python 2 模塊和工具，可以運行以下命令安裝 Python 3 開發(fā)包。
$ sudo dnf install python3-clustershell
在執(zhí)行 clustershell 安裝之前，請確保你已在系統(tǒng)上啟用 EPEL 存儲庫。
對于 RHEL/CentOS 系統(tǒng)，使用 YUM 命令 來安裝 clustershell。
$ sudo yum install clustershell
如果系統(tǒng)默認(rèn)是 Python 2，這會安裝 Python 2 模塊和工具，可以運行以下命令安裝 Python 3 開發(fā)包。
$ sudo yum install python34-clustershell
對于 openSUSE Leap 系統(tǒng)，使用 Zypper 命令 來安裝 clustershell。
$ sudo zypper install clustershell
如果系統(tǒng)默認(rèn)是 Python 2，這會安裝 Python 2 模塊和工具，可以運行以下命令安裝 Python 3 開發(fā)包。
$ sudo zypper install python3-clustershell
對于 Debian/Ubuntu 系統(tǒng)，使用 APT-GET 命令 或 APT 命令 來安裝 clustershell。
$ sudo apt install clustershell
如何在 Linux 使用 PIP 安裝 ClusterShell？
可以使用 PIP 安裝 ClusterShell，因為它是用 Python 編寫的。
在執(zhí)行 clustershell 安裝之前，請確保你已在系統(tǒng)上啟用了 Python 和 PIP。
$ sudo pip install ClusterShell
如何在 Linux 上使用 ClusterShell？
與其他實用程序（如 pssh 和 dsh）相比，它是直接了當(dāng)?shù)膬?yōu)秀工具。它有很多選項可以在遠程并行執(zhí)行。
在開始使用 clustershell 之前，請確保你已啟用系統(tǒng)上的無密碼登錄。
以下配置文件定義了系統(tǒng)范圍的默認(rèn)值。你不需要修改這里的任何東西。
$ cat /etc/clustershell/clush.conf
如果你想要創(chuàng)建一個服務(wù)器組，那也可以。默認(rèn)情況下有一些示例，請根據(jù)你的要求執(zhí)行相同操作。
$ cat /etc/clustershell/groups.d/local.cfg
只需按以下列格式運行 clustershell 命令即可從給定節(jié)點獲取信息：
$ clush -w 192.168.1.4,192.168.1.9 cat /proc/version192.168.1.9: Linux version 4.15.0-45-generic ([email protected]) (gcc version 7.3.0 (Ubuntu 7.3.0-16ubuntu3)) #48-Ubuntu SMP Tue Jan 29 16:28:13 UTC 2019192.168.1.4: Linux version 3.10.0-957.el7.x86_64 ([email protected]) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC) ) #1 SMP Thu Nov 8 23:39:32 UTC 2018
選項：
-w:你要運行該命令的節(jié)點。
你可以使用正則表達式而不是使用完整主機名和 IP：
$ clush -w 192.168.1.[4,9] uname -r192.168.1.9: 4.15.0-45-generic192.168.1.4: 3.10.0-957.el7.x86_64
或者，如果服務(wù)器位于同一 IP 系列中，則可以使用以下格式：
$ clush -w 192.168.1.[4-9] date192.168.1.6: Mon Mar 4 21:08:29 IST 2019192.168.1.7: Mon Mar 4 21:08:29 IST 2019192.168.1.8: Mon Mar 4 21:08:29 IST 2019192.168.1.5: Mon Mar 4 09:16:30 CST 2019192.168.1.9: Mon Mar 4 21:08:29 IST 2019192.168.1.4: Mon Mar 4 09:16:30 CST 2019
clustershell 允許我們以批處理模式運行命令。使用以下格式來實現(xiàn)此目的：
$ clush -w 192.168.1.4,192.168.1.9 -bEnter 'quit' to leave this interactive modeWorking with nodes: 192.168.1.[4,9]clush> hostnamectl---------------192.168.1.4---------------Static hostname: CentOS7.2daygeek.comIcon name: computer-vmChassis: vmMachine ID: 002f47b82af248f5be1d67b67e03514cBoot ID: f9b37a073c534dec8b236885e754cb56Virtualization: kvmOperating System: CentOS Linux 7 (Core)CPE OS Name: cpe:/o:centos:centos:7Kernel: Linux 3.10.0-957.el7.x86_64Architecture: x86-64---------------192.168.1.9---------------Static hostname: Ubuntu18Icon name: computer-vmChassis: vmMachine ID: 27f6c2febda84dc881f28fd145077187Boot ID: f176f2eb45524d4f906d12e2b5716649Virtualization: oracleOperating System: Ubuntu 18.04.2 LTSKernel: Linux 4.15.0-45-genericArchitecture: x86-64clush> free -m---------------192.168.1.4---------------total used free shared buff/cache availableMem: 1838 641 217 19 978 969Swap: 2047 0 2047---------------192.168.1.9---------------total used free shared buff/cache availableMem: 1993 352 1067 1 573 1473Swap: 1425 0 1425clush> w---------------192.168.1.4---------------09:21:14 up 3:21, 3 users, load average: 0.00, 0.01, 0.05USER TTY FROM LOGIN@ IDLE JCPU PCPU WHATdaygeek :0 :0 06:02 ?xdm? 1:28 0.30s /usr/libexec/gnome-session-binary --session gnome-classicdaygeek pts/0 :0 06:03 3:17m 0.06s 0.06s bashdaygeek pts/1 192.168.1.6 06:03 52:26 0.10s 0.10s -bash---------------192.168.1.9---------------21:13:12 up 3:12, 1 user, load average: 0.08, 0.03, 0.00USER TTY FROM LOGIN@ IDLE JCPU PCPU WHATdaygeek pts/0 192.168.1.6 20:42 29:41 0.05s 0.05s -bashclush> quit
如果要在一組節(jié)點上運行該命令，請使用以下格式：
$ clush -w @dev uptimeor$ clush -g dev uptimeor$ clush --group=dev uptime192.168.1.9: 21:10:10 up 3:09, 1 user, load average: 0.09, 0.03, 0.01192.168.1.4: 09:18:12 up 3:18, 3 users, load average: 0.01, 0.02, 0.05
如果要在多個節(jié)點組上運行該命令，請使用以下格式：
$ clush -w @dev,@uat uptimeor$ clush -g dev,uat uptimeor$ clush --group=dev,uat uptime192.168.1.7: 07:57:19 up 59 min, 1 user, load average: 0.08, 0.03, 0.00192.168.1.9: 20:27:20 up 1:00, 1 user, load average: 0.00, 0.00, 0.00192.168.1.5: 08:57:21 up 59 min, 1 user, load average: 0.00, 0.01, 0.05
clustershell 允許我們將文件復(fù)制到遠程計算機。將本地文件或目錄復(fù)制到同一個遠程節(jié)點：
$ clush -w 192.168.1.[4,9] --copy /home/daygeek/passwd-up.sh
我們可以通過運行以下命令來驗證它：
$ clush -w 192.168.1.[4,9] ls -lh /home/daygeek/passwd-up.sh192.168.1.4: -rwxr-xr-x. 1 daygeek daygeek 159 Mar 4 09:00 /home/daygeek/passwd-up.sh192.168.1.9: -rwxr-xr-x 1 daygeek daygeek 159 Mar 4 20:52 /home/daygeek/passwd-up.sh
將本地文件或目錄復(fù)制到不同位置的遠程節(jié)點：
$ clush -g uat --copy /home/daygeek/passwd-up.sh --dest /tmp
我們可以通過運行以下命令來驗證它：
$ clush --group=uat ls -lh /tmp/passwd-up.sh192.168.1.7: -rwxr-xr-x. 1 daygeek daygeek 159 Mar 6 07:44 /tmp/passwd-up.sh
將文件或目錄從遠程節(jié)點復(fù)制到本地系統(tǒng)：
$ clush -w 192.168.1.7 --rcopy /home/daygeek/Documents/magi.txt --dest /tmp
我們可以通過運行以下命令來驗證它：
$ ls -lh /tmp/magi.txt.192.168.1.7-rw-r--r-- 1 daygeek daygeek 35 Mar 6 20:24 /tmp/magi.txt.192.168.1.7
