国产精品电影_久久视频免费_欧美日韩国产激情_成年人视频免费在线播放_日本久久亚洲电影_久久都是精品_66av99_九色精品美女在线_蜜臀a∨国产成人精品_冲田杏梨av在线_欧美精品在线一区二区三区_麻豆mv在线看

比Hive快十倍的大數據查詢利器,你知道嗎?

數據庫 其他數據庫
創造了Hive的Facebook不負眾望,創造了新神器---Presto,其查詢速度平均比Hive快10倍,現在就來部署體驗一下吧。

目前最流行的大數據查詢引擎非hive莫屬,它是基于MR的類SQL查詢工具,會把輸入的查詢SQL解釋為MapReduce,能極大的降低使用大數據查詢的門檻, 讓一般的業務人員也可以直接對大數據進行查詢。但因其基于MR,運行速度是一個弊端,通常運行一個查詢需等待很久才會有結果。對于此情況,創造了hive的facebook不負眾望,創造了新神器---presto,其查詢速度平均比hive快10倍,現在就來部署體驗一下吧。

一、 準備工作

操作系統: centos7

JAVA: JDK8(155版本及以上),我使用的是jdk1.8.0_191

presto server:presto-server-0.221.tar.gz

presto client: presto-cli-0.221-executable.jar

注:

1、本次是基于hive來進行部署使用,因此相關節點已部署hadoop、hive。

2、presto官網地址為https://prestodb.github.io presto server、client及jdbc jar均可以從官網下載。

二、 部署階段

1、 將jdk、 presto server presto client 上傳至各服務器上

jdk包我上傳至/usr/local 目錄,并解壓、配置軟鏈接,配置環境變量,如不配置環境變量,也可在launcher里修改。

presto server及client上傳至 /opt/presto下,同時解壓server包。

2、各節點信息如下

其中包含一個Coordinator節點及8個worker節點。

ip

節點角色

節點名

192.168.11.22

Coordinator

node22

192.168.11.50

Worker

node50

192.168.11.51

Worker

node51

192.168.11.52

Worker

node52

192.168.11.53

Worker

node53

192.168.11.54

Worker

node54

192.168.11.55

Worker

node55

192.168.11.56

Worker

node56

192.168.11.57 

Worker

node57

3、創建presto數據及日志目錄

以下操作各節點均相同,只有配置文件處需根據各節點情況,對應修改。

mkdir -p /data/presto

4、創建etc目錄

cd  /opt/presto/presto-server-0.221

mkdir etc

5、創建所需的配置文件

(1)創建并配置 config.properties

如果是Coordinator節點,建議如下配置(內存大小根據實際情況修改)

vim   config.properties
## 添加如下內容
coordinator=true
datasources=hive
node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=80GB
query.max-memory-per-node=10GB
query.max-total-memory-per-node=10GB
discovery-server.enabled=true
discovery.uri=http://192.168.11.22:8080

如果是worker 節點:

vim config.properties ## 添加如下內容
coordinator=false
#datasources=hive
#node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=80GB
query.max-memory-per-node=10GB
query.max-total-memory-per-node=10GB
#discovery-server.enabled=true
discovery.uri=http://192.168.11.22:8080

參數說明:

coordinator:是否運行該實例為coordinator(接受client的查詢和管理查詢執行)。
node-scheduler.include-coordinator:coordinator是否也作為work。對于大型集群來說,在coordinator里做worker的工作會影響查詢性能。
http-server.http.port:指定HTTP端口。Presto使用HTTP來與外部和內部進行交流。
query.max-memory: 查詢能用到的最大總內存
query.max-memory-per-node: 查詢能用到的最大單結點內存
discovery-server.enabled: Presto使用Discovery服務去找到集群中的所有結點。每個Presto實例在啟動時都會在Discovery服務里注冊。這樣可以簡化部署, 不需要額外的服務,Presto的coordinator內置一個Discovery服務。也是使用HTTP端口。
discovery.uri: Discovery服務的URI。將192.168.11.22:8080替換為coordinator的host和端口。這個URI不能以斜杠結尾,這個錯誤需特別注意,不然會報404錯誤。
另外還有以下屬性:
jmx.rmiregistry.port: 指定JMX RMI的注冊。JMX client可以連接此端口
jmx.rmiserver.port: 指定JXM RMI的服務器。可通過JMX監聽。

(2)配置 jvm.config

vim jvm.config
# 添加如下內容
-server
-Xmx20G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p

JVM配置文件包含啟動Java虛擬機時的命令行選項。格式是每一行是一個命令行選項。此文件數據是由shell解析,所以選項中包含空格或特殊字符會被忽略。

(3)配置log.properties

vim log.properties

# 添加如下內容

com.facebook.presto=INFO

日志級別有四種,DEBUG, INFO, WARN and ERROR。

(4)配置node.properties

vim  node.properties
## 添加如下內容
node.environment=presto_ocean
node.id=node22
node.data-dir=/data/presto

參數說明:

node.environment: 環境名字,Presto集群中的結點的環境名字都必須是一樣的。
node.id: 唯一標識,每個結點的標識都必須是為一的。就算重啟或升級Presto都必須還保持原來的標識。
node.data-dir: 數據目錄,Presto用它來保存log和其他數據

(5)配置catalog及hive.properties

創建 catalog目錄,因本次使用的hive,因此在此目錄下創建hive.properties 并配置對應參數

mkdir  catalog
vim hive.properties
# 添加如下內容
connector.name=hive-hadoop2
hive.metastore.uri=thrift://192.168.11.22:9083
hive.config.resources=/opt/hadoop/hadoop-3.2.0/etc/hadoop/core-site.xml,/opt/hadoop/hadoop-3.2.0/etc/hadoop/hdfs-site.xml
hive.allow-drop-table=true

至此 相關配置文件配置完成。

三、 啟動presto-server并連接

進入/opt/presto/presto-server-0.221/bin,有launcher命令。

如果需要配置JAVA等環境變量也可以在此文件里修改。在此處修改的好處在于可以與不同版本的jdk共存 而不影響原有業務。

1、啟動presto-server

./launcher start

此時如果/data/presto/var日志生成,且無報錯信息,代表啟動正常。

2、presto-cli 連接

把下載的jar包:
presto-cli-0.221-executable.jar 重命名為:presto 并且賦予權限。

ln -s presto-cli-0.221-executable.jar   presto
chmod +x presto
./presto --server localhost:8080 --catalog hive --schema default

此時可以查看到hive里的庫及表。

3、查看web界面

登錄??http://192.168.11.22:8080/ui/可查看整體狀態。??

至此,presto部署就完成了。其與hive的性能對比、工作原理及使用建議等后續有機會再介紹。

責任編輯:姜華 來源: 今日頭條
相關推薦

2022-10-27 07:09:34

DjangoAPIRedis

2024-03-08 07:58:13

QPShttpsync

2023-11-02 10:22:29

gRPC后端通信

2021-02-20 08:21:18

Hive動態分區

2025-04-24 09:31:09

Visio畫圖工具

2025-04-07 00:49:00

WindowsmacOS微軟

2018-01-29 05:38:20

5G4G運營商

2022-09-29 12:20:48

CSS容器查詢

2022-09-14 08:11:06

分頁模糊查詢

2023-12-12 08:41:01

2013-03-01 14:31:06

iOSAndroidApp

2014-01-22 09:17:12

2022-01-08 20:03:20

數據庫特點架構

2023-06-13 13:52:00

Java 7線程池

2020-12-31 08:11:22

大數據趨勢大數據

2025-03-03 13:12:33

C#代碼Python

2022-01-05 11:40:36

Go特性語言

2024-12-03 00:38:37

數據湖存儲COS

2019-12-12 09:23:29

Hello World操作系統函數庫

2022-03-10 08:25:27

JavaScrip變量作用域
點贊
收藏

51CTO技術棧公眾號

亚洲爱爱爱爱爱| 国产经典第一页| av网址在线播放| 国产日本精品| 5566中文字幕一区二区电影 | 精品国产伦一区二区三区观看方式 | 亚洲精品之草原avav久久| 亚洲精品乱码视频| 国产精品nxnn| 亚洲一二三四久久| 999精品视频一区二区三区| 国产小视频在线| 国产成人综合在线| 日韩在线高清视频| 美女av免费在线观看| 另类图片第一页| 欧美乱妇一区二区三区不卡视频| 日本精品福利视频| 国产亚洲成人一区| 日韩激情在线视频| 成人性做爰aaa片免费看不忠| 日韩理论电影中文字幕| 欧美日韩一区二区三区四区五区| 国产精品igao激情视频| 亚洲高清自拍| 99久久精品久久久久久ai换脸| 国产精品亚洲成在人线| 精品女厕一区二区三区| 久草热视频在线观看| 国产真实久久| 清纯唯美亚洲激情| 91黄色在线| 久久97超碰色| 久久综合伊人77777麻豆| 亚洲综合福利| 国产视频精品免费播放| 1024免费在线视频| 一二三区精品视频| 噼里啪啦国语在线观看免费版高清版| 久久精品一区| 亚洲综合在线中文字幕| 亚洲五月综合| 茄子视频成人在线| 亚洲精品大全| 伊人久久五月天| 免费成人动漫| 欧美一区二区日韩一区二区| 领导边摸边吃奶边做爽在线观看| 久久综合久色欧美综合狠狠| 日韩亚洲欧美视频| 成人自拍视频在线观看| 五月天丁香综合久久国产| 欧美精品一线| 99re在线视频观看| 久久国产高清| 日本毛片在线免费观看| 亚洲电影一级黄| 成人小电影网站| 欧洲精品毛片网站| 三级久久三级久久| 国产高潮免费视频| 欧美一级黄色大片| 奇米亚洲欧美| 色99中文字幕| 婷婷中文字幕综合| 在线播放成人| 亚洲综合第一| 欧美色另类天堂2015| 黄色大片在线| 成人激情视频小说免费下载| 99国产麻豆精品| 精品三级久久| 国产传媒一区二区| 国产精品一品二品| 污污的网站在线免费观看| 国产91精品高潮白浆喷水| 久久精品在线| 在线免费观看黄色| 国产欧美日韩中文字幕| 中文字幕在线不卡国产视频| 亚洲精品日产| 亚洲福利av| 欧美一区二区三区公司| 91精品国产91久久久久久密臀| 国产福利图片| 亚洲欧美综合精品久久成人| 国内成人在线| 宅男午夜在线| 成人h视频在线观看播放| 一区二区三区中文在线| 大奶在线精品| 色婷五月综激情亚洲综合| 高清欧美电影在线| 欧美国产综合一区二区| 亚洲免费资源| 黄色网战入口| 91久久久久久久久| 亚洲电影免费观看高清完整版在线| 伊人成年综合电影网| 国产黄网站在线观看| 午夜久久资源| 久久精品电影网站| 国产亚洲综合色| 日本a人精品| 国产1区2区3区| 91香蕉国产在线观看| 欧美精品18+| 国产成人在线免费观看| 亚洲欧美在线成人| 国产精品v日韩精品v在线观看| 国产91热爆ts人妖在线| 91久久精品一区二区二区| 久久人人精品| 加勒比中文字幕精品| 成人video亚洲精品| 国语对白做受xxxxx在线中国| 国产不卡视频在线| 日韩欧美国产一区在线观看| 国产三级一区二区三区| 激情六月综合| 亚洲1区在线观看| 69久久夜色| 国产一级电影网| 黄色一级大片免费| 成人9ⅰ免费影视网站| 久久夜精品va视频免费观看| 一本久道中文字幕精品亚洲嫩| 九九视频精品免费| 亚洲黄色免费| 日韩精品91| 亚洲一区网址| 三上悠亚国产精品一区二区三区| 暖暖视频在线免费观看| 国产无遮挡又黄又爽免费软件| 久久国产精品精品国产色婷婷| 欧美成人午夜激情视频| 亚洲国产成人精品久久久国产成人一区| 亚洲国产一区视频| 国产精品美女一区二区在线观看| 极品少妇xxxx精品少妇| 亚洲麻豆av| 91综合网人人| 视频一区中文| 国产精品videossex| 久久wwww| 亚洲综合网站| 美国十次av导航亚洲入口| 日韩午夜电影免费看| 白嫩白嫩国产精品| 日韩高清一级| 欧美日韩性在线观看| 亚洲精品亚洲人成在线| 精品日韩免费| 99热精品久久| 欧美日韩一视频区二区| 韩日视频一区| 日韩av中文字幕一区二区 | 一区二区三区中文字幕精品精品| 国产精品久久777777| 中文字幕av资源一区| 亚洲视频一区二区在线| 日韩欧美在线一区| 日韩欧美国产综合| 国产亚洲精品成人av久久ww| 亚洲国产精品大全| 久久av资源网站| 国产精品美女在线观看| 青青草成人网| 黑森林精品导航| 性感av在线播放| 青青国产在线| 超免费在线视频| 午夜先锋成人动漫在线| 99日韩精品| 91丝袜高跟美女视频| 亚洲国产精品一区二区久久恐怖片| 午夜日韩在线观看| 日韩av影视综合网| 国产日韩欧美视频| 亚洲色成人www永久在线观看| av在线不卡播放| 色黄视频在线观看| 亚洲性图久久| 99视频在线精品| 欧美成人性福生活免费看| 欧美国产日韩在线| 水蜜桃在线免费观看| 精品麻豆一区二区三区| 欧洲亚洲一区二区三区| 亚洲国产精品第一区二区| 国产欧美日韩不卡| 色天天综合狠狠色| 视频一区二区在线| 国产三级在线| 亚洲天堂一区二区三区四区| 91在线国产观看| 一区二区三区精品99久久| 亚洲成人在线视频网站| 大片免费在线看视频| 在线电影一区|