presto安装配置(附带网页查询yanagishima安装配置)————附赠编译好的源代码

大数据 专栏收录该内容
21 篇文章 0 订阅

1 安装配置presto

在三个hadoop节点都安装和配置presto。

1.1 下载解压

下载官网
这里直接使用下载好的安装包进行操作。两个安装包分别是presto-server-0.254.1.tar.gz和presto-cli-0.254.1-executable .jar。

对presto-server-0.254.1.tar.gz文件进行解压和移动到指定目录,指令如下:

$ tar -zxvf presto-server-0.254.1.tar.gz
$ mv presto-server-0.254.1 /user/app/

1.2 修改配置文件

下面的配置,除非特殊说明,否则都需要在三个hadopp节点上进行配置,进入/user/app/presto-server-0.254.1/路径下,

.1 jvm.config

$ vi etc/jvm.config

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M

.2 node.properties

修改地方:

  • 三个节点的ode.environment需要相同;
  • 三个节点的node.id需要唯一
  • node.data-dir:指定数据和日志产生目录
$ vi etc/node.properties

node.environment=production
node.id=master01
node.data-dir=/usr/app/presto-server-0.254.1/data

在节点2和节点3的配置分别如下:

node.environment=production
node.id=master02
node.data-dir=/usr/app/presto-server-0.254.1/data
node.environment=production
node.id=master03
node.data-dir=/usr/app/presto-server-0.254.1/data`

.3 config.properties

修改地方:

  • discovery.uri:Master节点的ip+端口
$ vi config.properties

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8881
query.max-memory=50GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://10.20.3.72:8881

.4 log.properties

修改地方:

  • discovery.uri:Master节点的ip+端口
$ vi log.properties

com.facebook.presto = INFO

.5 hive.properties

只在hadoop的master节点配置,修改地方:

  • hive.metastore:hive的ip和端口
  • hive.config.resources:hadoop下的配置文件路径
$ mkdir -vp etc/catalog
$ vi hive.properties

connector.name=hive-hadoop2
hive.metastore.uri=thrift://10.20.3.72:9083
hive.config.resources=/usr/app/hadoop-2.10.1/etc/hadoop/core-site.xml,/usr/app/hadoop-2.10.1/etc/hadoop/hdfs-site.xml

1.3 配置客户端prestocli

移动到指定目录:

$ mv /software/presto-cli-0.254.1-executable .jar /usr/app/presto-server-0.254.1/presto

1.4 启动客户端prestocli

进入/user/app/presto-server-0.254.1/路径下:

先启动presto:

$ bin/launcher start

运行成功后,可以在网页上输入网址和端口进入网页界面:

在这里插入图片描述

  • 10.20.3.72位hadoop的mater节点
$ chmod +x presto
$ java -jar presto --server 10.20.3.72:8881 --catalog hive --schema default

Presto 的命令行操作,相当于 Hive 命令行操作。schema 相当于 database。查询出来的结果和hive中的相同。

下面为使用presto查询到的结果:

在这里插入图片描述

和下面hive查询到的结果相同:

在这里插入图片描述

如果在presto查询时,遇到了pesto WAITING_FOR_PREREQUISITES, 0 nodes, 0 splits,则说明是hive出现问题,请检查hive是否能查到数据。

1.5 安装配置yanagishima

yanagishima为presto的web查询页面。现在使用编译好的yanagishima-20.0安装包进行安装配置【最后一个支持JDK8的版本】。

1.5.1 移到指定文件夹

$ cd /software
$ unzip yanagishima-20.0.zip
$ mv unzip yanagishima-20.0 /usr/app/

1.5.2 修改配置

编译配置文件:

$ cd /usr/app/yanagishima
$ vi conf/yanagishima.properties

配置信息如下:

# yanagishima web port.
jetty.port=7080
# 30 minutes. If presto query exceeds this time, yanagishima cancel the query.
presto.query.max-run-time-seconds=1800
# 1GB. If presto query result file size exceeds this value, yanagishima cancel the query.
presto.max-result-file-byte-size=1073741824
# you can specify freely. But you need to specify same name to presto.coordinator.server.[...] and presto.redirect.server.[...] and catalog.[...] and schema.[...]
presto.datasources=your-presto
auth.your-presto=false
# presto coordinator url
presto.coordinator.server.your-presto=http://10.20.3.72:8881
# almost same as presto coordinator url. If you use reverse proxy, specify it
presto.redirect.server.your-presto=http://10.20.3.72:8881
# presto catalog name
catalog.your-presto=hive
# presto schema name
schema.your-presto=default
# if query result exceeds this limit, to show rest of result is skipped
select.limit=500
# http header name for audit log
audit.http.header.name=some.auth.header
use.audit.http.header.name=false
# limit to convert from tsv to values query
to.values.query.limit=500
# authorization feature
check.datasource=false
hive.jdbc.url.your-hive=jdbc:hive2://10.20.3.72:10000/default;auth=noSasl
hive.jdbc.user.your-hive=yanagishima
hive.jdbc.password.your-hive=yanagishima
hive.query.max-run-time-seconds=3600
hive.query.max-run-time-seconds.your-hive=3600
resource.manager.url.your-hive=http://localhost:9083
sql.query.engines=presto,hive
hive.datasources=your-hive
hive.disallowed.keywords.your-hive=insert,drop
# 1GB. If hive query result file size exceeds this value, yanagishima cancel the query.
hive.max-result-file-byte-size=1073741824
hive.setup.query.path.your-hive=/usr/app/yanagishima-20.0/conf/hive_setup_query_your-hive
cors.enabled=false

1.5.3 启动yanagishima

$ cd /usr/app/yanagishima

启动软件

$ chmod +x bin/yanagishima-start.sh
$ bin/yanagishima-start.sh

$ nohup bin/yanagishima-start.sh >y.log 2>&1 &

在网页上输入网址和端口,即可进入presto查询页面。
在这里插入图片描述
在这里插入图片描述

1.6 资源

网盘地址,密码: igmd

  • 0
    点赞
  • 1
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值