注意:以下所有操作均请用deploy用户操作。
下载安装包:
wget http://s3.dtwave.com/download/cdh5.tgz
1. 部署datax/dipper-plugins/dsource-plugins,“{version}” 为您实际获取到的安装包的版本号。
#将datax-{version}.tgz,dipper-plugins-{version}.tgz,dsource-plugins-{version}.tgz三个压缩包放到/opt/third/并解压。
cd /opt/third/
tar -zxf datax-{version}.tgz
tar -zxf dipper-plugins-{version}.tgz
tar -zxf dsource-plugins-{version}.tgz
ln -sfT datax-{version} datax
ln -sfT dipper-plugins-{version} dipper-plugins
ln -sfT dsource-plugins-{version} dsource-plugins
vi /opt/third/datax/conf/.secret.properties
# 配置datax,根据注释提示进行填写,主要修改如下配置:
hadoop.plugin.default.vendor.name= #您的hadoop集群厂商的类型,请根据提示按实际情况修改。
#datax的其余配置项根据实际情况修改,一般无需修改。datax配置好如上配置即可,无需启动。
#dipper-plugins/dsource-plugins只需要解压并做好软链接,无需特殊配置,也无需启动。
2. 部署dubhe-node,“{version}” 为您实际获取到的dubhe-node安装包的版本号。
#请先将dubhe-node的压缩包放到/opt/workspace/
cd /opt/workspace/
tar -zxf dubhe-node-{version}.tgz
ln -sfT dubhe-node-{version} dubhe-node
vi /opt/conf/dubhe-node/dubhe-node.properties
##在原来配置文件的基础上进行如下删除和新增:
####删除配置项####
node.dev.mode=false
####新增项名称####
#是否开启http,默认开启
node.http.flags=true
#开启http协议后 默认启动8775端口
http.port=8703
#最后启动服务:
cd /opt/workspace/dubhe-node && bash sbin/app.sh start
#验证,查询结果显示 "dubhe-node-provider-{version}.jar"等字样,即表示启动正常。
jps | grep dubhe-node
3. 部署dsource,“{version}” 为您实际获取到的dsource安装包的版本号。
#将dsource的压缩包放到/opt/workspace/
cd /opt/workspace/
tar -zxf dsource-{version}.tgz
ln -sfT dsource-{version} dsource
vi /opt/conf/dsource/dsource-service.properties
##在原来配置文件的基础上进行如下删除和新增:
####删除配置项####
dsource.dev.mode=false
####新增项名称####
# 当集群开启sentry时,需要将该配置项更改为true
hive.sentry.enabled=false
#默认的sentry授权组,如果上层没有传入用户组,则默认为该组,当hive.sentry.enabled=false时,该配置项无效
hive.sentry.group=deploy
# 是否开启http服务,默认开启http协议
dsource.http.flags=true
# 开启http协议后 默认启动8775端口
http.port=8775
## 集群的配置文件(hive-site.xml、hdfs-site.xml、core-site.xml、yarn-site.xml,sentry-site.xml(如果开启sentry的话)),需要加后缀/
cluster.conf.dir=/etc/hadoop/conf/
#最后启动服务:
cd /opt/workspace/dsource && bash sbin/app.sh start
#验证,查询结果显示 "dsource-provider-{version}.jar"等字样,即表示启动正常。
jps | grep dsource