• 阅读: 165 回复: 0
    机灵小不懂

    执行代理4.6升级到4.7版本增量升级说明

    楼主 发表于 2019-11-07 15:52:49

    注意:以下所有操作均请用deploy用户操作。

    下载安装包:
    wget http://s3.dtwave.com/download/cdh5.tgz

     

    1. 部署datax/dipper-plugins/dsource-plugins,“{version}” 为您实际获取到的安装包的版本号。

    #将datax-{version}.tgz,dipper-plugins-{version}.tgz,dsource-plugins-{version}.tgz三个压缩包放到/opt/third/并解压。
    
    cd /opt/third/
    tar -zxf datax-{version}.tgz
    tar -zxf dipper-plugins-{version}.tgz
    tar -zxf dsource-plugins-{version}.tgz
    ln -sfT datax-{version} datax
    ln -sfT dipper-plugins-{version} dipper-plugins
    ln -sfT dsource-plugins-{version} dsource-plugins
    
    vi /opt/third/datax/conf/.secret.properties
    # 配置datax,根据注释提示进行填写,主要修改如下配置:
    hadoop.plugin.default.vendor.name=       #您的hadoop集群厂商的类型,请根据提示按实际情况修改。
    
    #datax的其余配置项根据实际情况修改,一般无需修改。datax配置好如上配置即可,无需启动。
    #dipper-plugins/dsource-plugins只需要解压并做好软链接,无需特殊配置,也无需启动。
    

    2. 部署dubhe-node,“{version}” 为您实际获取到的dubhe-node安装包的版本号。

    #请先将dubhe-node的压缩包放到/opt/workspace/
    cd /opt/workspace/
    tar -zxf dubhe-node-{version}.tgz
    ln -sfT dubhe-node-{version} dubhe-node
    
    vi /opt/conf/dubhe-node/dubhe-node.properties
    ##在原来配置文件的基础上进行如下删除和新增:
    
    ####删除配置项####
    node.dev.mode=false
    
    ####新增项名称####
    #是否开启http,默认开启
    node.http.flags=true
    #开启http协议后 默认启动8775端口
    http.port=8703
    
    
    
    #最后启动服务:
    cd /opt/workspace/dubhe-node && bash sbin/app.sh start
    
    #验证,查询结果显示 "dubhe-node-provider-{version}.jar"等字样,即表示启动正常。
    jps | grep dubhe-node
    

    3. 部署dsource,“{version}” 为您实际获取到的dsource安装包的版本号。

    #将dsource的压缩包放到/opt/workspace/
    cd /opt/workspace/
    tar -zxf dsource-{version}.tgz
    ln -sfT dsource-{version} dsource
    
    vi /opt/conf/dsource/dsource-service.properties
    ##在原来配置文件的基础上进行如下删除和新增:
    
    ####删除配置项####
    dsource.dev.mode=false
    
    
    ####新增项名称####
    # 当集群开启sentry时,需要将该配置项更改为true
    hive.sentry.enabled=false
    #默认的sentry授权组,如果上层没有传入用户组,则默认为该组,当hive.sentry.enabled=false时,该配置项无效
    hive.sentry.group=deploy
    # 是否开启http服务,默认开启http协议
    dsource.http.flags=true
    # 开启http协议后 默认启动8775端口
    http.port=8775
    ## 集群的配置文件(hive-site.xml、hdfs-site.xml、core-site.xml、yarn-site.xml,sentry-site.xml(如果开启sentry的话)),需要加后缀/
    cluster.conf.dir=/etc/hadoop/conf/
    
    
    
    #最后启动服务:
    cd /opt/workspace/dsource && bash sbin/app.sh start
    
    #验证,查询结果显示 "dsource-provider-{version}.jar"等字样,即表示启动正常。
    jps | grep dsource
    
    
  • 未登录

    回复楼主

    登录后可回复
    /1000