• 阅读: 558 回复: 0
    学习委员

    执行代理部署步骤详解

    1.安装前准备

    1.1 确认自己的集群类型和下载的执行代理安装包类型是否一致。

    1.1.1 下载的执行代理安装包名即为集群类型,如果发现安装包名与集群类型不一致,请重新联系客服并索取正确的执行代理安装包下载地址。

    1.2. 确认部署的执行代理的服务器环境。

    1.2.1 确认安装执行代理的服务操作系统是centos7.0及以上。

    1.2.2 确保服务器上没有运行其他的服务(否则可能会影响其他程序的运行)。

    1.2.3 服务器配置至少需要4c/8g/100g数据盘。

    1.2.4 服务器上的时间服务器同步需要配置正确。

    2.准备基础环境(使用有root权限的账号操作)

    2.1 关闭部署执行代理的服务器上的防火墙和selinux

    sudo systemctl stop firewalld
    sudo systemctl disable firewalld
    
    sudo setenforce 0
    sudo sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config

    2.2 使用sudo权限的账号创建deploy用户并设置登录密码

    sudo useradd deploy
    sudo passwd deploy

    2.3.建议单独挂载 {你的数据盘} 至/data/目录并配置开机自启(若已挂载数据盘则无需操作)

    sudo mount {你的数据盘} /data
    echo "mount {你的数据盘} /data" | sudo tee -a /etc/rc.d/rc.local > /dev/null
    sudo chmod +x /etc/rc.d/rc.local

    2.4.创建程序部署目录并授权给deploy用户

    sudo mkdir -p /opt/third /opt/workspace /data/dubhe-node /opt/conf/dubhe-node /data/dsource /opt/conf/dsource
    sudo chown -R deploy:deploy  /opt/conf /opt/third /opt/workspace /data

    2.5.部署jdk1.8环境

    #安装jdk环境,请先将包放置到/opt/third/目录下
    cd /opt/third
    tar  -zxvf  jdk-8u144-linux-x64.tar.gz #根据您的实际jdk版本进行修改
    ln -sfT  ./jdk1.8.0_144  jdk           #根据您的实际jdk版本进行修改
    
    #配置单deploy用户的java环境变量
    echo -e "export JAVA_HOME=/opt/third/jdk\nexport PATH=\$JAVA_HOME/bin:\$PATH" | sudo tee -a /home/deploy/.bashrc > /dev/null
    sudo chown -R deploy:deploy /home/deploy/.bashrc /opt/third/jdk1.8.0_144 /opt/third/jdk
    
    
    #验证安装是否正确,看到输出:java version "1.8.0_144"等字样即可
    sudo su - deploy -c "source ~/.bashrc && java -version"
    

    3.部署执行代理

    注意:以下所有操作均请用deploy用户操作。“{version}” 为您实际获取到的安装包的版本号。

    3.1. 部署datax/dipper-plugins/dsource-plugins,“{version}” 为您实际获取到的安装包的版本号。

    #将datax-{version}.tgz,dipper-plugins-{version}.tgz,dsource-plugins-{version}.tgz三个压缩包放到/opt/third/并解压。
    
    cd /opt/third/
    tar -zxf datax-{version}.tgz
    tar -zxf dipper-plugins-{version}.tgz
    tar -zxf dsource-plugins-{version}.tgz
    ln -sfT datax-{version} datax
    ln -sfT dipper-plugins-{version} dipper-plugins
    ln -sfT dsource-plugins-{version} dsource-plugins
    
    vi /opt/third/datax/conf/.secret.properties
    # 配置datax,根据注释提示进行填写,主要修改如下配置:
    hadoop.plugin.default.vendor.name=       #您的hadoop集群厂商的类型,请根据提示按实际情况修改。
    
    #datax的其余配置项根据实际情况修改,一般无需修改。datax配置好如上配置即可,无需启动。
    #dipper-plugins/dsource-plugins只需要解压并做好软链接,无需特殊配置,也无需启动。
    

    3.2. 部署dubhe-node,“{version}” 为您实际获取到的dubhe-node安装包的版本号。

    #请先将dubhe-node的压缩包放到/opt/workspace/
    cd /opt/workspace/
    tar -zxf dubhe-node-{version}.tgz
    ln -sfT dubhe-node-{version} dubhe-node
    mkdir -p /opt/workspace/dubhe-node/data/tmp
    cp /opt/workspace/dubhe-node/conf/application.properties /opt/conf/dubhe-node/dubhe-node.properties
    
    vi /opt/conf/dubhe-node/dubhe-node.properties
    #然后根据注释提示填写配置文件,主要修改并确认如下配置:
    cluster.vendor.type=          #您的hadoop集群厂商类型
    node.isNeedSigned=true        #值修改为true
    #登录 http://shuqi.dtwave.com/ent/account#/accessKey 查看并记录自己的accessKey和secretKey。
    node.accessKey=               #上面查看到的accessKey
    node.secretKey=               #上面查看到的secretKey
    spring.datasource.url=jdbc:mysql://127.0.0.1:3306/hive    #hive的源数据库链接地址
    spring.datasource.username=hive                           #hive的源数据库用户名
    spring.datasource.password=hive                           #hive的源数据库密码
    spi.plugin.path=/opt/third/dipper-plugins                 #dipper-plugins的部署目录
    node.datax=/opt/third/datax                               #datax的部署目录
    
    #最后启动服务:
    cd /opt/workspace/dubhe-node && mkdir data/tmp && bash sbin/app.sh start
    
    #验证,查询结果显示 "dubhe-node-provider-{version}.jar"等字样,即表示启动正常。
    jps | grep dubhe-node
    

    3.3. 部署dsource,“{version}” 为您实际获取到的dsource安装包的版本号。

    #将dsource的压缩包放到/opt/workspace/
    cd /opt/workspace/
    tar -zxf dsource-{version}.tgz
    ln -sfT dsource-{version} dsource
    cp /opt/workspace/dsource/conf/application.properties /opt/conf/dsource/dsource-service.properties
    
    vi /opt/conf/dsource/dsource-service.properties
    #然后根据注释提示填写配置文件,主要修改如下配置
    spi.plugin.default.vendor.name=            #您的hadoop集群厂商类型
    #登录 http://shuqi.dtwave.com/ent/account#/accessKey,查看并记录自己的accessKey和secretKey。
    dsource.accessKey=                         #上面查看到的accessKey
    dsource.secretKey=                         #上面查看到的secretKey
    dsource.isNeedSigned=true                  #将值修改为true
    spi.plugin.path=/opt/third/dsource-plugins #根据实际情况修改dsource-plugins的部署目录
    
    #最后启动服务:
    cd /opt/workspace/dsource && bash sbin/app.sh start
    
    #验证,查询结果显示 "dsource-provider-{version}.jar"等字样,即表示启动正常。
    jps | grep dsource
    
    

    3.4. 开启kerberos的情况下

    说明:开启kerberos的情况下,需要额外配置dubhe-node和dsource的配置,具体如下。

    3.4.1.下载keytab认证信息并解压,将解压出来的user.keytab放到/etc/security/keytabs/下,解压出来的krb5.conf放到/etc/security/下

    3.4.2.安装kerberos客户端

    sudo yum install krb5-server krb5-libs krb5-workstation

    3.4.3 根据下载的keytab查询对应的Principal

    klist -ket /etc/security/keytabs/user.keytab
    结果如下:
    Keytab name: FILE:/etc/security/keytabs/user.keytab
    KVNO Timestamp           Principal
    ---- ------------------- ------------------------------------------------------
       7 03/27/2019 20:16:46 test1@HADOOP.COM (aes256-cts-hmac-sha1-96) 
       7 03/27/2019 20:16:46 test1@HADOOP.COM (aes128-cts-hmac-sha1-96) 
    

    3.4.4.查找hiveserver2的Principal

    在集群的hive-site.xml配置文件中找到“hive.server2.authentication.kerberos.principal”这个配置项的值。
    vi hive-site.xml
    -----------------------------------------------
    <property>
    <name>hive.server2.authentication.kerberos.principal</name>
    <value>hive/hadoop.7333b9fe_1a81_41a5_9689_1c9306869c8e.com@7333B9FE_1A81_41A5_9689_1C9306869C8E.COM</value>
    </property>

    3.4.5.根据dubhe-node和dsource配置文件中的注释信息修改配置项,主要修改如下项:

    security.auth.type= kerberos
    keytab.dir=/etc/security/keytabs/
    krb5.conf.path=/etc/krb5.conf
    
    #通过kerberos认证使用的principal和keyTab,所有组件使用同一个
    user.principal=test1@HADOOP.COM
    user.keytab=/etc/security/keytabs/user.keytab
    #hive Server2
    hive.server2.principal=hive/hadoop.7333b9fe_1a81_41a5_9689_1c9306869c8e.com@7333B9FE_1A81_41A5_9689_1C9306869C8E.COM

    3.4.6.按照上面的启动方式,重新启动dubhe-node和dsource服务。

  • 未登录

    回复楼主

    登录后可回复
    /1000