• 阅读: 344 回复: 0
    行竹

    【华为 FusionInsight MRS】配置集群客户端教程

    楼主 发表于 2019-07-11 18:59:24

    说明:华为集群直接在界面上通过:服务管理-->下载客户端-->完整客户端,点击确定下载即可(客户端生成及下载时间都比较长)。 

    avatar

    这里如果选择了“仅保存到服务器如下路径”,则只会下载到当前访问界面的服务器上的指定目录,需要从服务器上将下载的客户端传到执行代理服务器上,如客户端压缩包放在/opt/third/FusionInsightServicesClient.tar,解压之后进行如下操作安装:

    1. 创建安装目录

    $ sudo mkdir /opt/client

    2. 安装

    1. 解压安装包
    $ tar -xvf /opt/third/FusionInsight_Services_Client.tar
    
     
    2. 进入安装包执行: ./install.sh /opt/client
    $ cd /opt/third/FusionInsight_Services_Client
    $ sudo ./install.sh /opt/client

    3. 设置环境变量

    $ cd /opt/client
    $ source bigdata_env

    4. 以上操作完成之后,请手动将集群的hosts信息拷贝到执行代理服务器上的/etc/hosts内。

    5. 在hdfs上创建数栖平台项目默认资源目录“/user/shuqi”,并授权给deploy用户

    6. 下载keytab认证信息并解压,将解压出来的user.keytab放到/etc/security/keytabs/下,解压出来的krb5.conf放到/etc/security/下

    avatar

    7. 安装kerberos客户端

    sudo yum install krb5-server krb5-libs krb5-workstation

    8. 根据下载的keytab查询对应的Principal

    klist -ket /etc/security/keytabs/user.keytab
    结果如下:
    Keytab name: FILE:/etc/security/keytabs/user.keytab
    KVNO Timestamp           Principal
    ---- ------------------- ------------------------------------------------------
       7 03/27/2019 20:16:46 test1@HADOOP.COM (aes256-cts-hmac-sha1-96) 
       7 03/27/2019 20:16:46 test1@HADOOP.COM (aes128-cts-hmac-sha1-96) 

    9. 使用keytab验证Principal的权限

    kinit -kt /etc/security/keytabs/user.keytab  test1@HADOOP.COM

    10. 验证

    # 进入spark目录,请注意:spark目录可能因集群版本而改变
    cd /opt/client/Spark2x/spark
    
    # 执行sparkPi,指定调度队列为dev,请注意:spark-examples的jar包版本可能因集群版本而改变
    ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --queue root.dev --name sparkPi examples/jars/spark-examples_2.11-2.1.0.jar 100
    
    # 结果:
    
    ......
    17/10/14 14:52:30 INFO Submitted application application_1507947630013_0003
    17/10/14 14:53:12 INFO scheduler.DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 1.976050 s
    Pi is roughly 3.1411539141153915
    ......

     

  • 未登录

    回复楼主

    登录后可回复
    /1000