【华为 FusionInsight MRS】配置集群客户端教程

说明：华为集群直接在界面上通过：服务管理-->下载客户端-->完整客户端，点击确定下载即可（客户端生成及下载时间都比较长）。 

这里如果选择了“仅保存到服务器如下路径”，则只会下载到当前访问界面的服务器上的指定目录，需要从服务器上将下载的客户端传到执行代理服务器上，如客户端压缩包放在/opt/third/FusionInsightServicesClient.tar，解压之后进行如下操作安装：

1. 创建安装目录

$ sudo mkdir /opt/client

2. 安装

1. 解压安装包

$ tar -xvf /opt/third/FusionInsight_Services_Client.tar

2. 进入安装包执行： ./install.sh /opt/client

$ cd /opt/third/FusionInsight_Services_Client
$ sudo ./install.sh /opt/client

3. 设置环境变量

$ cd /opt/client
$ source bigdata_env

4. 以上操作完成之后，请手动将集群的hosts信息拷贝到执行代理服务器上的/etc/hosts内。

5. 在hdfs上创建数栖平台项目默认资源目录“/user/shuqi”，并授权给deploy用户

6. 下载keytab认证信息并解压，将解压出来的user.keytab放到/etc/security/keytabs/下，解压出来的krb5.conf放到/etc/security/下

7. 安装kerberos客户端

sudo yum install krb5-server krb5-libs krb5-workstation

8. 根据下载的keytab查询对应的Principal

klist -ket /etc/security/keytabs/user.keytab
结果如下：
Keytab name: FILE:/etc/security/keytabs/user.keytab
KVNO Timestamp           Principal
---- ------------------- ------------------------------------------------------
   7 03/27/2019 20:16:46 test1@HADOOP.COM (aes256-cts-hmac-sha1-96) 
   7 03/27/2019 20:16:46 test1@HADOOP.COM (aes128-cts-hmac-sha1-96) 

9. 使用keytab验证Principal的权限

kinit -kt /etc/security/keytabs/user.keytab  test1@HADOOP.COM

10. 验证

# 进入spark目录,请注意：spark目录可能因集群版本而改变
cd /opt/client/Spark2x/spark

# 执行sparkPi，指定调度队列为dev，请注意：spark-examples的jar包版本可能因集群版本而改变
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --queue root.dev --name sparkPi examples/jars/spark-examples_2.11-2.1.0.jar 100

# 结果:

......
17/10/14 14:52:30 INFO Submitted application application_1507947630013_0003
17/10/14 14:53:12 INFO scheduler.DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 1.976050 s
Pi is roughly 3.1411539141153915
......