说明:华为集群直接在界面上通过:服务管理-->下载客户端-->完整客户端,点击确定下载即可(客户端生成及下载时间都比较长)。
这里如果选择了“仅保存到服务器如下路径”,则只会下载到当前访问界面的服务器上的指定目录,需要从服务器上将下载的客户端传到执行代理服务器上,如客户端压缩包放在/opt/third/FusionInsightServicesClient.tar,解压之后进行如下操作安装:
1. 创建安装目录
$ sudo mkdir /opt/client
2. 安装
1. 解压安装包
$ tar -xvf /opt/third/FusionInsight_Services_Client.tar
2. 进入安装包执行: ./install.sh /opt/client
$ cd /opt/third/FusionInsight_Services_Client
$ sudo ./install.sh /opt/client
3. 设置环境变量
$ cd /opt/client
$ source bigdata_env
4. 以上操作完成之后,请手动将集群的hosts信息拷贝到执行代理服务器上的/etc/hosts内。
5. 在hdfs上创建数栖平台项目默认资源目录“/user/shuqi”,并授权给deploy用户
6. 下载keytab认证信息并解压,将解压出来的user.keytab放到/etc/security/keytabs/下,解压出来的krb5.conf放到/etc/security/下
7. 安装kerberos客户端
sudo yum install krb5-server krb5-libs krb5-workstation
8. 根据下载的keytab查询对应的Principal
klist -ket /etc/security/keytabs/user.keytab
结果如下:
Keytab name: FILE:/etc/security/keytabs/user.keytab
KVNO Timestamp Principal
---- ------------------- ------------------------------------------------------
7 03/27/2019 20:16:46 test1@HADOOP.COM (aes256-cts-hmac-sha1-96)
7 03/27/2019 20:16:46 test1@HADOOP.COM (aes128-cts-hmac-sha1-96)
9. 使用keytab验证Principal的权限
kinit -kt /etc/security/keytabs/user.keytab test1@HADOOP.COM
10. 验证
# 进入spark目录,请注意:spark目录可能因集群版本而改变
cd /opt/client/Spark2x/spark
# 执行sparkPi,指定调度队列为dev,请注意:spark-examples的jar包版本可能因集群版本而改变
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --queue root.dev --name sparkPi examples/jars/spark-examples_2.11-2.1.0.jar 100
# 结果:
......
17/10/14 14:52:30 INFO Submitted application application_1507947630013_0003
17/10/14 14:53:12 INFO scheduler.DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 1.976050 s
Pi is roughly 3.1411539141153915
......