• 阅读: 998 回复: 0
    行竹

    【HDP】配置集群客户端教程

    楼主 发表于 2019-07-11 19:02:15

    1. 拷贝集群客户端,配置文件及配置环境变量

    说明:
    1. 以下操作请在执行代理服务器上用root权限执行。
    2. $hdp_ip为集群任意节点的ip。
    3. 具体操作可能因版本不同而有所变化,请根据实际情况操作。
    
    sudo mkdir -p /usr/hdp/
    sudo rsync -av root@$hdp_ip:/usr/hdp/* /usr/hdp/
    sudo rsync -av root@$hdp_ip:/etc/hadoop /etc/
    sudo rsync -av root@$hdp_ip:/etc/hive /etc/
    sudo rsync -av root@$hdp_ip:/etc/spark* /etc/
    sudo rsync -av root@$hdp_ip:/etc/hbase* /etc/
    
    #HDP_VERSION因版本不同而有所变化,请根据实际情况配置。
    
    echo '
    export HDP_VERSION=2.6.0.3-8
    export HADOOP_COMMON_HOME=/usr/hdp/$HDP_VERSION/hadoop
    export HADOOP_HDFS_HOME=/usr/hdp/$HDP_VERSION/hadoop-hdfs
    export HADOOP_MAPRED_HOME=/usr/hdp/$HDP_VERSION/hadoop-mapreduce
    export HADOOP_YARN_HOME=/usr/hdp/$HDP_VERSION/hadoop-yarn
    export HIVE_HOME=/usr/hdp/$HDP_VERSION/hive
    export HBASE_HOME=/usr/hdp/$HDP_VERSION/hbase
    export SPARK_HOME=/usr/hdp/$HDP_VERSION/spark2
    export SQOOP_HOME=/usr/hdp/$HDP_VERSION/sqoop
    PATH=$PATH:$SPARK_HOME/bin:$HADOOP_COMMON_HOME/bin:$HADOOP_HDFS_HOME/bin:$HADOOP_MAPRED_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:/usr/local/bin/python/bin:$STORM_HOME/bin:$SQOOP_HOME/bin' | sudo tee -a /home/deploy/.bashrc > /dev/null
    
    echo 'spark.ui.enabled false' >> /etc/spark2/conf/spark-defaults.conf
    
    echo 'log4j.logger.org.apache.hadoop.yarn.client=INFO' >> /etc/spark2/conf/log4j.properties
    
    source /home/deploy/.bashrc
    
     

    2. 以上操作完成之后,请手动将集群的hosts信息拷贝到执行代理服务器上的/etc/hosts内。

    3. 在hdfs上创建数栖平台项目默认资源目录

    ssh root@$hdp_ip  'sudo su - hdfs -c "hadoop fs -mkdir -p /user/shuqi"'
    ssh root@$hdp_ip  'sudo su - hdfs -c "hadoop fs -mkdir -p /user/deploy"'
    ssh root@$hdp_ip  'sudo su - hdfs -c "hadoop fs -chown -R deploy:deploy /user/shuqi"'
    ssh root@$hdp_ip  'sudo su - hdfs -c "hadoop fs -chown -R deploy:deploy /user/deploy"'
    
     

    4. 验证:

    # 进入spark/spark2目录,请注意:spark/spark2目录可能因集群版本和spark版本不同而改变
    cd /usr/hdp/2.6.0.3-8/spark或spark2
    
    # 执行sparkPi,指定调度队列为dev,请注意:这里的调度队列以及spark-examples的jar包版本需要视实际情况而定
     ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --queue dev --name sparkPi lib/spark-examples-1.6.3.2.6.0.3-8-hadoop2.7.3.2.6.0.3-8.jar 100
    
    注:如果是spark2,则示例jar包目录一般为/usr/hdp/2.6.0.3-8/spark2/examples/jars/spark-examples_2.11-2.1.0.2.6.0.3-8.jar,请根据实际情况而定。
    
    # 结果:
    
    ......
    17/10/14 14:52:30 INFO Submitted application application_1507947630013_0003
    17/10/14 14:53:12 INFO scheduler.DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 1.976050 s
    Pi is roughly 3.1411539141153915
    ......

     

  • 未登录

    回复楼主

    登录后可回复
    /1000