• 阅读: 555 回复: 0
    学习委员

    数栖云计算引擎信息与执行代理信息查找方式

    楼主 发表于 2019-07-17 15:12:01

    1. 资源组中的执行代理信息查找

    这里的执行代理信息即为客户自己部署的执行代理的相关信息,包括:IP地址,服务的端口。需要填写的内容如下图所示:

     

    1.1  执行代理IP信息查找方式

    IP地址即为客户自己部署的服务器的外网IP(即可以通过这个IP访问到部署执行代理的这台服务器)

    1.2  执行代理时端口信息查找方式

    • 数据源服务端口(默认8444)
    登录部署的部署执行代理的服务器,查看dsource服务的配置文件:
    grep 'server.port' /opt/conf/dsource/dsource-service.properties

     

    • 数据开发服务端口(默认8443)
    登录部署的部署执行代理的服务器,查看dubhe-node服务的配置文件:
    grep 'server.port' /opt/conf/dubhe-node/dubhe-node.properties

     

    2. 计算引擎信息查找

    计算引擎信息主要分为三大块:YARN信息,HiveServer信息,HDFS信息。需要填写的内容如下图所示,其中用户名密码只在以下我们根据不同集群类型来依次举例:

    2.1 CDH

    2.1.1 yarn信息查找

    1.YARN服务的IP地址信息查找方式为:集群->YARN (MR2 Included)->实例->{ResourceManager所在机器},如下图所示

    2.YARN服务的端口信息(默认为8088)查找方式为:集群->YARN (MR2 Included)->配置->搜索“yarn.resourcemanager.webapp.address”,如下图所示

    3.YARN服务的队列信息查找方式为:集群->YARN (MR2 Included)->资源池”,如下图所示

    2.1.2.HiveServer信息查找方式(高可用清按照实际情况配置)

    1.HiveServer信息查找方式为:集群->Hive->实例->{HiveServer2所在机器},如下图所示

    2.HiveServer服务的端口信息(默认为10000)查找方式为:集群->Hive->配置->搜索“hive.server2.thrift.port”,如下图所示

    2.1.3.HDFS信息查找方式

    1.HDFS信息查找方式为:集群->HDFS->实例->{NameNode所在机器},如下图所示

    2.HDFS服务的端口信息(默认为8020)查找方式为:集群->HDFS->配置->搜索“fs.defaultFS”,如下图所示

    3.高可用情况下HDFS服务的namespace信息查找方式为:集群->HDFS->配置->搜索“NameNode Nameservice”,如下图所示

    2.2. HDP

    2.2.1. YARN信息查找方式

    2.2.2. HiveServer信息查找方式(HDP集群默认为高可用模式)

    2.2.3. HDFS信息查找方式

    2.3. Apache-Hadoop

    2.3.1 YARN信息查找方式

    grep -A5 'yarn.resourcemanager.webapp.address'  /{部署路径}/hadoop/etc/hadoop/yarn-site.xml
    
    #查询结果格式如下,示例引用了变量${yarn.resourcemanager.hostname},请自行在yarn-site.xml中查询该值。
    ...    
      <name>yarn.resourcemanager.webapp.address</name>
        <!-- <value>${yarn.resourcemanager.hostname}:8088</value> -->
        <value>0.0.0.0:8088</value>
      </property>
    ...

    2. HiveServer信息查找方式

    grep -A5 'hive.server2.thrift.port'  /{启动hiveserver2进程的服务器上服务的部署路径}/hive/conf/hive-site.xml或hive-default.xml
    
    #查询结果格式如下:
    ...
      <name>hive.server2.thrift.port</name>
        <value>10000</value>
        <description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description>
      </property>
    ...
    
    注意:hiveserver2的地址即为启动hiveserver2进程的服务器IP。

    3. HDFS信息查找方式(示例为高可用模式)

    grep -A5 'fs.defaultFS' /{部署路径}/hadoop/etc/hadoop/core-site.xml
    
    #查询结果格式如下,bigdata就是fs.defaultFS的值:
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata</value>
    <description>The name of the default file system</description>
    </property>
    ...
    
    grep -A5 'dfs.namenode.rpc-address' /{部署路径}/hadoop/etc/hadoop/core-site.xml
    
    #查询结果格式如下:
      <name>dfs.namenode.rpc-address.bigdata.namenode1</name>
        <value>127.0.0.1:8020</value>
      </property>
    
      <property>
        <name>dfs.namenode.rpc-address.bigdata.namenode2</name>
        <value>127.0.0.2:8020</value>
      </property>
    ...

    2.4. FusionInsight&华为云MRS

    2.4.1  YARN信息查找方式(端口默认26004)

    2.4.2. HiveServer信息查找方式(导出所有配置文件后再查询,端口默认21066)

    2.4.3. HDFS信息查找方式(默认端口25000)

    avatar

     

    2.5. 阿里云EMR和腾讯云EMR

    请直接在相关产品界面上按照产品使用文档进行查找。

     

  • 未登录

    回复楼主

    登录后可回复
    /1000