数栖云计算引擎信息与执行代理信息查找方式-数澜社区

1. 资源组中的执行代理信息查找

这里的执行代理信息即为客户自己部署的执行代理的相关信息，包括：IP地址，服务的端口。需要填写的内容如下图所示：

1.1 执行代理IP信息查找方式

IP地址即为客户自己部署的服务器的外网IP（即可以通过这个IP访问到部署执行代理的这台服务器）

1.2 执行代理时端口信息查找方式

数据源服务端口（默认8444）

登录部署的部署执行代理的服务器，查看dsource服务的配置文件：
grep 'server.port' /opt/conf/dsource/dsource-service.properties

数据开发服务端口（默认8443）

登录部署的部署执行代理的服务器，查看dubhe-node服务的配置文件：
grep 'server.port' /opt/conf/dubhe-node/dubhe-node.properties

2. 计算引擎信息查找

计算引擎信息主要分为三大块：YARN信息，HiveServer信息，HDFS信息。需要填写的内容如下图所示，其中用户名密码只在以下我们根据不同集群类型来依次举例：

2.1 CDH

2.1.1 yarn信息查找

1.YARN服务的IP地址信息查找方式为：集群->YARN (MR2 Included)->实例->{ResourceManager所在机器}，如下图所示

2.YARN服务的端口信息（默认为8088）查找方式为：集群->YARN (MR2 Included)->配置->搜索“yarn.resourcemanager.webapp.address”，如下图所示

3.YARN服务的队列信息查找方式为：集群->YARN (MR2 Included)->资源池”，如下图所示

2.1.2.HiveServer信息查找方式（高可用清按照实际情况配置）

1.HiveServer信息查找方式为：集群->Hive->实例->{HiveServer2所在机器}，如下图所示

2.HiveServer服务的端口信息（默认为10000）查找方式为：集群->Hive->配置->搜索“hive.server2.thrift.port”，如下图所示

2.1.3.HDFS信息查找方式

1.HDFS信息查找方式为：集群->HDFS->实例->{NameNode所在机器}，如下图所示

2.HDFS服务的端口信息（默认为8020）查找方式为：集群->HDFS->配置->搜索“fs.defaultFS”，如下图所示

3.高可用情况下HDFS服务的namespace信息查找方式为：集群->HDFS->配置->搜索“NameNode Nameservice”，如下图所示

2.2. HDP

2.2.1. YARN信息查找方式

2.2.2. HiveServer信息查找方式（HDP集群默认为高可用模式）

2.2.3. HDFS信息查找方式

2.3. Apache-Hadoop

2.3.1 YARN信息查找方式

grep -A5 'yarn.resourcemanager.webapp.address'  /{部署路径}/hadoop/etc/hadoop/yarn-site.xml

#查询结果格式如下,示例引用了变量${yarn.resourcemanager.hostname}，请自行在yarn-site.xml中查询该值。
...    
  <name>yarn.resourcemanager.webapp.address</name>
    <!-- <value>${yarn.resourcemanager.hostname}:8088</value> -->
    <value>0.0.0.0:8088</value>
  </property>
...

2. HiveServer信息查找方式

grep -A5 'hive.server2.thrift.port'  /{启动hiveserver2进程的服务器上服务的部署路径}/hive/conf/hive-site.xml或hive-default.xml

#查询结果格式如下：
...
  <name>hive.server2.thrift.port</name>
    <value>10000</value>
    <description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description>
  </property>
...

注意：hiveserver2的地址即为启动hiveserver2进程的服务器IP。

3. HDFS信息查找方式（示例为高可用模式）

grep -A5 'fs.defaultFS' /{部署路径}/hadoop/etc/hadoop/core-site.xml

#查询结果格式如下，bigdata就是fs.defaultFS的值：
<name>fs.defaultFS</name>
<value>hdfs://bigdata</value>
<description>The name of the default file system</description>
</property>
...

grep -A5 'dfs.namenode.rpc-address' /{部署路径}/hadoop/etc/hadoop/core-site.xml

#查询结果格式如下：
  <name>dfs.namenode.rpc-address.bigdata.namenode1</name>
    <value>127.0.0.1:8020</value>
  </property>

  <property>
    <name>dfs.namenode.rpc-address.bigdata.namenode2</name>
    <value>127.0.0.2:8020</value>
  </property>
...

2.4. FusionInsight&华为云MRS

2.4.1 YARN信息查找方式（端口默认26004）