1. 资源组中的执行代理信息查找
这里的执行代理信息即为客户自己部署的执行代理的相关信息,包括:IP地址,服务的端口。需要填写的内容如下图所示:
1.1 执行代理IP信息查找方式
IP地址即为客户自己部署的服务器的外网IP(即可以通过这个IP访问到部署执行代理的这台服务器)
1.2 执行代理时端口信息查找方式
- 数据源服务端口(默认8444)
登录部署的部署执行代理的服务器,查看dsource服务的配置文件:
grep 'server.port' /opt/conf/dsource/dsource-service.properties
- 数据开发服务端口(默认8443)
登录部署的部署执行代理的服务器,查看dubhe-node服务的配置文件:
grep 'server.port' /opt/conf/dubhe-node/dubhe-node.properties
2. 计算引擎信息查找
计算引擎信息主要分为三大块:YARN信息,HiveServer信息,HDFS信息。需要填写的内容如下图所示,其中用户名密码只在以下我们根据不同集群类型来依次举例:
2.1 CDH
2.1.1 yarn信息查找
1.YARN服务的IP地址信息查找方式为:集群->YARN (MR2 Included)->实例->{ResourceManager所在机器},如下图所示
2.YARN服务的端口信息(默认为8088)查找方式为:集群->YARN (MR2 Included)->配置->搜索“yarn.resourcemanager.webapp.address”,如下图所示
3.YARN服务的队列信息查找方式为:集群->YARN (MR2 Included)->资源池”,如下图所示
2.1.2.HiveServer信息查找方式(高可用清按照实际情况配置)
1.HiveServer信息查找方式为:集群->Hive->实例->{HiveServer2所在机器},如下图所示
2.HiveServer服务的端口信息(默认为10000)查找方式为:集群->Hive->配置->搜索“hive.server2.thrift.port”,如下图所示
2.1.3.HDFS信息查找方式
1.HDFS信息查找方式为:集群->HDFS->实例->{NameNode所在机器},如下图所示
2.HDFS服务的端口信息(默认为8020)查找方式为:集群->HDFS->配置->搜索“fs.defaultFS”,如下图所示
3.高可用情况下HDFS服务的namespace信息查找方式为:集群->HDFS->配置->搜索“NameNode Nameservice”,如下图所示
2.2. HDP
2.2.1. YARN信息查找方式
2.2.2. HiveServer信息查找方式(HDP集群默认为高可用模式)
2.2.3. HDFS信息查找方式
2.3. Apache-Hadoop
2.3.1 YARN信息查找方式
grep -A5 'yarn.resourcemanager.webapp.address' /{部署路径}/hadoop/etc/hadoop/yarn-site.xml
#查询结果格式如下,示例引用了变量${yarn.resourcemanager.hostname},请自行在yarn-site.xml中查询该值。
...
<name>yarn.resourcemanager.webapp.address</name>
<!-- <value>${yarn.resourcemanager.hostname}:8088</value> -->
<value>0.0.0.0:8088</value>
</property>
...
2. HiveServer信息查找方式
grep -A5 'hive.server2.thrift.port' /{启动hiveserver2进程的服务器上服务的部署路径}/hive/conf/hive-site.xml或hive-default.xml
#查询结果格式如下:
...
<name>hive.server2.thrift.port</name>
<value>10000</value>
<description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description>
</property>
...
注意:hiveserver2的地址即为启动hiveserver2进程的服务器IP。
3. HDFS信息查找方式(示例为高可用模式)
grep -A5 'fs.defaultFS' /{部署路径}/hadoop/etc/hadoop/core-site.xml
#查询结果格式如下,bigdata就是fs.defaultFS的值:
<name>fs.defaultFS</name>
<value>hdfs://bigdata</value>
<description>The name of the default file system</description>
</property>
...
grep -A5 'dfs.namenode.rpc-address' /{部署路径}/hadoop/etc/hadoop/core-site.xml
#查询结果格式如下:
<name>dfs.namenode.rpc-address.bigdata.namenode1</name>
<value>127.0.0.1:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.bigdata.namenode2</name>
<value>127.0.0.2:8020</value>
</property>
...
2.4. FusionInsight&华为云MRS
2.4.1 YARN信息查找方式(端口默认26004)
2.4.2. HiveServer信息查找方式(导出所有配置文件后再查询,端口默认21066)
2.4.3. HDFS信息查找方式(默认端口25000)
2.5. 阿里云EMR和腾讯云EMR
请直接在相关产品界面上按照产品使用文档进行查找。