使用数栖平台究竟有没有什么需要注意的点?!有哪些是企业自己需要提前搭的桥修的路?
在此帖中我们将持续不断丰富及更新,保证您未来在使用数栖平台前,按照相关的提示及引导,确保企业满足数栖平台使用的基础条件,帮助您能顺利完成数栖平台入门前的准备工作,快速进入后续开发阶段!
一、两个大前提:
在开始注册使用数栖平台前,请先确认您的企业已具备以下两个基础:
1.必须有一个可用的 hadoop 集群(至少含有hdfs,hive和yarn等组件),且尽量选择数栖云支持的集群版本(CDH,HDP,Apache,华为 FusionInsight ,阿里云 EMR 等厂商均可。);
(我们将尽量适配更多的集群类型及版本)
2.必须有一台可以与集群内网通信的空服务器,要求系统时间准确,关闭防火墙iptables/firewalld/selinux等,配置至少为 4c/8g/100g 数据盘,且必须要有固定公网 IP(出口IP和入口IP都必须是固定的,与数栖平台通信用)。
请注意:在测试环境下,执行代理可以与集群部署在一起,但在生产环境中我们不建议您以此种方式部署,它将会导致数栖平台的任务运行受影响,亦会导致集群运行不稳定。
当您确认企业已满足以上两个前提后,即代表您的企业已拥有使用数栖平台的基础能力,后续步骤可参考社区中学习专区中的 《数栖云注册与部署》 文档进行下一步操作。
二、一点成熟的小建议:
如果您的企业暂未开始进行集群的搭建,但对数栖平台的使用较为迫切,不要着急,我们已经准备了一些小攻略方便您快速找准底层设施的搭建方向:
1.如果您的企业没有集群也没有技术人员,您可以直接从阿里云/腾讯云/华为云上购买一个现成的 EMR/MRS 集群服务。
2.如果您的企业没有集群但有技术人员,您需要先手动搭建一个 hadoop 集群,我们建议您部署 CDH 的 5.15.2 版本,该版本为 CDH 官方承认的最稳定版本:https://www.cloudera.com/downloads/cdh/5-15-2.html。当然,您也可以选择直接从阿里云/腾讯云/华为云上购买一个现成的 EMR/MRS 集群服务。
云集群服务选配方案(仅供参考)
-
配置及价格
根据选择的主机配置不同价格也略有不同。(使用公网需要另外支付带宽/流量费用,内网不需要)
-
Master主机规格
-
Core主机规格
另外,如果您购买了数栖云产品专业版,无论您有无技术人员专门负责,我们都将为您提供产品的布署服务。从您开始搭建底层集群开始,给到您相应适合您企业情况的设备采购方案(仅供参考),同时也将为您提供执行代理布署及资源配置服务,方便您快速搭建适用于数栖平台的底层设施。
详情请添加客服微信号:shulan_shouhou,进行咨询