• 阅读: 926 回复: 0
    行竹

    数栖平台使用前置条件说明

    楼主 发表于 2019-07-11 18:53:39

    使用数栖平台究竟有没有什么需要注意的点?!有哪些是企业自己需要提前搭的桥修的路?

    在此帖中我们将持续不断丰富及更新,保证您未来在使用数栖平台前,按照相关的提示及引导,确保企业满足数栖平台使用的基础条件,帮助您能顺利完成数栖平台入门前的准备工作,快速进入后续开发阶段!

    一、两个大前提:

    在开始注册使用数栖平台前,请先确认您的企业已具备以下两个基础:

    1.必须有一个可用的 hadoop 集群(至少含有hdfs,hive和yarn等组件),且尽量选择数栖云支持的集群版本(CDH,HDP,Apache,华为 FusionInsight ,阿里云 EMR  等厂商均可。)

    (我们将尽量适配更多的集群类型及版本)

    2.必须有一台可以与集群内网通信的空服务器,要求系统时间准确,关闭防火墙iptables/firewalld/selinux等,配置至少为 4c/8g/100g 数据盘,且必须要有固定公网 IP(出口IP和入口IP都必须是固定的,与数栖平台通信用)

    请注意:在测试环境下,执行代理可以与集群部署在一起,但在生产环境中我们不建议您以此种方式部署,它将会导致数栖平台的任务运行受影响,亦会导致集群运行不稳定。

    当您确认企业已满足以上两个前提后,即代表您的企业已拥有使用数栖平台的基础能力,后续步骤可参考社区中学习专区中的 《数栖云注册与部署》 文档进行下一步操作。

    二、一点成熟的小建议:

    如果您的企业暂未开始进行集群的搭建,但对数栖平台的使用较为迫切,不要着急,我们已经准备了一些小攻略方便您快速找准底层设施的搭建方向:

    1.如果您的企业没有集群也没有技术人员,您可以直接从阿里云/腾讯云/华为云上购买一个现成的 EMR/MRS 集群服务。

    2.如果您的企业没有集群但有技术人员,您需要先手动搭建一个 hadoop 集群,我们建议您部署 CDH 的 5.15.2 版本,该版本为 CDH 官方承认的最稳定版本:https://www.cloudera.com/downloads/cdh/5-15-2.html。当然,您也可以选择直接从阿里云/腾讯云/华为云上购买一个现成的 EMR/MRS 集群服务。

    云集群服务选配方案(仅供参考)

    • 配置及价格

    根据选择的主机配置不同价格也略有不同。(使用公网需要另外支付带宽/流量费用,内网不需要)

    • Master主机规格

    • Core主机规格

    另外,如果您购买了数栖云产品专业版,无论您有无技术人员专门负责,我们都将为您提供产品的布署服务。从您开始搭建底层集群开始,给到您相应适合您企业情况的设备采购方案(仅供参考),同时也将为您提供执行代理布署及资源配置服务,方便您快速搭建适用于数栖平台的底层设施。

    详情请添加客服微信号:shulan_shouhou,进行咨询

  • dipper853673
    沙发 发表于 2020-02-24 23:18:45

    Re 数栖平台使用前置条件说明

    数栖只能在云上部署?

  • 学习委员
    板凳 发表于 2020-02-28 14:56:01

    Re 数栖平台使用前置条件说明

    您好,数栖云是混合云的部署方式,云资源以及集群可以在您的本地,数栖云通过执行代理的方式跟企业进行通信,并不是只能云上部署,感谢您的关注。

  • 未登录

    回复楼主

    登录后可回复
    /1000