• 阅读: 855 回复: 0
    机灵小不懂

    资源组是什么?新建数据源时为什么要选择资源组?

    楼主 发表于 2019-08-07 10:43:20

    相信有不少小伙伴现在已经开始注册并购买数栖云的相关产品服务了,当我们按照产品界面的提示,完成了基础的集群搭建之后,兴高采烈准备进入到开发阶段了,突然发现,诶?资源组和计算引擎还需要配置?计算引擎好理解,那,资源组到底是什么呢?今天就让我来带你了解一下,到底资源组是什么?该如何进行配置!

    憋着急,先让我们带着新同学一起回顾一下遇到这个问题的整个流程(咳咳,说的就是你,没看过帮助文档的你!)。

    首先,当我们完成执行代理及客户端的部署后(详细步骤可跳转查看:执行代理部署步骤详解),通常需要进入到平台资源管理中,进行相应的资源组及计算引擎的配置(参考帮助文档的指引),才能回到离线开发界面中新建项目并配置环境,进而完成后续开发。

    但如果,你从来不看任何帮助文档,只想一步到位立即进行开发阶段,那接下来的这些流程,你无论如何都会再经历一次。如下图所示,当你点击完成确认订单后,你的界面将立即出现离线开发、数据源管理、资源管理等栏目。先不研究别的,直接点击离线开发并新建项目后,会发现这里需要先进行项目配置,无法直接进入开发。点击项目配置,我们默认进入到了环境配置的界面,点击立即添加。

    在没有进行任何的资源管理配置时,接下来出现的这个界面,会让你感觉到十万脸懵逼···如图:

    一般的小伙伴看到上图的界面,可能都会选择关掉页面,转头去找寻帮助文档及技术同学支持。当然,使用我们产品的也有很多不一般的同学,觉得可以能通过自己强大的知识储备瞎填战胜这小小的困难!但?如下图中所示,这里无论是资源组也好、计算引擎也好,都是无法直接填写的,它是下拉选项,也就是说,不!能!乱!填!

    所以,无论是一般的同学也好,还是非一般的同学,让我们一起回到最初的原点,好好理解资源组和计算引擎,并且认认真真的进行配置。你可以通过直接点击“添加资源组”或“添加引擎”进入到接下来要配置的界面,也可以直接点击产品左侧导航栏中的“资源管理”,进行操作。

    既然又回到了资源管理中来,我们就好好学习一下,这里要进行配置的资源组及计算引擎到底是什么。

    1.资源组:

    我们这里所说的资源组,是一组执行代理的集合,而执行代理是用来执行平台上下发任务的服务器。因此通常,一个资源组由一个或多个服务器组成,在这些服务器上部署了数据源服务或数据开发服务。平台上的作业通过调用相关的执行代理服务才能完成作业。(注:一个服务器只能在一个资源组下。)而在数栖平台资源组界面中,我们可以新建多个资源组进行服务。

    另外,当我们新建数据源时,选择资源组是为了进行测试,保证资源组里的执行代理服务器可以正常连接数据源,否则可能导致在后续的开发中,数据同步任务无法正常进行

    需要注意的是,数据处理能力的强弱主要取决于集群的计算和存储资源,其次也与数栖平台的执行代理资源情况有关。如果在数栖平台·SaaS 上只部署一个执行代理节点,可能会出现数据处理能力和任务并发数量的瓶颈,这种瓶颈主要是指执行任务的效率及并发数限制等。数栖平台·SaaS 目前支持部署多个执行代理节点(基础版支持 2 台执行代理,专业版支持 6 台执行代理),只要根据自身数据量和处理需求等实际情况,选择合适的执行代理部署数量及每台执行代理的配置,那么数据处理的瓶颈问题一般不会处在执行代理这个环节。

    2.计算引擎:

    计算引擎代表了计算能力,可通过为项目的环境配置计算引擎为该环境提供相应的数据开发能力。目前平台支持的计算引擎类型为离线引擎-Hadoop。如果您未部署 hadoop 集群,即无法完成后续的任何开发操作。

    关于如何进行进行资源组及计算引擎配置的详细步骤,大家可以通过《数栖平台计算引擎信息与执行代理信息查找方式》进行相应信息查找及填写。在这就不多做赘述。

     

  • 未登录

    回复楼主

    登录后可回复
    /1000