数栖EMR: 一站式企业级大数据处理系统,正式对外发布 (可免费下载)!

学习委员    发布于:2020-06-16 浏览 934

数栖EMR(Elastic MapReduce,简称EMR)是数澜科技自研的一站式企业级大数据处理系统,完全兼容开源生态,为客户提供高性能、低成本、灵活易用的全栈大数据平台。

一、产品概述

数栖EMR(Elastic MapReduce,简称EMR)是数澜科技自研的一站式企业级大数据处理系统,完全兼容开源生态,为客户提供高性能、低成本、灵活易用的全栈大数据平台。依托开源的Apache Hadoop、Spark、 Hive、 Flink和Presto等技术,向客户提供高可靠、安全、易用的集群管理能力,还支持大规模集群的安装部署、监控、告警、权限管理等功能。可快速帮助企业构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。

数栖EMR安装包下载链接:EMR-0.2.0.zip

二、产品架构

产品架构图如下,数栖EMR集群是基于Apache Hadoop的生态环境来搭建的。数栖EMR是一套独立的产品,在数栖EMR上层,可采用数栖平台或者第三方大数据开发套件来进行数据研发工作。

2.1 基础设施

数栖EMR可部署在私有物理服务器或者虚拟机上,也可以部署在各个云厂商的云服务器上,例如阿里云、阿里云、华为云、AWS等。

2.2 数据集成

数据集成层提供数据接入到EMR集群的能力,包括Flume、Datax、Sqoop、Kafka、Debezium等,支持各种数据源导入数据到大数据集群中。

2.3 数据存储

支持结构化和非结构化数据在集群中的存储,例如分布式文件系统HDFS、对象存储Ozone。

2.4 数据计算

提供多种主流计算引擎,例如Hive、Spark、Flink、Phoenix、Kylin、Presto,还提供深度学习框架Tensorflow、Jupyter Notebook。支持自定义扩展其他服务。

2.5 认证权限

数栖EMR提供完善的认证机制和数据权限功能,已支持LDAP+Kerberos认证、Ranger。

2.6 集群管理

集群管理提供统一的运维管理平台,包括一键式部署集群能力,并提供多版本选择,支持运行过程中集群在无业务中断条件下,进行扩缩容、弹性伸缩。同时还提供租户管理、机器管理、版本管理,以及对上述数据处理各层组件的运维,并提供监控、告警、配置等一站式运维能力。

三、产品特性

3.1 易于使用

数栖EMR可以在数分钟内启动集群,用户不必担心节点预置、基础设施设置、集群配置或集群优化,可以集中精力进行数据开发。分析师、数据工程师和数据科学家可以使用EMR Notebooks在秒级别内启动一个无服务器的Jupyter Notebook,让个人和团队可以通过一种易于使用的笔记本格式进行协作、交互式探索,以及处理和直观呈现数据。

3.2 安全可靠

数栖EMR支持LDAP+Kerberos安全认证,实现了基于角色的安全控制及完善的审计功能。集群内支持逻辑多租,通过权限隔离,对集群的计算、存储、表格等资源按租户划分。支持多租户,租户隔离个人认证、列级别权限授权全方位审计跟踪。

3.3 集群扩容

可按需对集群的节点进行扩展、缩容,节约企业资源;支持用户通过界面和API等方式进行集群服务节点的管理。

3.4 高效运维

将集群服务的性能、状态指标化,并将度量数据图形化展示在数栖EMR管理页面中,实时地展现出集群服务的状态,对异常服务进行告警,使得运维工作变得简单高效。提供完善的监控运维体系,对包含 Spark、Hive、Presto 等在内的组件异常和任务异常的秒级感知,以保障大数据集群的稳健运行。

3.5 多云部署

除支持私有化部署外,还能在阿里云、腾讯云、华为云、AWS等各种云上进行快速部署。

3.6 开源生态

数栖EMR中均采用Apache社区原生的组件,并进行插件化的功能加强。

3.7 深度整合

数栖EMR和数栖平台进行深度整合,可以和数栖平台组成一体机,做到开箱即用,给用户提供一站式全套开发环境。

四、产品概览

4.1 创建集群

4.2 配置主机

4.3 集群概览

EMR首页

4.4 服务概览

Yarn服务页面

4.5 资源管理

资源管理

4.6 监控告警

监控

4.7 安全认证

五、应用场景

5.1 批量数据处理

利用数栖EMR中的Hadoop、Hive、Spark等服务和底层数据存储方案,可以完成用户海量数据的批处理任务,实现数据分析、生成商业报表等业务需求。

批处理

5.2 流式数据处理

企业服务器通过Kafka或者Flume等中间件将流数据提交到数栖EMR集群进行计算,并取得数据分析结果,并且可以将数据结果存储到存储层(Hbase/MongoDB等)。

流式处理

 

收藏此文章 点赞此文章

评论 (1)

  • dipper236809

    1楼

评论此篇文章

登录后可回复
/1000