传统数据仓库架构与Hadoop的区别

氧气    发布于:2019-09-25 浏览 200

随着Hadoop技术的发展,从最初为Google、Facebook等公司解决海量数据的存储问题,到现在被越来越多企业用来处理大数据,企业已经建设好的传统数据仓库地位受到了挑战。本文为大家介绍传统数据仓库架构与Hadoop的区别,以便大家做更好地了解。

本文转自:博客园

作者:老白条

原文链接:https://www.cnblogs.com/zzjhn/p/10563148.html


一.下面一张图为传统架构和Hadoop的区别:

主要讲以下横向扩展和扩展
横向扩展:(Mpp 是hash分布,具有20节点)添加新的设备和现有的设备一起提供负载能力。Hadoop中系统扩容时,系统平台增加新节点之后,系统自动在所有节点之间均衡数据。
纵向扩展:(oracle两个节点)向上扩展,指的是替换掉已经不能满足需求的硬件设备、采购更高性能的硬件设备,从而提升系统的负载能力。
 

二.Hadoop集群:

是一种专门为存储和分析海量非结构化数据而设计的特定类型的集群。本质上,它是一种计算集群,即将数据分析的工作分配到多个集群节点上,从而并行处理数据。
优点:

1、扩展能力(横向扩展)

Hadoop技术平台各组件均基于分布式储存和运算的概念,能可靠储存和处理海量数据(PB级)。在不保证低延时的前提下,可提供高吞吐量支持海量数据的运算。对传统数据仓库扩容成本高的限制,Hadoop平台具有运算性能线性扩展的性能,同时数据自动分布,不影响原有应用运行。

2、低成本

基于分布式储存和计算的特点,Hadoop平台对集群内单个节点的配置要求不高,集群性能主要由节点数和网络吞吐率判定。因此Hadoop可大规模部署于普通服务器上,对海量低价值数据的存储拥有极高性价比。

3、数据结构多样化

支持结构化,半结构化,非结构化的数据。

4、故障容错能力

当一个数据分片发送到某个节点进行分析时,该数据在集群其它节点上会有副本。通过这种方式,即使一个节点发生故障,该节点数据的额外拷贝仍存在于集群内的其它地方,这样数据仍可以进行分析处理。


对文章版权如有异议,请添加数澜客服微信号进行申诉:shulan_shouhou

收藏此文章 点赞此文章

评论 (0)

暂无用户回复

评论此篇文章

登录后可回复
/1000