E-MapReduce弹性低成本离线大数据分析-阿里云开发者社区

 知识中心     |      2020-04-02 00:00:00

作者:明誉


大数据是一项涉及不同业务和技术领域的技术和工具的集合,海量离线数据分析可以应用于多种商业系统环境,例如,电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。

离线大数据分析概述

主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm:

  • Hadoop可以运用在很多商业应用系统,可以轻松集成结构化、半结构化以及非结构化数据集。
  • Spark采用了内存计算,允许数据载入内存作反复查询,融合数据仓库、流处理和图形计算等多种计算范式,能够与Hadoop很好地结合。
  • Storm适用于处理高速、大型数据流的分布式实时计算,为Hadoop添加可靠的实时数据处理能力。

海量离线数据分析可以应用于多种场景,例如:

  • 商业系统环境:电商海量日志分析、用户行为画像分析。
  • 科研行业:海量离线计算分析和数据查询。
  • 游戏行业:游戏日志分析、用户行为分析。
  • 商业用户:数据仓库解决方案的BI分析、多维分析报表。
  • 大型企业:海量IT运维日志分析。

架构图

image.png

方案优势

  • 高性能、低成本
  • 快速部署
  • 弹性
  • 多种计算模式
  • 无缝对接开源生态
  • 一站式管理平台

方案详情

详情请参见E-MapReduce弹性低成本离线大数据分析最佳实践


对开源大数据感兴趣的同学可以加小编微信(图一二维码,备注进群)进入技术交流微信2群。也可钉钉扫码加入社区的钉钉群

image.png

阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区,定期推送精彩案例,技术专家直播,问答区数个Spark技术同学每日在线答疑,只为营造纯粹的Spark氛围,欢迎钉钉扫码加入!
image.png

Apache Spark技术交流社区公众号,微信扫一扫关注

image.png