Spark on ECI大数据分析

 阿里云安全     |      2020-07-14 00:00:00

云栖号最佳实践:【点击查看更多上云最佳实践
这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!

场景描述

Spark作为快速、通用的大规模数据处理平台,更多关注Spark Application的管理,底层实际资源调度和管理更多的是依靠外部平台的支持例如Mesos、YARN、Kubernetes等。借助阿里云的容器服务Kubernetes版(ACK)、弹性容器组实例(ECI)、文件存储HDFS或者对象存储OSS提供灵活弹性计算资源弹性可扩展、计算与存储分离架构、成本可控的Spark on ECI解决方案实践。

解决问题

  • 计算资源弹性能力不足,计算资源成本管控能力欠缺
  • 集群资源调度能力和隔离能力不足
  • 计算与存储无法分离,大数据量分析时出现数据存储资源瓶颈
  • Spark submit方式提交分析作业参数支持有限等缺点

产品列表

  • 容器服务Kubernetes版(ACK)
  • 弹性容器实例(ECI)
  • 文件存储HDFS
  • 对象存储OSS
  • 专有网络VPC
  • 容器镜像服务ACR

image

直达最佳实践 》》

160@Spark on ECI大数据分析.png.png