大数据平台BigData

提供主流的大数据平台服务,按需分配资源,弹性扩展

简介

提供主流的大数据平台服务,目前包括:Spark、hadoop。

特点

快速创建

分钟级启用集群

安全保障

运行在于私有网络,二层隔离

快速伸缩

支持横向、纵向伸缩,可快速扩展集群处理能力,满足业务弹性部署

功能

  •   ● 支持Hadoop/Spark/Spark on Yarn;
  •   ● 支持分钟级创建数据集群;
  •   ● 支持集群在线扩容/缩减;
  •   ● 节点配置灵活可选;
  •   ● 支持集群运行状态监控及告警;
  •   ● 节点故障自动恢复;
  •   ● 支持API/控制台操作;
  •   ● 支持PB级别数据处理能力;
  •   ● 支持结构化/非结构化数据处理;
  •   ● 支持Hive、Pig、HBase、Hue等服务组件;
  •   ● 支持 Java、.NET、PHP、C++ 等开发环境;
  •   ● 开放节点根Root权限,可自定义软件安装;

Hadoop介绍

Hadoop平台提供了海量数据的分布式存储与处理的框架。基于服务器本地的计算与存储资源, Hadoop集群可以扩展到上千台服务器。同时,Hadoop在设计时充分考虑了硬件设备的不可靠因素,在软件层面提供数据和计算的高可靠保证。

Spark 介绍

Spark是一个快速且通用的集群计算平台。

  •       ● 速度快:内存计算速度是hadoop的100倍,磁盘计算则是10倍;
  •       ● 简单易用:可以使用Scala、Java或者python快速开发;
  •       ● 通用性高:集合了Streaming、SQL以及高级数据处理等功能;
  •       ● 完美支持Hadoop;

Spark on YARN介绍

Spark 运行在Yarn资源管理框架上,由Yarn负责资源管理,Spark负责任务调度和计算。