工作流 工作流产生背景 工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的 自动化 ”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是：为了实现某个业务目标，利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。 一个完整的数据分析系统通常都是由多个前后依赖的模块组合构成的：数…

Apache Oozie Oozie概述 Oozie 是一个用来管理Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG（有向无环图）调度一系列的Map/Reduce或者Hive等任务。Oozie 工作流由hPDL…

Apache Kudu介绍 背景介绍 在KUDU之前，大数据主要以两种方式存储； （1）静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。 这类存储的局限性是数据无法进行随机的读写。 （2）动态数据： 以 HBase、Cassandra 作为存储引擎，适用于大数据随机读写场景。 局限性是批量读取吞吐量远不如 HDFS，…

HDP 环境安装配置 HDP : Hortonworks Data Platform CDH : Cloudera Distribution Hadoop 部署安装主要分为3大部分 准备环境、配置机器、准备离线包、本地仓库、数据库等 安装Ambari Server 阶段 基于Ambari Server UI 来安装相关服务组件阶段 HDP集群的安装…

大数据5V特征 volume。数据体量大。 采集数据量大。 存储数据量大。 计算数据量大。 TB、PB级别起步。 variety。种类、来源多样化。 种类：结构化、半结构化、非结构化。 来源：日志文本、图片、音频、视频。 value。低价值密度。 信息海量但是价值密度低。 深度复杂的挖掘分析需要机器学习参与。 velocity。速度快。 数据增长速…