Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo！DougCutting根据Google发布的学术论文研究而来、用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序、低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地、因此，各种基于Hadoop的工具应运而生，本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景、
  1、ApacheMesos：ApacheSVNMesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark等、Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用LinuxContainers来隔离任务，支持多种资源计划分配（内存和CPU）、提供Java、Python和C++APIs来开发新的并行应用程序，提供基于Web的用户界面来提查看集群状态、
  2、HadoopYARN：ApacheSVNYARN又被称为MapReduce2、0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供Java虚拟机内存的隔离、对比MapReduce1、x，YARN架构在客户端上并未做太大的改变，在调用API及接口上还保持大部分的兼容，然而在YARN中，开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker、其中ResourceManager是一个中心的服务，负责调度、启动每一个Job所属的ApplicationMaster，另外还监控ApplicationMaster的存在情况；NodeManager负责Container状态的维护，并向RM保持心跳、ApplicationMaster负责一个Job生命周期内的所有工作，类似老的框架中JobTracker、Hadoop上的实时解决方案前面我们有说过，在互联网公司中基于业务逻辑需求，企业往往会采用多种计算框架，比如从事搜索业务的公司：网页索引建立用MapReduce，自然语言处理用Spark等、本节为大家分享的则是Storm、Impala、Spark三个框架：
  3、ClouderaImpala：GitHubImpala是由Cloudera开发，一个开源的MassivelyParallelProcessing（MPP）查询引擎、与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口（HueBeeswax），可以直接在HDFS或HBase上提供快速、交互式SQL查询、Impala是在Dremel的启发下开发的，第一个版本发布于2012年末、Impala不再使用缓慢的Hive+MapReduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎（由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成），可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟、
  4、Spark：ApacheSpark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上、Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用、Spark采用Scala语言实现，使用Scala作为应用框架、Spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询、与Hadoop不同的是，Spark和Scala紧密集成，Scala像管理本地collective对象那样管理分布式数据集、Spark支持分布式数据集上的迭代式任务，实际上可以在Hadoop文件系统上与Hadoop一起运行（通过YARN、Mesos等实现）、
  5、Storm：GitHubStorm是一个分布式的、容错的实时计算系统，由BackType开发，后被Twitter捕获、Storm属于流处理平台，多用于实时计算并更新数据库、Storm也可被用于“连续计算”（continuouscomputation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户、它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算、Hadoop上的其它解决方案就像前文说，基于业务对实时的需求，各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具、而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari、
  6、Shark：GitHubShark，代表了“HiveonSpark”，一个专为Spark打造的大规模数据仓库系统，兼容ApacheHive、无需修改现有的数据或者查询，就可以用100倍的速度执行HiveQL、Shark支持Hive查询语言、元存储、序列化格式及自定义函数，与现有Hive部署无缝集成，是一个更快、更强大的替代方案、
  7、Phoenix：GitHubPhoenix是构建在ApacheHBase之上的一个SQL中间层，完全使用Java编写，提供了一个客户端可嵌入的JDBC驱动、Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集、直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒、Phoenix完全托管在GitHub之上、Phoenix值得关注的特性包括：1，嵌入式的JDBC驱动，实现了大部分的java、sql接口，包括元数据API；2，可以通过多个行键或是键/值单元对列进行建模；3，DDL支持；4，版本化的模式仓库；5，DML支持；5，通过客户端的批处理实现的有限的事务支持；6，紧跟ANSISQL标准、