分布式和集群的区别，hadoop三代架构图（重点！！！！！）

1.分布式和集群介绍

• 分布式: 多台机器做不同的事情, 然后组成1个整体.

• 集群: 多台机器做相同的事情.

  多台机器既可以组成 中心化模式(主从模式), 也可以组成 去中心化模式(主备模式)

  可以参考下面这张例图，更加简单明了。

  2.Hadoop框架国内外应用

  • 国外

    • Yahoo雅虎, 节点4.2W+, 超10W核, 总存储350PB+, 每月提交作业 1000W+

  • 国内

    • 阿里巴巴, 节点3000+, 超4W核心, 内存超100TB, 每月提交作业 450W+

  • Hadoop的组成

    • HDFS: 分布式存储框架

    • MapReduce: 分布式计算框架

    • Yarn: 任务接收和调度器

    3. Hadoop的架构图（重点）看懂这三张图就完全懂了

    • Hadoop1.X = HDFS + MapReduce

    • Hadoop2.X, 3.X = HDFS + MapReduce + Yarn

    • Hadoop集群高可用模式图解

      4.Hadoop集群环境初体验

      • 搭建方式

        • 方式1: Standalone mode 单机模式（几乎没人这么干）

          把所有的服务(namenode, SecondaryNameNode, datanode, ResourceManager, nodemanager)装到1台机器, 适用于: 学习, 调试.

        • 方式2: Cluster mode 集群模式

          node1: namenode, datanode, ResourceManager, nodemanager

          node2: SecondaryNameNode, datanode, nodemanager

          node3: datanode nodemanager