Hadoop学习笔记

Hadoop用于提供可信赖的弹性分布式计算，hadoop使得我们可以把计算逻辑分布到海量的机器上面去以提升计算性能并且实现高可用。Hadoop分为以下四个模块模块功能通用模块用于支撑Hadoop的工具模块Hadoop Distributed File System (HDFS)分布式的文件系统YARN用于任务调度和集群资源管理的框架MapReduce基于YARN的海量数据并行处理系统HDFS模块HDFS模块用于存储数据，它的核心思想是Google的GFS，即把数据分成块(block)存储在多个机器上，同时每个块可能还会有多个备份以保证数据的高可用。HDFS运行在多个节点之上，不同的节点可能有不同的身份。节点类型节点介绍命名节点(NameNode)命名节点用于管理其它存储节点，是“管理员”节点并且只有一个，..