hadoop三大組件

Hadoop的三大組件分別是：分布式存儲系統 HDFS，提供了高可靠性、高擴展性和高吞吐率的數據存儲服務；分布式計算框架 MapReduce，具有易于編程、高容錯性和高擴展性等優點；分布式資源管理框架 YARN，負責集群資源的管理和調度。

hadoop三大組件

1、分布式存儲系統 HDFS（Hadoop Distributed File System）。

提供了高可靠性、高擴展性和高吞吐率的數據存儲服務。

一個高可靠、高吞吐量的分布式文件系統，存儲海量數據、分布式、安全性、副本數據、數據是以block的方式進行存儲的，128M。

比如：200M—128M 72M。

2、分布式計算框架 MapReduce。

具有易于編程、高容錯性和高擴展性等優點。

一個分布式的離線并行計算框架、對海量數據的處理、分布式。

思想：分而治之、大數據集分為小的數據集。每個數據集進行邏輯業務處理（map），合并統計數據結果（reduce）。

3、分布式資源管理框架 YARN（Yet Another Resource Management）。

負責集群資源的管理和調度。

分布式資源管理框架，管理整個集群的資源（內存、CPU核數），分配調度集群的資源。