Hadoop是Apache軟件基金會下一個開源分布式處理系統(tǒng)平臺，主要為用用戶提供系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。該平臺以HDFS和MapReduce為核心。HDFS是一個分布式文件系統(tǒng)，他具有高容錯性、高伸縮性、高效性等優(yōu)點(diǎn)讓用戶可以將Hadoop部署在低廉的硬件上，形成分布式系統(tǒng)。MapReduce是一個運(yùn)算程序的編程框架能將用戶編寫的業(yè)務(wù)邏輯代碼和自帶默認(rèn)組件整合成一個完整的分布式運(yùn)算程序，并發(fā)運(yùn)行在一個hadoop集群上。分布式結(jié)構(gòu)設(shè)計(jì)，下圖Hadoop 系統(tǒng)分布式存儲與并行計(jì)算結(jié)構(gòu)示意圖，Hadoop系統(tǒng)結(jié)構(gòu)主要有兩方面分別是系統(tǒng)的分布式存儲和并行計(jì)算結(jié)構(gòu)。

集群的主控節(jié)點(diǎn)負(fù)責(zé)整個集群的管理、控制，保證其正常運(yùn)行并完成節(jié)點(diǎn)中數(shù)據(jù)存儲和計(jì)算任務(wù)。在大數(shù)據(jù)環(huán)境下，為了服務(wù)和實(shí)現(xiàn)本地化計(jì)算，任何一個從節(jié)點(diǎn)都有數(shù)據(jù)存儲節(jié)點(diǎn)、數(shù)據(jù)計(jì)算節(jié)點(diǎn)的功能。以此提高系統(tǒng)的處理性能。為了能及時檢測和發(fā)現(xiàn)集群中某個從節(jié)點(diǎn)發(fā)生故障失效，主控節(jié)點(diǎn)采用心跳機(jī)制設(shè)置周期巡檢每一個從節(jié)點(diǎn)，如果節(jié)點(diǎn)不能及時反饋信息，系統(tǒng)將會判定這個節(jié)點(diǎn)失效。

從軟件系統(tǒng)角度看，分布式存儲、并行計(jì)算是Hadoop系統(tǒng)的兩個部分，分布式存儲中Hadoop 系統(tǒng)提供一個大規(guī)?？蓴U(kuò)展的分布式數(shù)據(jù)存儲功能，是在本地文件系統(tǒng)的每個從節(jié)點(diǎn)基礎(chǔ)上，實(shí)現(xiàn)一個邏輯上整體化的分布式文件系統(tǒng)HDFS，負(fù)責(zé)控制和管理整個分布式文件系統(tǒng)的主控節(jié)點(diǎn)稱為NameNode，而每個具體負(fù)責(zé)數(shù)據(jù)存儲的從節(jié)點(diǎn)稱為 DataNode。

MapReduce并行計(jì)算框架，是Hadoop為了對存儲在HDFS中大規(guī)模數(shù)據(jù)進(jìn)行一定的規(guī)則下的處理。該框架能有效管理和調(diào)度整個集群中的節(jié)點(diǎn)來完成并行化程序的執(zhí)行和數(shù)據(jù)處理，并能讓每個從節(jié)點(diǎn)盡可能對本地節(jié)點(diǎn)上的數(shù)據(jù)進(jìn)行本地化計(jì)算，其中，負(fù)責(zé)管理和調(diào)度整個集群進(jìn)行計(jì)算的主控節(jié)點(diǎn)稱為 JobTracker，而每個負(fù)責(zé)具體的數(shù)據(jù)計(jì)算的從節(jié)點(diǎn)稱為TaskTracker。

JobTracker可以與負(fù)責(zé)管理數(shù)據(jù)存儲的主控節(jié)點(diǎn)NameNode 設(shè)置在物理的主控服務(wù)器上，也可以設(shè)置在其他服務(wù)器上，如果遇到規(guī)模大、負(fù)載過重的情況下最好是分開設(shè)置。但數(shù)據(jù)存儲節(jié)點(diǎn) DataNode 與計(jì)算節(jié)點(diǎn) TaskTracker 會配對地設(shè)置在同一個物理的從節(jié)點(diǎn)服務(wù)器上。Hadoop 系統(tǒng)中的其他子系統(tǒng)，例如 HBase，將建立在 HDFS 分布式文件系統(tǒng)和 MapReduce 并行化計(jì)算框架之上。

梯度科技基于開源Hadoop自研了TDHadoop，解決開源引擎版本不兼容的問題，支持主流數(shù)據(jù)源，具有良好的可擴(kuò)展性和適配性。能夠?qū)Υ髷?shù)據(jù)生態(tài)組件進(jìn)行統(tǒng)一管理及封裝，產(chǎn)品本身是松耦合設(shè)計(jì)，支持集成其他業(yè)界主流組件環(huán)境，比如CDH、星環(huán)等。