Hadoop學習筆記總結

01. InputFormat和OutFormat

1. 整個MapReduce組件

InputFormat類和OutFormat類都是抽象類。
可以實現文件系統的讀寫，數據庫的讀寫，服務器端的讀寫。
這樣的設計，具有高內聚、低耦合的特點。

2. 提交任務時，獲取split切片信息的流程

1. JobSubmitter初始化submitterJobDir資源提交路徑，是提交到HDFS保存文件路徑，一些Jar包和配置文件：
   

2. 接下來，是JobSubmitter中將切片信息寫入submitJobDir目錄。
   int maps = writeSplits(job, submitJobDir);

3. writeSplits方法中，首先會通過反射拿到用戶設置的InputFormat子類的實例（默認為TextInputFormat類），然后調用FileInputFormat的getSplit方法（父類公共方法）再獲得切片的信息，封裝到InputSplit中，返回List

   InputFormat<?, ?> input =
     ReflectionUtils.newInstance(job.getInputFormatClass(), conf);
   List<InputSplit> splits = input.getSplits(job);

4. 最后將切片描述信息寫到submitterJobDir資源提交路徑中。

   JobSplitWriter.createSplitFiles(jobSubmitDir, conf, jobSubmitDir.getFileSystem(conf), array);

5. InputSplit包含block塊所在位置主機，路徑，偏移量等信息。分片數據不包含數據本身，而是指向數據的引用。

6. input.getSplits()方法解析
   
   由FileInputFormat類中getSplits方法決定。
   計算公式：

   //computeSplitSize中
   minSize=max{getFormatMinSplitSize(),mapred.min.split.size} （getFormatMinSplitSize()大小默認為1B）
   maxSize=mapred.max.split.size（不在配置文件中指定時大小為Long.MAX_VALUE）
   //blockSize是默認的配置大小：128MB
   
   //分片大小的計算公式
   splitSize=max{minSize,min{maxSize,blockSize}}

   默認情況下，minSize < blockSize < maxSize
   所以，默認不在配置文件配置split最大值和最小值，分片大小就是blockSize，128MB。

公式的含義：取分片大小不大于block，并且不小于在mapred.min.split.size配置中定義的最小Size。

舉例說明如何控制分片大小：

3. 為什么Hadoop不擅長小文件

邏輯上，FileInputFormat生成的分塊是一個文件或者該文件的一部分，如果是很多小文件，就生成了很多的邏輯block。默認情況下，一個分片就是一個block，因而，會有很多個map任務，每次map操作都有很多額外的開銷。

因此，運行大量小文件的任務，會增加運行作業的額外開銷；浪費NameNode內存。

解決：CombineFileInputFormat

參考《Hadoop權威指南》
初接觸，記下學習筆記，還有很多問題，望指導，謝謝。