能否改變Map的數量
原因:
Map的數量由split size與要處理的檔案大小決定,而split size則由 mapreduce.input.fileinputformat.split.maxsize, mapreduce.input.fileinputformat.split.minsize, 與dfs.blocksize三個參數影響。
split size = max(mapreduce.input.fileinputformat.split.minsize, min(mapreduce.input.fileinputformat.split.maxsize, dfs.blocksize))
解決方法:
在MapReduce程式內的Configuration裡設定最大與最小split size.
參考資料:
http://stackoverflow.com/questions/9678180/change-file-split-size-in-hadoop http://blog.sae.sina.com.cn/archives/1036 http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2162011.html