能否改變Map的數量

原因:

Map的數量由split size與要處理的檔案大小決定,而split size則由 mapreduce.input.fileinputformat.split.maxsize, mapreduce.input.fileinputformat.split.minsize, 與dfs.blocksize三個參數影響。

split size = max(mapreduce.input.fileinputformat.split.minsize, min(mapreduce.input.fileinputformat.split.maxsize, dfs.blocksize))

解決方法:

在MapReduce程式內的Configuration裡設定最大與最小split size.

參考資料:

http://stackoverflow.com/questions/9678180/change-file-split-size-in-hadoop http://blog.sae.sina.com.cn/archives/1036 http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2162011.html

results matching ""

    No results matching ""