發生 Split Exceed Size

現象：

執行MapReduce時，出現split size exceed時，該如何解決?

Job init failed : org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.io.IOException: Split metadata size exceeded 10000000. Aborting job job_1466486518589_0219

原因：

每個MapReduce Job預設最大只能有10000000個Split，可透過修改mapreduce.jobtracker.split.metainfo.maxsize參數來改變

解決方法：

• 若 MapReduce Job有實作RunTool interface, 直接在命令列加上 -D mapreduce.jobtracker.split.metainfo.maxsize=-1
• 若沒有實作RunTool interface，在Configuration裡直接新增mapreduce.jobtracker.split.metainfo.maxsize=-1屬性