執行spark-shell或spark-submit時，出現Address already in use: Service 'SparkUI' failed after 16 retries!

現象：

執行Spark-shell或spark-submit時，出現'SparkUI' failed after 16 retries時，該如何解決?

原因：

每一個Spark application都會佔用一個SparkUI port，預設為4040，若被佔用則依序遞增重試，且預設重試次數為16次，16次都失敗後就放棄該application。

解決方法：

調高spark.port.maxRetries值可在初始化sparkcontext時，

conf.set(“spark.port.maxRetries”,“100”)

或是於CLI啟動spark-shell / spark-submit時

$ spark-shell -Dspark.port.maxRetries=100
$ spark-submit -Dspark.port.maxRetries=100

參考資料：

http://blog.csdn.net/a921122/article/details/45095845