在Spark中把IP地址设为spark.driver.host而不是hostname?

1 人关注

我在声明spark.driver.host设置时遇到一个问题。 假设我有一个带有HOSTNAME和绑定地址的主机 192.168.1.1 (这是linux,windows完全没有这个问题)。

如果我设置一个属性 spark.driver.hostname = 192.168.1.1 ,工人就会响应HOSTNAME,这真的很糟糕,因为他们没有这个主机名的DNS。

这个故障排除页面 说。

如果SPARK_LOCAL_IP被设置为一个IP地址,它将被解析为一个主机名。

而这里有一个问题:如何 NOT 将这个IP地址设置为主机名?

linux
networking
apache-spark
Dawid Pura
Dawid Pura
发布于 2015-04-08
2 个回答
tangtang
tangtang
发布于 2015-04-08
已采纳
0 人赞同

你可以在你的spark环境中设置SPARK_LOCAL_HOSTNAME=ip地址来解决这个问题。

Rafal Glowacki
Rafal Glowacki
发布于 2015-04-08
0 人赞同

hostname -f给出你的FQDN 将其添加到/etc/hosts文件中,作为