我试图从我的本地电脑(win7)访问一个远程cloudera HDFS集群。正如cricket_007在我 上一个问题 中建议的那样,我做了以下事情。
(1) 我创建了下一个Spark会话
val spark = SparkSession
.builder()
.appName("API")
.config("spark.sql.warehouse.dir", "/user/hive/warehouse")
.master("local")
.enableHiveSupport()
.getOrCreate()
(2) 我从集群中复制了下一个文件。
core-site.xml
hdfs-site.xml
hive-site.xml
mapred-site.xml
yarn-site.xml