相关文章推荐
任性的青蛙  ·  C# ...·  2 天前    · 
深沉的苹果  ·  使用 C# 读取 zip ...·  1 年前    · 
没读研的大葱  ·  springboot 中 ...·  1 年前    · 
老实的冲锋衣  ·  this.class.getClassLoa ...·  1 年前    · 

如何从我的电脑访问远程HDFS集群

0 人关注

我试图从我的本地电脑(win7)访问一个远程cloudera HDFS集群。正如cricket_007在我 上一个问题 中建议的那样,我做了以下事情。

(1) 我创建了下一个Spark会话

 val spark = SparkSession
.builder()
.appName("API")
.config("spark.sql.warehouse.dir", "/user/hive/warehouse")
.master("local")
.enableHiveSupport()
.getOrCreate()

(2) 我从集群中复制了下一个文件。

core-site.xml
hdfs-site.xml
hive-site.xml
mapred-site.xml
yarn-site.xml