spark hdfs get file size

在Spark中获取HDFS上文件的大小，可以使用Hadoop的FileSystem API来实现。具体步骤如下：

val sc = new SparkContext(new SparkConf().setAppName("HDFSFileSize"))
使用FileSystem API获取HDFS上的文件大小：
import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.Path
val path = new Path("/path/to/file")
val fs = FileSystem.get(sc.hadoopConfiguration)
val fileSize = fs.getFileStatus(path).getLen()
其中，/path/to/file是你要获取大小的HDFS文件路径，fileSize是文件的大小（以字节为单位）。
这个方法返回的是Long类型，表示文件的大小，如果需要转换成MB或GB等其他单位，可以自行进行单位换算。
需要注意的是，在使用FileSystem API时，需要保证你的Spark集群和HDFS集群在同一网络中，或者使用相同的认证机制。如果两者不在同一网络中，或者使用不同的认证机制，你可能需要进行额外的配置。
希望这个回答能够帮助你解决问题。