用Scala将指定格式的数据写入到文件

相关文章推荐

兴奋的草稿纸 · 如何从spark scala ...· 2 天前 ·

仗义的苹果 · scala怎么取出dataframe中某一列 ...· 2 天前 ·

可爱的蟠桃 · 厦大青年报总第221期-共青团厦门大学委员会· 2 月前 ·

无邪的芹菜 · 三人内幕交易深南电A遭罚 ...· 3 月前 ·

高大的电脑桌 · 德宏瑞丽电费收费标准-电费多少钱-充电桩电价 ...· 4 月前 ·

八块腹肌的眼镜 · 如何让女生感受到“你的爱”？这事很讲究技巧， ...· 1 年前 ·

爽快的手链 · -Auto Thinker汽车智库平台· 1 年前 ·

import java.io.{File,PrintWriter}

import java.text.SimpleDateFormat

import java.util.{Calendar, Date}

//import scala.io.Source

object FileOps {

def main(args: Array[String]): Unit = {

//文件读取

// val file = Source.fromFile("D:\\software\\data\\scalaIO.txt")

// file.foreach(print)

// file.close()getTracffic()

* 文件格式：

* domain tracffic time

* www.ruozedata.com 64447 [2018-07-17 07:39:57]

* www.ruozedata.com 13781 [2018-07-11 06:52:41]

//文件写入

//加载文件D:\software\data\ScalaWriter.txt 如果没有会创建

val writer = new PrintWriter(new File("D:\\software\\data\\ScalaWriter.txt"))

writer.flush(); //清空文件内容

//输入标题字段：domain tracffic time

//writer.println("domain\ttracffic\ttime")

//定义网址的数组

val arr = Array("www.ruozedata.com","www.zhibo8.com","www.dongqiudi.com")

//定义26个字母的数组用于随机写入tracffic字段的值（非数字）

val arr2 = Array("a","b","c","d","e","f","g","h","i","j","k","l","m","n","o","p","q","r","s","t","u","v","w","x","y","z")

//定义一个数字的集合

val arr3 = (10000 to 99999).toArray

//用于接收tracffic值的变量

var ele = ""

for(i <- 1 until 100000){

//如果 i为偶数就设置ele的值为数字，否则设置为字母

ele = if (i%10==0) arr2((new util.Random).nextInt(26)) else arr3((new util.Random).nextInt(arr3.length)).toString()

//将内容写入到文件里面

writer.println(arr((new util.Random).nextInt(3))+"\t"+ele+"\t"+(getNowDate()))

//关闭写入流

writer.close()

//获取动态时间的方法，格式：yyyy-MM-dd HH:mm:ss

def getNowDate(): String = {

// 动态获取日

var days = (new util.Random).nextInt(getNowMonthEnd()).toString() ;

// 动态获取小时

var hours = (new util.Random).nextInt(23).toString() ;

// 动态获取分钟

var minutes = (new util.Random).nextInt(59).toString() ;

// 动态获取秒

var seconds = (new util.Random).nextInt(59).toString() ;

//判断1-9的日需要在前面添加0

if (days == "0"){ // 如果获取的日为0，则需要手动处理成其他日，我这里处理成01

days = "01"

}else{

if ((days.length()) == 1) {

days = "0"+days

//判断1-9的日需要在前面添加0

hours = if (hours.length() == 1) "0"+hours else hours

//判断1-9的日需要在前面添加0

minutes = if (minutes.length() == 1) "0"+minutes else minutes

//判断1-9的日需要在前面添加0

seconds = if (seconds.length() == 1) "0"+seconds else seconds

//获取当前日期

val now: Date = new Date()

val dateFormat: SimpleDateFormat = new SimpleDateFormat("yyyy-MM")

//格式化当前日期格式：yyyy-MM

val date = dateFormat.format(now)

//返回动态日期格式：[yyyy-MM-dd HH:mm:ss]

return "["+date+"-"+days+" "+hours+":"+minutes+":"+seconds+"]"

//获取当前月的最后一天的方法

def getNowMonthEnd():Int={

var period:String=""

var cal:Calendar =Calendar.getInstance();

var df:SimpleDateFormat = new SimpleDateFormat("dd");

cal.set(Calendar.DATE, 1)

cal.roll(Calendar.DATE,-1)

period=df.format(cal.getTime())//本月最后一天

Integer.parseInt(period)

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29609890/viewspace-2168576/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29609890/viewspace-2168576/

今天在Windows上跑 Scala 词频统计的时候，发现RDD 文件并不能直接保存到本地的 txt 文件中，如果使用saveAsTextFile方法的话，会将RDD 数据以文件夹且数据不能直接使用但是使用其他的方法又比较麻烦，对新手很不友好，这里教大家一个小方法将RDD 数据使用toArray()转为数组即可遍历写入本地文件了，如果有更好的方法，私信笔者，毕竟该方法 Scala 官方已经不推荐使用了。代码如下： package day01 import java .io.PrintWriter import java

文章目录读取文件数据按行读取按字符读取写入数据读取文件数据在 Scala 语言的 Source单例对象中中, 提供了一些非常便捷的方法, 从而使开发者可以快速的从指定数据源(文本文件, URL地址等)中获取数据 , 在使用 Source单例对象之前, 需要先导包, 即 import scala .io.Source . 我们可以以行为单位, 来读取数据源中的数据 , 返回值是一个迭代器类型的对象 . 然后通过 toArray, toList 方法, 将这些数据放到数组或者列表中即可.

一、使用DataFrame.saveAsHadoopDataset(conn)方法。特点：适合做批量的写入。优点为批量写入方便快捷。缺点对于数据量大的DF 写入速度太慢。 val conn = new JobConf(HBaseConfigurationcreate())//设置HBase连接 conn.set(,) conn.set(,)//设置Host和Port conn.set(TableO...

scala > a.select(a.col("id"),a.col("username"),a.col("birthday").cast("string").as("bir")).show 2 遍历DF的所有列依次修改，适用于修改成统一的类型

val writer = new PrintWriter(new File("data/test. txt " )) userdata //spark rdd .map(s=>s.toString) .collect .foreach{s=> writer.write(s+"\n") writer.close()

object jsonTest { case class Person(id:Int,name:String,age:Int) def main(args: Array[String]): Unit = {

scala 中的list是一个不可变的列表,有时候我们想直接添加对象不太方便,这个时候可以先转成 java 的List添加完再转回去. LIst支持在头部快速添加和移除条目，但是不提供快速按下标访问的功能，这个功能需要线性遍历列。快速的头部添加和移除意味着模式匹配很顺畅 List列表跟数组非常像，2者都是同构的，同一个列表的所有元素必须是相同类型。如果我们想要往一个list里面存一个obje...

def main(args: Array[String]): Unit = { //1.从文件中读取数据 Source.fromFile("src/main/resources/test. txt ").foreach(print) //2。将数据写入文件 java 中的 val writer = new Print