创建Map创建一个不可变的Map,immutable不可变的,默认的Map是immutable根据键名获取map的值创建一个可变的Map,可以改变某个值使用另外一种方式定义Map元素创建一个空的HashMap访问Map的元素获取指定key对应的value,如果key不存在,会报错获取不存在的key使用contains函数检查key是否...
为了在IDEA中编写
scala
,今天安装配置
学习
了IDEA集成开发环境。IDEA确实很优秀,学会之后,用起来很顺手。关于如何搭建
scala
和IDEA开发环境,请看文末的参考资料。用
Scala
和Java实现WordCount,其中Java实现的JavaWordCount是
spark
自带的例子($
SPARK
_HOME/examples/src/main/java/org/apache/
spark
/examples/JavaWordCount.java)OS:RedHatEnterpriseLinuxServerrelease6.4(Santiago)Hadoop:Hadoop2.4.1JDK:1.
Learning
Spark
项目
注意:此代码现在使用
Spark
2.0.0及更高版本-如果您仍在使用
Spark
的早期版本,则可能需要关闭before_
spark
2.0.0分支。
该项目包含
Scala
代码片段,用于说明各种Apache
Spark
概念。 它旨在通过提供一个不涉及Unix,集群配置,从源代码构建或安装Hadoop超级简单的入口,帮助您开始
学习
Apache
Spark
(作为
Scala
程序员)。 在使用了这些示例以达到基本的熟悉度之后,其中许多活动将在您的
学习
经历的后期变得必要。
它旨在伴随博客上的许多帖子。
该项目是使用IntelliJ Idea 14 Communit
Scala
中的List分为可变List和不可变List,默认使用的List为不可变List。不可变List也可以增加元素,但实际上生成了一个新的List,原List不变。例如,创建一个Int类型的List,名为nums,代码如下:
在该List的头部追加一个元素1,生成一个新的List:
在该List的尾部追加一个元素5,生成一个新的List:
List也支持合并操作,例如,将两个List合并为一个新的List,代码如下:
输出结果如下:
此外,常用的还有二维List:
2. 可变L
Scala
是以JVM为运行环境的面向对象的函数式编程语言,它可以直接访问Java类库并且与Java框架进行交互操作。正如之前所介绍,
Spark
是用
Scala
语言编写的,Kafka server端也是,那么深入
学习
Scala
对掌握
Spark
、Kafka是必备掌握技能。
本篇文章主要介绍,在
学习
、编写
Spark
程序时,至少要掌握的
Scala
语法,多以示例说明。建议在用
Scala
编写相关功能实现时,边
学习
、边应用、边摸索以加深对
Scala
的理解和应用。
1. 变量、表达式、循环、Option、方法和函数
元组类型,即
Tuple
常在脚本语言中出现,例如
Scala
的 ("Unmi", "china@qq.com", "blahbla")。元组可认为是象数组一样的容器,它的目的是让你方便构造和引用,例如 Pair 可认为是一个只能存两个元素的元组,像是个
Map
; 真正的元组应该是可以任意多个元素的容器,绕来绕去,它还是数组,或列表,所以我们实现上还是要借助于数组或是列表。
先看
Scala
...