Kettle默认的性能适用于普通的一般硬件,如果自己的电脑硬件比较好(内存比较大),可以对kettle的spoon.bat中的参数进行修改,这样可以适当的提高kettle的运行性能,主要是修改-Xms、-Xmx、-XX:MaxPermSize三个参数的值:
-Xms:设置JVM初始内存 ;
-Xmx:设置JVM最大可用内存 ;
-XX:MaxPermSize:设置JVM最大允许分配内存,按需分配;
非常注意:
1、 -Xmx必须小于等于系统内存的1/4,要不然会报错,其他两个选项不大于-Xmx ;
2、当系统内存为4G时-Xmx不能大于1G,当系统内存为8G或更大时,java版本必须是64位的才能识别出来,此时-Xmx可以为2G或更高
自己配置的信息:window服务器内存8G:
-XX:MaxPermSize = -Xmx = 4096m;
-Xms = 1024m
1、通用——START:作业开始;
2、通用——作业:指定某个作业循环执行;
3、通用——转换:指定某个转换,加入到作业中来;
4、通用——设置变量:设置变量,为了转换或者作业中获取变量;
5、通用——成功:作业完成操作;
6、通用——DUMMY:空操作,什么也不执行;
7、邮件——发送邮件:给指定邮箱发送邮件,发件人的账号需要开通第三方发送邮件的功能;
8、文件管理——复制/移动结果文件:复制/移动文件;
9、文件管理——创建一个目录:创建指定的目录;
10、文件管理——删除一个文件:删除指定的一个文件;
11、文件管理——复制文件:复制指定的文件;
12、文件管理——删除目录:删除指定的目录;
13、文件管理——删除多个文件:通过正则表达式批量删除文件;
14、条件——检查数据库连接:检查数据库是否能够连接通;
15、条件——检查表是否存在:检查指定的表是否存在;
16、文件传输——SFTP下载:可以通过SSH进行远程下载文件;
17、文件传输——SFTP上传:可以通过SSH进行远程上传文件;
18、文件传输——FTP删除:可以远程删除指定的文件;
1、输入——Excel输入:从excel文件中读取数据;
2、输入——文本文件输入:从文本文件中读取数据;
3、输入——生成随机数:用来生成指定类型的随机数;
4、输入——自定义数据常量:将值不变的变量存入到此处,方便管理;
5、输入——获取系统信息:可以获取系统信息(日期、命令行参数);
6、输入——表输入:从数据库表中读取数据;
7、输出——Excle输出:注意.xls格式输出行数有限制,一般输出.xlsx最好;
8、输出——插入/更新:根据指定的匹配字段,可以检测是插入新数据,还是修改旧数据;
9、输出——文本文件输出:将结果数据输出到文本文件中去;
10、输出——表输出:将结果数据输出到某个数据库的某个表中;
11、转换——增加常量:在原数据中将常量值增加新一列;
12、转换——排序记录:对原数据按照某个字段进行排序;
13、转换——剪切字符串:对字符串进行截图;
14、转换——去重复记录:对于某个字段有重复的记录进行过滤;
15、转换——字段选择:筛选流中的字段,慎用,过滤后后面的控件将无法获取流中筛除的字段了;
16、流程——空操作:将不需要的数据放到此处,类似垃圾箱;
17、流程——过滤记录:按照条件进行过滤,类似if-else;
18、流程——Switch/Case:与java中switch/case一样;
19、脚本——java代码:执行java代码;
20、脚本——javascript代码:执行javascript代码;
21、脚本——执行SQL脚本:执行sql;
22、连接——记录集连接:类似于sql的left join/right join/inner join,但是使用前的数据必须要经过排序;
23、作业——从结果获取记录:从作业中获取数据;
24、作业——复制记录到结果:将转换中的结果数据放到作业中去;
25、作业——获取变量:从作业中获取变量;
26、作业——设置变量:设置变量,从而让作业中能够获取变量;