2019/04/18 18:32:53 - 20190418 - Dispatching started for transformation [20190418]
2019/04/18 18:32:53 - 生成记录.0 - Finished processing (I=0, O=0, R=0, W=1, U=0, E=0)
2019/04/18 18:33:04 - Web服务查询.0 - ERROR (version 8.0.0.0-28, build 8.0.0.0-28 from 2017-11-05 07.27.50 by buildguy) : Unexpected error
2019/04/18 18:33:04 - Web服务查询.0 - ERROR (version 8.0.0.0-28, build 8.0.0.0-28 from 2017-11-05 07.27.50 by buildguy) : java.lang.IllegalArgumentException: Entity may not be null
2019/04/18 18:33:04 - Web服务查询.0 - at org.apache.http.util.Args.notNull(Args.java:54)
2019/04/18 18:33:04 - Web服务查询.0 - at org.apache.http.util.EntityUtils.toString(EntityUtils.java:252)
2019/04/18 18:33:04 - Web服务查询.0 - at org.apache.http.util.EntityUtils.toString(EntityUtils.java:288)
2019/04/18 18:33:04 - Web服务查询.0 - at org.pentaho.di.trans.steps.webservices.WebService.requestSOAP(WebService.java:401)
2019/04/18 18:33:04 - Web服务查询.0 - at org.pentaho.di.trans.steps.webservices.WebService.processRow(WebService.java:197)
2019/04/18 18:33:04 - Web服务查询.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2019/04/18 18:33:04 - Web服务查询.0 - at java.lang.Thread.run(Thread.java:748)
2019/04/18 18:33:04 - Web服务查询.0 - Finished processing (I=0, O=0, R=1, W=0, U=0, E=1)
2019/04/18 18:33:04 - 20190418 - Transformation detected one or more steps with errors.
2019/04/18 18:33:04 - 20190418 - Transformation is killing the other steps!
2019/04/18 18:33:05 - 20190418 - ERROR (version 8.0.0.0-28, build 8.0.0.0-28 from 2017-11-05 07.27.50 by buildguy) : Errors detected!
2019/04/18 18:33:05 - 20190418 - ERROR (version 8.0.0.0-28, build 8.0.0.0-28 from 2017-11-05 07.27.50 by buildguy) : Errors detected!
2019/04/18 18:33:05 - 20190418 - ERROR (version 8.0.0.0-28, build 8.0.0.0-28 from 2017-11-05 07.27.50 by buildguy) : Errors detected!
参考Webservice接口数据抽取_kettel发送HTTP POST请求,获取返回内容。发送HTTP GET请求,获取返回内容,可以从前面获取URL、参数名、参数值通过Restful获取数据通过webService获取数据查询 HTTP/WebService点击“load”能加载出方法kettle的组件--生成记录文本文件输出...
kettle
本身提供web服务查询组件可以调用
webservice
,但是对多版本
webservice
的支持不太理想
由于
webservice
本身就是 http+xml 实现的,所以猜想可以通过http + xml 报文实现
1.soapUi调用
webservice
接口
,测试
接口
,复制调用报文
2.新建etl转换,生成记录,配置 http头信息,和
webservice
报文内容(报文格式 和 报文内容)
3.配置http请求
工作中遇到要和第三方公司对接数据的需求,而第三方用的
接口
是非常古老的
webservice
接口
.客户要求用我们做一个
webservice
程序来处理,思考后选择用
kettle
+ java版的
webservice
程序处理
思路:可以分为3步
获取到
webservice
返回来的xml字符串
格式化xml字符串,使得成为
kettle
可以处理的xml字符串
kettle
调用xml组件,把相关数据插入到数据库
作为客户端主动调用
webservice
服务
获取到
webservice
返回来的xml字符串
格式化xm
1.1 部门业务系统调用以下形式Web Service
接口
,将数据推送到数据云。通过
接口
,可以实现数据记录的新增、修改、删除。
原型
接口
:
public string pushXml(string guid, string catalogid , string xmlstr);
参数说明:
guid是用户身份验证
接口
返回的验证字符串
catalogid是提供的目录标识
xm...
背景说明:需要定时同步别的业务系统基于
webservice
发布的数据(主表、附表)
问题缘由:service提供方,主表支持批量查询,一次可以查询100条,但是附表只能根据主表的主键一条一条的查询。因此我如果要获取所有的附表内容就要循环访问服务(约1万多次)因此会出现Java:java.lang.OutOfMemoryError: GC overhead limit exceeded
5.运行转换或作业,即可调用Web服务
接口
并获取返回结果。
需要注意的是,
Kettle
中的“SOAP客户端”步骤只支持SOAP 1.1协议,不支持SOAP 1.2协议。如果需要调用SOAP 1.2协议的Web服务
接口
,可以使用
Kettle
的“HTTP客户端”步骤,并手动构造SOAP消息。
### 回答2:
Kettle
是一款可以实现ETL(Extract-Transform-Load)数据集成处理的开源BI工具。在实际应用中,我们常常需要将
Kettle
与其他系统进行集成,比如调用外部Web服务。本文将介绍如何在
Kettle
中调用Web服务。
首先需要明确,Web服务就是通过HTTP协议提供的一种跨平台、跨语言的
接口
。我们可以使用
Kettle
的HTTP Client步骤来调用Web服务。
具体步骤如下:
1. 添加HTTP Client 步骤
在
Kettle
中,打开Transformation,将HTTP Client步骤拖入工作区域。双击打开HTTP Client步骤的属性设置窗口。
2. 设置HTTP Client属性
在HTTP Client属性窗口中,需要设置三个主要参数:
(1) URL:Web服务的URL地址;
(2) Method:调用Web服务的请求方法,通常有GET、POST等;
(3) Request:发送请求时需要上传的参数,可以是JSON、XML等格式。
此外,还需要设置HTTP头部信息和超时时间等参数。这些参数的设置需要根据具体的Web服务
接口
文档进行调整。
3. 解析Web服务返回结果
在HTTP Client步骤中,我们可以选择将Web服务返回的数据保存到文件、数据库等不同的目标,也可以选择将返回结果解析成
Kettle
中的字段,方便后续数据处理。
具体设置需要在HTTP Client的“Fields”选项卡中进行,根据Web服务返回的数据格式进行字段定义。
以上就是在
Kettle
中调用Web服务的具体步骤,通过HTTP Client步骤,我们可以轻松地调用外部Web服务,实现数据集成与处理的自动化。当然,在实际应用中,我们还需要注意Web服务的安全性、稳定性等问题,保证数据的可靠性与完整性。
### 回答3:
Kettle
是一款非常实用的数据抽取和转换工具,也可以通过插件来支持
Webservice
的调用。
Webservice
是一种基于网络的远程调用服务,它可以通过HTTP或其他协议传输数据。
在
Kettle
中调用
Webservice
需要使用SOAP客户端插件或者HTTP客户端插件。使用SOAP客户端插件可以直接创建SOAP请求消息,而HTTP客户端插件则需要手动创建HTTP请求消息。
在使用SOAP客户端插件时,需要先在步骤中创建SOAP请求消息,这里需要填写
Webservice
接口
的地址、方法、参数列表等信息。然后在转换中使用“HTTP请求”步骤,将SOAP请求消息发送给
Webservice
,并接收
Webservice
的响应消息。在接收到响应消息后,可以使用“转换XML”步骤将响应消息转换为
Kettle
中的数据格式进行后续处理。
若使用HTTP客户端插件,则需要手动创建HTTP请求消息,包括请求方法、请求地址、请求头、请求体等信息。请求消息发送后,同样需要使用“HTTP请求”步骤来接收
Webservice
的响应消息,并通过“转换XML”步骤将响应消息转换为
Kettle
中的数据格式。
总之,通过以上的步骤,我们可以在
Kettle
中轻松实现对
Webservice
接口
的调用,并获取相应的数据。