2.3.4 属性提取类处理器单元
EvaluateJsonPath
EvaluateJsonPath处理器单元根据用户定义的JSONpath表达式对FlowFile的JSON内容进行解析,将这些表达式所解析出来的内容替换FlowFile的内容或者将其更新到FlowFile的属性中,以便于后续的单元处理器的引用。
上面的图中表示Processor将输入内容为JSON格式的FlowFile例如{“name”:”zhangsan”,”phone”:”13734564321”},将其中的phone解析出来后输出到FlowFile的内容中。
EvaluateXPath
EvaluateXPath处理器单元功能近似于EvaluateJsonPath,根据用户提供的XPath表达式,将FlowFile的XML内容用表达式进行解析,将解析的结果替换如FlowFile的正文或者更新FlowFile的属性。
上面的图中表示Processor对输入内容为XML格式的FlowFile利用配置XPath表达式进行解析,并将结果输出到FlowFile的内容中。
EvaluateXQuery
EvaluateXQuery处理器单元根据用户定义的XQuery,将FlowFile的XML正文与表达式进行进行虬枝,将提取的结果替换FlowFile的正文或者更新FlowFile的属性。
上面的图中表示Processor对输入内容为XML格式的FlowFile利用配置的XQuery表达式进行解析,并将结果以XML格式输入到FlowFile的内容中。
HashAttribute
HashAttribute处理器单元对用户选择的已有属性列表的值拼接后的字符串进行Hash计算。
上面的图中表示Processor对输入的FlowFile中value属性值进行hash计算,并将结果输出到FlowFile的value属性中。
HashContent
HashContent处理器单元对FlowFile的内容进行Hash,并将Hash值添加到FlowFile的属性中。
上面的图中表示Processor对输入的FlowFile中的内容进行hash计算,并将结果输出到FlowFile的hash.value属性中。
IdentifyMimeType
IdentifyMimeType处理器单元对FlowFile的内容格式进行判定。此处理器能够检测许多不同的MIME类型,例如它能够判定出FlowFile的内容是图片,文本和压缩文件等格式。
UpdateAttribute
UpdateAttribute处理器单元可以对FlowFile添加任意的用户定义的属性。这将有利于对FlowFile添加静态的属性,也可以根据NiFi表达式语言来动态的添加属性。
上面的图中表示Processor对输入的FlowFile中属性进行修改,添加一个键值为value值为helloworld的属性。
2.3.4 属性提取类处理器单元EvaluateJsonPathEvaluateJsonPath处理器单元根据用户定义的JSONpath表达式对FlowFile的JSON内容进行解析,将这些表达式所解析出来的内容替换FlowFile的内容或者将其更新到FlowFile的属性中,以便于后续的单元处理器的引用。上面的图中表示Processor将输入内容为JSON格式的FlowFile例如{“name”...
该
处理器
使用给定算法计算每个指定属性的哈希值,并将其写入到输出属性。请参考https://csrc.nist.gov/Projects/Hash-Functions/NIST-Policy-on-Hash-Functions来决定使用哪种算法。
属性配置:
在下面的列表
中
,必需属性的名称以粗体显示。任何其他属性(不是粗体)都被认为是可选的,并且指出属性默认值(...
本指南使用于谁?
本指南适用于从未使用过,在
NiFi
中
有限度接触或仅完成特定任务的用户。本指南不是详尽的说明手册或参考指南。“用户指南”提供了大量信息,旨在提供更加详尽的资源,并且作为参考指南非常有用。相比之下,本指南旨在为用户提供所需的信息,以便了解如何使用
NiFi
,以便快速轻松地构建强大而灵活的数据流。
一些因为本指南
中
的某些信息仅适用于初次使用的用户,而其他信息可能适用于那些使用过Ni...
Data Transformation(数据转换)
CompressContent:压缩或者解压
ConvertCharacterSet:将用于编码内容的字符集从一个字符集转换成另一个字符集
EncryptContent:负责加密和解密
Replace
Tex
t:使用正则表达式对文本内容进行更改
TransormXML:应用XSLT转换XML内容
JoltTransformJS
常用
处理器
(Processer)介绍
处理器
的种类
为了创建有效的数据流处理流程, 用户必须了解可用的
处理器
类型。
NiFi
包含许多不同的
处理器
, 这些
处理器
提供了可从众多不同系统
中
提取数据, 路由, 转换, 处理, 拆分和聚合数据以及将数据分发到多个系统的功能。
下面将重点介绍一些最常用的
处理器
, 按功能对它们进行分类。
CompressContent:压缩或解压
ConvertCharacterSet:将用于编码内容的字符集从一个字符集转换为另一个字符集
EncryptContent:加密或
第一章
Apache
NiFi
概述
文章目录
Apache
NiFi
概述一、什么是
Apache
NiFi
?二、
NiFi
的核心概念三、
NiFi
架构四、
NiFi
的性能期望和特性五、
NiFi
主要功能概述流管理使用方便安全可扩展架构弹性缩放模型
一、什么是
Apache
NiFi
?
简而言之,
NiFi
旨在自动执行系统之间的数据流。虽然“数据流”一词在多种情况下使用,但我们在这里使用它来表示系统之间的自动化和托管信息流。自从企业拥有多个系统以来,就一直存在这个问题空间,其
中
一些系统创建