使用routeonattribute来过滤属性或属性值的nifi Json数据

1 人关注

我目前正在使用Nifi来消耗数据，读取Tealium事件流并加载到HDFS。需要帮助过滤数据，当源错过了发送数据的属性。

{"account": "newtv", "twitter:description": "发现你最喜欢的NewTV节目和主持人的播放时间。", "og:locale": "en_US", "dcterms:publisher": "NewTV", "original-source": "www.newtv.com/", "og:url": "www.newtv.com/show/program-guide"}}, "post_time": "2019-10-09 11:27:46", "useragent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36", "event_id": "12345"}.

上面的信息样本。我目前被困在过滤数据上，当源错过了从以下样本数据集发送事件_id属性的数据。

目前的Nifi流程。 Consume Kafka -> Evaluate Json Path -> Jolttransform Json -> Evaluate Json Path-> RouteOnAttribute -> Merge Content -> Evaluate Json Path -> Update attribute -> PutHDFS ->MoveHDFS

需要帮助，如何使用RouteOnAttribute分割数据，以区分缺失的事件_id属性或属性_值到两个不同的流。有属性或属性值的流和缺失的值要出错并加载到不同的输出路径。

apache-nifi

cloudera

hortonworks-data-platform

data-ingestion

hortonworks-sam

Deepak

发布于 2019-10-16

1 个回答

notNull

发布于 2019-10-16

已采纳

0 人赞同

在 EvaluateJsonPath 处理器中添加新的属性，从flowfile中提取 event_id 值。

如果flowfile没有 event_id ，那么nifi会给属性添加空值。

EvaluateJsonPath Configs:

然后通过使用 RouteOnAttribute 处理器，我们可以检查属性值并相应地路由flowfile。

RouteOnAttribute Configs:

${event_id:isEmpty():not()}

推荐文章

奔跑的苦咖啡 · Android原生TabLayout使用的超全解析(看这篇就够了)_Android_脚本之家

1 年前

鼻子大的生姜 · Qt -- 获取文件夹中的文件/文件夹名字_51CTO博客_js获取文件夹所有文件名

1 年前

越狱的鼠标 · MongoDB with Python on Google Colab - syntax error on $elemMatch_mongodb_芒果数据-DevPress官方社区

2 年前

淡定的铁板烧 · Typora 完全使用详解 - 少数派

2 年前

英勇无比的野马 · Electron 打开保存文件对话框_编程课堂的博客-CSDN博客

2 年前