I.内容提要

  • 风控决策引擎系统从架构设计到开发实践

  • 特征引擎系统及实时计算引擎

  • 模型引擎系统及智能风控引擎

  • 大数据风控-用数据驱动的风控全流程系统构建

II .风控决策引擎介绍

Q: 互金领域的风险有哪些?

A: 欺诈风险 、 信用风险、合规风险(监管要求)

Q: 如何对抗风险?

A: 通过大数据来构建规则和模型进行风险控制和风险预警

Q: 业务规则和模型策略 如何落地?

A: 通过决策引擎承载规则和模型的自动化实施和部署

风控决策引擎,支持规则和模型的配置、管理、执行,支持通过专家经验和大数据机器学习进行风险控制。如图所示,风控决策引擎作为风控核心支撑组件,对风控管控起到重要的决策作用。

决策引擎作为系统,那么系统设计的功能目标和性能目标都有哪些?

II .风控决策引擎开发设计

1.从一条规则开始抽象建模

决策引擎就是 将规则配置与程序代码分离 ,那么首先就要 将规则配置抽象化

这里依赖于基础运算符操作。

根据特征类型不同,有不同的操作符。

为了更好地 系统 易用性 ,需要进一步实现可视化规则配置后台。可视化后台,使用关系型数据库进行数据管理,然后在“发布”时统一转换为自定义 特定领域语言 DSL

此代码详细实现参阅:

决策引擎规则抽象实现

2.规则集

多条规则 集合在一起 组成一个规则集。

规则集就是将所有规则打包一起执行,它的执行结果 = Max(Sort(规则执行结果, 优先级))

3.决策树

树形结构 来展示和构建规则

决策树:可以拆解为 规则执行 执行结果 的组合决策

4.决策矩阵

决策矩阵:包含 横向和纵向两个维度 的特征,通过两个维度特征的不同限制,交叉决策其结果。

此代码详细实现参阅:

决策树、决策表&决策矩阵实现

5.DSL 抽象总结

6.决策流

决策流:对不同的规则和决策进行 流程编排 ,类似工作流。

决策流数据结构选型:

Pipeline 模型 :管道模型。用链式串联不同节点组件,组成直线工作流。

Rete 模型 :构建成网络。区分alpha网络和beta网络。

此代码详细实现参阅:

决策流实现

7.总结决策引擎架构设计

III .风控特征/指标处理

决策引擎的决策离不开特征的支持,特征又源自业务数据或业务日志衍生,所以特征加工和衍生也是风控开发重要的一环。先看看特征长什么样?

保障决策引擎的 可复用性 ,可更好的支持不同的业务场景和业务环节,那么与业务耦合较重的特

征,就需要解耦拆分出来,于是有了 特征引擎

特征引擎,也有叫 变量平台 ,为了保障风控决策的高效性和实时性,特征获取就必须足够高效,那么特征加工计算分为 读时计算 写时计算 ,写时计算也叫 预计算 。对一些复杂聚合类特征,还有 融合计算 ,使用 Lambda 架构将聚合数据和明细数据再做计算。

保障 系统 高性能

  • 数据并发调用,并发计算

  • 增加数据缓存,特征(计算结果)缓存

  • 对计算处理耗时长的特征做预计算

  • 融合计算:历史聚合数据+最新明细数据进行融合计算

  • 异步化 ,分离实时和准实时

IV .引入智能环节:模型

规则在准入和反欺诈识别上有更好的应用。而模型可以通过更多维度特征的评估,用于识别团伙欺诈,识别信用风控。
模型工作的基本前提:

  • 具有相同特征的数据具有相同的结果;

  • 历史的数据与未来的数据遵循同样的规律。

常用的建模方法:

  • 传统建模方法:评分卡建模

  • 基于大数据建模方法:机器学习、深度学习

关于评分卡建模详细实现参阅:

评分卡建模

关于机器学习建模详细实现参阅:

机器学习建模

V .可靠性保障

  • 做好监控和报警

  • 系统灰度陪跑,一致性比对

  • 新模型上线,先陪跑验证后进行决策

  • 策略发布,在决策流配置挑战者小流量分支,灰度验证

  • 线上数据引流测试

  • 数据过程快照和结果快照,通过模型平台回溯

  • 熔断限流,并设置默认值兜底

  • 制定 SLA

  • ...

详细实现参阅:

监控大盘实现

VI.数据驱动智能风控系统架构全景图

VII.QA环节

Q: 开发特征就是 flink sql 吗?

A: flink sql 对聚合类指标特征能较好实现。除此外,还有代码计算特征,融合计算特征等不同方式。

Q: 规则引擎结果怎么回溯?

A: 保存决策引擎计算时所有数据快照,特征,以及决策结果,通过回溯平台回溯。

Q: 怎么同时支持反欺诈场景和现金贷

A: 决策引擎是一种通用能力,通过与不同的规则和决策配置,可以支持不同的决策类型;决策引擎与业务之间通过业务中间件系统来进行语义转换。

Q: 规则引擎用的哪家的

A: 自研的,golang 演示版 通过 DSL 抽象 + govaluate 计算实现,java 版本还可以通过 groovy、drools 或 qlexpress 等开源实现。

Q: 特征计算时三方数据怎么处理

A: 简单的通过自动化配置解析结果字段,复杂的需要对结果进行二次加工,通过代码实现。在特征引擎完成数据处理。

Q: 先跑特征还是先跑规则

A: 不同的业务场景有不同的实现方式,决策引擎需要同时兼容两种方式。对一些简单业务场景,可以将特征都加工好后一起送进决策引擎,这样可以更高效的出结果。而复杂决策流,可能会先配置内部特征规则,如黑名单类,触发就不再继续执行,通过内部规则后可发起调用三方收费数据,加工特征,再进行规则决策。

Q: 模型特征和规则策略特征来自同一特征引擎吗

A: 是的。有时特征和模型用的特征是一样的。不过一般情况下模型用特征结构更复杂,维度更多,所以一般特征引擎也会有类型区分和加工方式区分。

Q: 人行征信数据怎么支持计算出不同特征?

A: 人行征信数据,需要先进行解析,有时是 pdf 文本,这部分需要通过代码来实现,然后将解析好的特征存储到高性能缓存中。挖掘出的特征可配置到决策引擎中,决策引擎执行时依赖人行的特征,通过特征引擎获取高性能缓存中的特征。

原文链接: https://mp.weixin.qq.com/s?__biz=MzIyMzMxNjYwNw==&mid=2247484064&idx=1&sn=fecd2c7379208e84e7e3cd4eb1abfb6c&chksm=e8215db0df56d4a623bd6be2a706c0220952f0e045b0d6d9646616ee3aae742c574335fa228a&token=221471496&lang=zh_CN#rd 风控 决策 引擎 系统 决策 引擎 系统 介绍 风控 决策 引擎 系统 是在大数据支撑下,根据行业专家经验制定的规则策略,以及机器学习/深度学习/ AI领域建立的模型运算,对当前的业务风险进行全面的评估,并采用方法结果一套 系统 决策 引擎 ,常用于金融反欺诈,金融信审等互金领域,由于黑产,羊毛党行业的盛行, 风控 决策 引擎 在电商,支付,游戏,社交等领域也有了长足的发展,刷单,套现,作弊,凡是和钱相关的​​业务都离不开 风控 决策 引擎 系统 的支持保障。 决策 引擎 和规则 引擎 比较接近(严格说 决策 引擎 包含规则 引擎 ,之前也有叫专家 系统 ,推理 引擎 ),它实现了业务 决策 与程序代码的分离。 关于如何实现 决策 引擎 的文章市面极少见, 实践 生产落地的经验分享也基本没有。出全方位的解决方案。 本项目有用学习和参考,不能直接用于生产环境,转载使用请说明出处。代码不定期重复更新,可加关注查看。如有交流欢迎加微信号hepenggj 风控 决策 引擎 建模案例介绍 金融银行 。 网商银行联合贷业务,为某城商行通过与网商银行合作,利用全线上技术,按照约定的资金比例,基于双方共同认可的规则审批,为符合特定准入标准的淘宝、天猫、口碑、B2B商户、线下二维码收款“码商”客群,提供的个人信用贷款,用于其生产经营周 为某城商行网商贷贷前和贷中阶段提供了风险量化依据,帮助行方对高风险客户进行筛选及早期风险预警。 案例1:申请评分卡-模型设计及效果 案例2:某农信小微“税金贷”准入规则设计 去年下半年换工作之后,目前方向是做 系统 架构 及数据分析相关的工作。前段时间和以前拿CVE大佬们一起接锅看着COE,感慨万千,不过也有颇多收获,能感受到自己在安全项目上非线性成长。Anyway,积极拥抱变化,以后公众号也会多分享一些开源项目的分析及基础 架构 相关的知识。 本文简单介绍 风控 具体是做什么的,以及一些常见的 风控 系统 实现的 架构 。 文章目录前言一、互联网 风控 是做什么的? 风控 的定义二、常见 风控 系统 的实现 架构 1. 风控 系统 架构 2. 风控 系统 流程三、核心风险识别环节1.规则及规则 引擎 风控 的规则是什么?常见的规则 互联网时代,万物互联,网络安全形势越来越严峻,安全是企业的基石, 风控 在企业中扮演着“警察”角色,运用各种技术和手段,保护企业内的用户利益不受侵害。 风控 决策 引是 风控 中台的入口,提供业务风险场景事件接入,可视化编排复杂 决策 ,丰富的特征变量与场景识别服务等功能。相较于需要 开发 背景及算法背景才能使用的传统 风控 引擎 ,本文介绍的 决策 引擎 构建完成后无需 开发 背景甚至无需算法建模背景,作为纯正的策略运营即可配置应用到业务的 决策 中,实时对抗黑产。 决策 引擎 风控 的大脑,而 决策 树的编排能力和体验是构建大脑的手段,如何构建高效、丝滑、稳定可靠的 决策 树编排能力,是对 风控 决策 引擎 的一大挑战,本篇文章和大家分享一下过往构建心得。 基于springboot+drools实现的金融 风控 系统 源码+项目说明.zip 基于springboot+drools实现的金融 风控 系统 源码+项目说明.zip 基于springboot+drools实现的金融 风控 系统 源码+项目说明.zip 主要针对计算机相关专业的正在做毕设的学生和需要项目实战的Java学习者。 也可作为课程设计、期末大作业。包含:项目源码、数据库脚本、项目说明等,该项目可以直接作为毕设使用。 也可以用来学习参考借鉴! 从基础讲起,结合应用场景,由浅到深细化讲解drools规则 引擎 的的相关知识,并结合具体实例,演示功能的使用和注意事项。后面通过搭建具体的项目并结合springboot框架联合使用Drools的相关知识包括 决策 表的使用,囊括一般项目中所需要的知识点,理论结合实际,让真正入门到熟练。 1 Drools简介1.1 Drools的作用1.2 使用规则 引擎 的优势1.3 规则 引擎 应用场景2 Drools初体验2.1 构建项目2.2 案例描述 2.3 代码实现3 Drools语法介绍3.1 规则文件的组成3.2 规则体语法结构3.3 Pattern模式匹配 9 Drools WorkBench使用9.1 WorkBench基本使用9.2 创建会话9.3 编译并部署9.4 执行代码10 Drools 决策 表入门11 Drools 决策 表加强12 Drools 决策 表整合Springboot和MybatiesPlus13 动态编译Class文件实现Drools规则调用14 Drools实战14.1 实战一贷款准入规则14.1.1 测试案例一14.1.2 测试案例二14.2 实战二贷款评分卡14.2.1 2) 开发 >50%的精力和时间在业务规则的 开发 上. 3)业务人员理解规则须有很强的业务知识,新规则需要 开发 配合,业务规则需求提出后上线的实际运行过程对业务人员不透明.导致 开发 和业务的沟通成本大,最好支持业务人员可视化配置 什么是 风控 风控 的本质是数据,探索数据与数据之间的关联关系,根据其演变的规律,为业务所用。 消费金融的门槛核心在于 风控 系统 ,面向客户端群体的线上产品线。如消费分期、现金贷及信用卡代偿等业务,其需实时支持大量业务的自动化处理, 风控 系统 将承担贷前、贷中和贷后的 风控 评估、处理及预警的角色,极大地解放和提高人工处理的瓶颈与效率。 风控 决策 引擎 是一堆 风控 规则的集合,通过不同的分支、层层规则...