I.内容提要
-
风控决策引擎系统从架构设计到开发实践
-
特征引擎系统及实时计算引擎
-
模型引擎系统及智能风控引擎
-
大数据风控-用数据驱动的风控全流程系统构建
II
.风控决策引擎介绍
Q:
互金领域的风险有哪些?
A:
欺诈风险 、 信用风险、合规风险(监管要求)
Q:
如何对抗风险?
A:
通过大数据来构建规则和模型进行风险控制和风险预警
Q:
业务规则和模型策略 如何落地?
A:
通过决策引擎承载规则和模型的自动化实施和部署
风控决策引擎,支持规则和模型的配置、管理、执行,支持通过专家经验和大数据机器学习进行风险控制。如图所示,风控决策引擎作为风控核心支撑组件,对风控管控起到重要的决策作用。
决策引擎作为系统,那么系统设计的功能目标和性能目标都有哪些?
II
.风控决策引擎开发设计
1.从一条规则开始抽象建模
决策引擎就是
将规则配置与程序代码分离
,那么首先就要
将规则配置抽象化
。
这里依赖于基础运算符操作。
根据特征类型不同,有不同的操作符。
为了更好地
系统
易用性
,需要进一步实现可视化规则配置后台。可视化后台,使用关系型数据库进行数据管理,然后在“发布”时统一转换为自定义
特定领域语言 DSL
。
此代码详细实现参阅:
决策引擎规则抽象实现
2.规则集
多条规则 集合在一起 组成一个规则集。
规则集就是将所有规则打包一起执行,它的执行结果 = Max(Sort(规则执行结果, 优先级))
3.决策树
用
树形结构
来展示和构建规则
决策树:可以拆解为
规则执行
和
执行结果
的组合决策
4.决策矩阵
决策矩阵:包含
横向和纵向两个维度
的特征,通过两个维度特征的不同限制,交叉决策其结果。
此代码详细实现参阅:
决策树、决策表&决策矩阵实现
5.DSL 抽象总结
6.决策流
决策流:对不同的规则和决策进行
流程编排
,类似工作流。
决策流数据结构选型:
Pipeline 模型
:管道模型。用链式串联不同节点组件,组成直线工作流。
Rete 模型
:构建成网络。区分alpha网络和beta网络。
此代码详细实现参阅:
决策流实现
7.总结决策引擎架构设计
III
.风控特征/指标处理
决策引擎的决策离不开特征的支持,特征又源自业务数据或业务日志衍生,所以特征加工和衍生也是风控开发重要的一环。先看看特征长什么样?
保障决策引擎的
可复用性
,可更好的支持不同的业务场景和业务环节,那么与业务耦合较重的特
征,就需要解耦拆分出来,于是有了
特征引擎
。
特征引擎,也有叫
变量平台
,为了保障风控决策的高效性和实时性,特征获取就必须足够高效,那么特征加工计算分为
读时计算
和
写时计算
,写时计算也叫
预计算
。对一些复杂聚合类特征,还有
融合计算
,使用 Lambda 架构将聚合数据和明细数据再做计算。
保障
系统
高性能
:
-
数据并发调用,并发计算
-
增加数据缓存,特征(计算结果)缓存
-
对计算处理耗时长的特征做预计算
-
融合计算:历史聚合数据+最新明细数据进行融合计算
-
异步化 ,分离实时和准实时
IV
.引入智能环节:模型
规则在准入和反欺诈识别上有更好的应用。而模型可以通过更多维度特征的评估,用于识别团伙欺诈,识别信用风控。
模型工作的基本前提:
-
具有相同特征的数据具有相同的结果;
-
历史的数据与未来的数据遵循同样的规律。
常用的建模方法:
-
传统建模方法:评分卡建模
-
基于大数据建模方法:机器学习、深度学习
关于评分卡建模详细实现参阅:
评分卡建模
关于机器学习建模详细实现参阅:
机器学习建模
V
.可靠性保障
-
做好监控和报警
-
系统灰度陪跑,一致性比对
-
新模型上线,先陪跑验证后进行决策
-
策略发布,在决策流配置挑战者小流量分支,灰度验证
-
线上数据引流测试
-
数据过程快照和结果快照,通过模型平台回溯
-
熔断限流,并设置默认值兜底
-
制定 SLA
-
...
详细实现参阅:
监控大盘实现
VI.数据驱动智能风控系统架构全景图
VII.QA环节
Q:
开发特征就是 flink sql 吗?
A:
flink sql 对聚合类指标特征能较好实现。除此外,还有代码计算特征,融合计算特征等不同方式。
Q:
规则引擎结果怎么回溯?
A:
保存决策引擎计算时所有数据快照,特征,以及决策结果,通过回溯平台回溯。
Q:
怎么同时支持反欺诈场景和现金贷
?
A:
决策引擎是一种通用能力,通过与不同的规则和决策配置,可以支持不同的决策类型;决策引擎与业务之间通过业务中间件系统来进行语义转换。
Q:
规则引擎用的哪家的
?
A:
自研的,golang 演示版 通过 DSL 抽象 + govaluate 计算实现,java 版本还可以通过 groovy、drools 或 qlexpress 等开源实现。
Q:
特征计算时三方数据怎么处理
?
A:
简单的通过自动化配置解析结果字段,复杂的需要对结果进行二次加工,通过代码实现。在特征引擎完成数据处理。
Q:
先跑特征还是先跑规则
?
A:
不同的业务场景有不同的实现方式,决策引擎需要同时兼容两种方式。对一些简单业务场景,可以将特征都加工好后一起送进决策引擎,这样可以更高效的出结果。而复杂决策流,可能会先配置内部特征规则,如黑名单类,触发就不再继续执行,通过内部规则后可发起调用三方收费数据,加工特征,再进行规则决策。
Q:
模型特征和规则策略特征来自同一特征引擎吗
?
A:
是的。有时特征和模型用的特征是一样的。不过一般情况下模型用特征结构更复杂,维度更多,所以一般特征引擎也会有类型区分和加工方式区分。
Q:
人行征信数据怎么支持计算出不同特征?
A:
人行征信数据,需要先进行解析,有时是 pdf 文本,这部分需要通过代码来实现,然后将解析好的特征存储到高性能缓存中。挖掘出的特征可配置到决策引擎中,决策引擎执行时依赖人行的特征,通过特征引擎获取高性能缓存中的特征。
原文链接:
https://mp.weixin.qq.com/s?__biz=MzIyMzMxNjYwNw==&mid=2247484064&idx=1&sn=fecd2c7379208e84e7e3cd4eb1abfb6c&chksm=e8215db0df56d4a623bd6be2a706c0220952f0e045b0d6d9646616ee3aae742c574335fa228a&token=221471496&lang=zh_CN#rd
风控
决策
引擎
系统
决策
引擎
系统
介绍
风控
决策
引擎
系统
是在大数据支撑下,根据行业专家经验制定的规则策略,以及机器学习/深度学习/ AI领域建立的模型运算,对当前的业务风险进行全面的评估,并采用方法结果一套
系统
。
决策
引擎
,常用于金融反欺诈,金融信审等互金领域,由于黑产,羊毛党行业的盛行,
风控
决策
引擎
在电商,支付,游戏,社交等领域也有了长足的发展,刷单,套现,作弊,凡是和钱相关的业务都离不开
风控
决策
引擎
系统
的支持保障。
决策
引擎
和规则
引擎
比较接近(严格说
决策
引擎
包含规则
引擎
,之前也有叫专家
系统
,推理
引擎
),它实现了业务
决策
与程序代码的分离。
关于如何实现
决策
引擎
的文章市面极少见,
实践
生产落地的经验分享也基本没有。出全方位的解决方案。
本项目有用学习和参考,不能直接用于生产环境,转载使用请说明出处。代码不定期重复更新,可加关注查看。如有交流欢迎加微信号hepenggj
风控
决策
引擎
建模案例介绍 金融银行 。
网商银行联合贷业务,为某城商行通过与网商银行合作,利用全线上技术,按照约定的资金比例,基于双方共同认可的规则审批,为符合特定准入标准的淘宝、天猫、口碑、B2B商户、线下二维码收款“码商”客群,提供的个人信用贷款,用于其生产经营周
为某城商行网商贷贷前和贷中阶段提供了风险量化依据,帮助行方对高风险客户进行筛选及早期风险预警。
案例1:申请评分卡-模型设计及效果
案例2:某农信小微“税金贷”准入规则设计
去年下半年换工作之后,目前方向是做
系统
架构
及数据分析相关的工作。前段时间和以前拿CVE大佬们一起接锅看着COE,感慨万千,不过也有颇多收获,能感受到自己在安全项目上非线性成长。Anyway,积极拥抱变化,以后公众号也会多分享一些开源项目的分析及基础
架构
相关的知识。
本文简单介绍
风控
具体是做什么的,以及一些常见的
风控
系统
实现的
架构
。
文章目录前言一、互联网
风控
是做什么的?
风控
的定义二、常见
风控
系统
的实现
架构
1.
风控
系统
的
架构
2.
风控
的
系统
流程三、核心风险识别环节1.规则及规则
引擎
风控
的规则是什么?常见的规则
互联网时代,万物互联,网络安全形势越来越严峻,安全是企业的基石,
风控
在企业中扮演着“警察”角色,运用各种技术和手段,保护企业内的用户利益不受侵害。
风控
决策
引是
风控
中台的入口,提供业务风险场景事件接入,可视化编排复杂
决策
,丰富的特征变量与场景识别服务等功能。相较于需要
开发
背景及算法背景才能使用的传统
风控
引擎
,本文介绍的
决策
引擎
构建完成后无需
开发
背景甚至无需算法建模背景,作为纯正的策略运营即可配置应用到业务的
决策
中,实时对抗黑产。
决策
引擎
是
风控
的大脑,而
决策
树的编排能力和体验是构建大脑的手段,如何构建高效、丝滑、稳定可靠的
决策
树编排能力,是对
风控
决策
引擎
的一大挑战,本篇文章和大家分享一下过往构建心得。
基于springboot+drools实现的金融
风控
系统
源码+项目说明.zip
基于springboot+drools实现的金融
风控
系统
源码+项目说明.zip
基于springboot+drools实现的金融
风控
系统
源码+项目说明.zip
主要针对计算机相关专业的正在做毕设的学生和需要项目实战的Java学习者。
也可作为课程设计、期末大作业。包含:项目源码、数据库脚本、项目说明等,该项目可以直接作为毕设使用。
也可以用来学习参考借鉴!
从基础讲起,结合应用场景,由浅到深细化讲解drools规则
引擎
的的相关知识,并结合具体实例,演示功能的使用和注意事项。后面通过搭建具体的项目并结合springboot框架联合使用Drools的相关知识包括
决策
表的使用,囊括一般项目中所需要的知识点,理论结合实际,让真正入门到熟练。
1 Drools简介1.1 Drools的作用1.2 使用规则
引擎
的优势1.3 规则
引擎
应用场景2 Drools初体验2.1 构建项目2.2 案例描述 2.3 代码实现3 Drools语法介绍3.1 规则文件的组成3.2 规则体语法结构3.3 Pattern模式匹配
9 Drools WorkBench使用9.1 WorkBench基本使用9.2 创建会话9.3 编译并部署9.4 执行代码10 Drools
决策
表入门11 Drools
决策
表加强12 Drools
决策
表整合Springboot和MybatiesPlus13 动态编译Class文件实现Drools规则调用14 Drools实战14.1 实战一贷款准入规则14.1.1 测试案例一14.1.2 测试案例二14.2 实战二贷款评分卡14.2.1
2)
开发
>50%的精力和时间在业务规则的
开发
上.
3)业务人员理解规则须有很强的业务知识,新规则需要
开发
配合,业务规则需求提出后上线的实际运行过程对业务人员不透明.导致
开发
和业务的沟通成本大,最好支持业务人员可视化配置
什么是
风控
?
风控
的本质是数据,探索数据与数据之间的关联关系,根据其演变的规律,为业务所用。
消费金融的门槛核心在于
风控
系统
,面向客户端群体的线上产品线。如消费分期、现金贷及信用卡代偿等业务,其需实时支持大量业务的自动化处理,
风控
系统
将承担贷前、贷中和贷后的
风控
评估、处理及预警的角色,极大地解放和提高人工处理的瓶颈与效率。
风控
决策
引擎
是一堆
风控
规则的集合,通过不同的分支、层层规则...