Duncan Simester, Artem Timoshenko, Spyros I. Zoumpoulis (2019) Targeting Prospective Customers: Robustness of Machine-Learning Methods to Typical Data Challenges. Management Science

近年来，随着消费者偏好的多样化和市场竞争的日益激烈，企业更加关注于制定精准、可衡量和高投资回报的营销策略，依托现代信息技术手段进行 精准营销 的需求日益明显。

精准营销策略能够精准触达潜在客户，有效提高企业营销活动的转化率。而以 机器学习为工具 的精准营销策略制定步骤一般有四项：

1. 小范围的试点实验收集客户反馈

2. 整理数据作为训练集/验证集

3. 代入机器模型输出营销策略

4. 大范围应用（测试集）

由此可见， 训练数据的质量 很大程度上影响了营销策略的选择，数据的分布特征不同、变量的统计特征改变等都会给营销模型的准确预测带来挑战。

目前，已有的文献尚未深入讨论机器学习方法制定的精准营销策略性能受这些数据挑战的影响，因此本研究致力于 评估 各类机器学习方法在不同数据挑战下的稳健性 ，从而更好地利用数据中的信息制定精准营销策略。

作者主要讨论了影响模型表现的3种数据挑战：

协变量偏移

训练集分布特征与测试集不一致

概念偏移

目标变量的统计特征随着时间推移以不可预见的方式变化

信息聚合损失

缺乏历史数据情况下依靠人口统计学变量预测带来的信息丢失

实验设计与研究数据

研究数据来源于一家美国大型零售商，他们会定期将促销邮件寄给潜在会员客户。针对每位用户有3种基准营销策略：

1. No mail：什么都不做

2. $25 paid: 半价购买12个月会员

3. 120-day: 120天会员免费试用

作者采用了7个算法来代表3类机器学习方法，并比较其预测表现：

2种模型驱动方法

Lasso回归、

有限混合模型（FMM）

3种距离驱动方法

K近邻（K-NN）、

核回归、分层聚类（HC）

2种分类方法

支持向量机（SVM）、

卡方自动交互检测（CHAID）

整个实验划分为相隔6个月的两个独立阶段：

阶段一（训练集）

作者以 家庭 为单位,将5976条邮政路线上的家庭随机分组，分别推行3种基准营销策略形成训练集。之后用7个机器学习模型分别拟合训练集形成推荐策略。

阶段二（测试集）

作者以 路线 为单位，将10419条邮政路线随机分为3个控制组和7个实验组。控制组分别采用3种基准营销策略。实验组分别应用训练好的7个机器学习模型的策略。观察并比较各组平均利润。

因变量与自变量

作者采用的因变量为：自 收到第一封优惠邮件起 12个月内每个家庭为零售商带来的平均利润。由于实验的两个阶段仅相隔6个月，该利润通过零售商的“跟踪窗口”公式预测得出。

同时，由于该零售商目前的营销策略模型是基于13个自变量的OLS模型，作者同样采用这13个自变量且不考虑变量间的相互作用和非线性关系，统计摘要如下（括号中为标准误）：

未考虑数据挑战的平均利润

阶段二：各组平均利润

阶段二：3类机器学习方法平均利润

对比阶段二中各组平均利润水平，作者发现：

（1）Lasso回归得出的定位策略产生了最高的平均利润，且显著优于3种基准方法。

（2）k-NN方法显著胜过CHAID（p<0.01），但并不能显著胜于$25 paid基准方法。

（3）两种分类方法表现最差。

（4）距离驱动和模型驱动方法无显著差异，但均显著优于分类方法。

3种数据挑战下机器学习方法的稳健性

协变量偏移

具体数据挑战 ：研究阶段一的数据仅来自两个地理区域（小样本），而阶段二的数据来源自更广阔的地理区域，存在分布不一致问题。

因此，作者根据阶段一（训练集）分布的2sigma范围，将阶段二（测试集）划分为inside the range(范围内)和outside the range(范围外)进行分析，结果如下：

阶段二：根据2sigma原则分组后平均利润

阶段二：分组后3类机器学习方法平均利润

（1）在2sigma“范围外”比“范围内”的家庭能带来更高的平均利润。

（2）在2sigma“范围内”的家庭中，模型驱动方法（Lasso和FMM）显著优于其他方法及3个基准策略。

（3）7种机器学习方法对2sigma“范围外”的家庭的预测效果相似且均不如$25 paid基准方法。

（4）模型驱动的方法在2sigma“范围内”的表现显著优于其他方法，而“范围外”其性能的下降更加明显。

具体数据挑战 ： 由于实验阶段一和阶段二的首次邮寄日期间隔刚超过6个月，在此期间，不同邮政路线的潜在需求有可能发生变化，进而导致客户对促销的反应发生变化。

因此，作者以阶段一的整体需求水平为基准，将阶段二中的需求划分为负增长（negative growth）/零增长(flat growth)/正增长（positive growth）进行分析,结果如下：

阶段二：分组后3类机器学习方法平均利润

（1）对三类定位方法而言，需求的正向和负向增长都会带来比零增长更差的预测效果。

（2）在几乎没有概念偏移（需求零增长）情况下，模型驱动方法预测效果优于距离驱动方法和分类方法。

（3）在出现概念偏移（需求正向和负向增长）情况下，模型驱动方法预测效果的下降比其他两类方法都大。

信息聚合损失

具体数据挑战 ：潜在客户没有个人购买历史数据，因此公司通常依靠人口统计学变量来预测。然而由于调研对象规模不同，这种信息聚合可能会导致信息丢失，从而降低预测效果。

因此，作者根据邮政路线包含的住户数目是否≥各路线住户数的中位数，将阶段二研究对象划为小规模(Below Median size)和大规模（Above Median Size）路线，分析结果如下：

阶段二：根据样本规模分组后平均利润

阶段二：分组后3类机器学习方法平均利润

（1）在小规模邮政路线中，模型驱动方法预测效果要优于距离驱动方法和分类方法。

（2）在大规模邮政路线中，3类方法的预测效果相似，且都未超过$25折扣促销基准方法的表现。

（3）当信息聚合规模变大时（从小规模路线到大规模路线），模型驱动方法预测效果下降最多。

本文研究了企业在寻找新客户时如何利用机器学习方法和试点实验数据来优化营销策略。作者使用了两阶段大型实验来评估3类机器学习方法在典型数据挑战下营销效果的稳健性。主要结果如下：

1. 当数据理想时， 模型驱动方法 比距离驱动方法和分类方法更适用于精准营销。

2. 但是在存在协变量偏移、概念偏移和信息聚合损失的情况下，模型驱动方法的精准营销效果对这种信息质量下降 更加敏感 。

注：研究进一步讨论了第4种数据挑战“数据不平衡”对机器学习预测效果的影响，感兴趣的读者可点击左下角阅读原文了解。

返回搜狐，查看更多

责任编辑：

声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。