手推广告论文（一）实时广告投竞标优化与预算控制Real time bid optimization with smooth budget delivery in online advertising

Real time bid optimization with smooth budget delivery in online advertising原论文

实时广告投竞标优化与预算控制

摘要

在当今的在线广告市场，每天都有数以十亿计的广告展示位通过实时竞价（RTB）交易所进行公开拍卖。在这种情况下，广告商需要在毫秒级时间内为每个收到的RTB广告请求提交投标。受预算限制，广告商的目标是购买一定数量的广告展示次数，以尽可能多地触及目标用户。同时，广告商希望能够在一天内平稳地分配预算，以覆盖更广泛的受众并产生持续的影响。

广告商关心的转化行为（如购买产品、填写表格、注册电子邮件等）因广告商不同而有所不同。然而，实现预算和性能目标的挑战在于转化事件较少且反馈通常存在延迟。为解决这一问题，文章提出了一种在线方法，旨在平滑预算交付的同时优化转化性能。该算法通过自适应地选择高质量的广告展示次数，并根据先前的性能分布调整投标价格，实现在时间上最优地分配预算。

实验结果表明，在实际广告活动中，这种方法能有效地解决广告投放中的预算和性能目标之间的挑战。

近年来，实时竞价（RTB）交易所在广告位的销售方面取得了显著增长。RTB交易所利用算法投标技术为广告商提供了一种参与公开拍卖的方法，以便针对每个独立的广告展示进行投标。这种机制使广告商可以以高性价比购买广告库存，并确保在合适的时间、适当的场景向目标受众展示广告。然而，要实现这一目标，广告商需要实时智能地评估每个广告展示的价值。

为了解决这个问题，需求方平台（DSP）提供了一种名为实时竞价优化的解决方案，帮助广告商在每秒接近一百万次的广告请求中找到最佳的投标价值。实时竞价优化的过程旨在在预算和投放限制的约束条件下最大化广告活动的性能指标。这些性能指标通常包括最小化每次点击费用（CPC）和每次操作费用（CPA），以及最大化点击率（CTR）和行动转化率（AR）。

为了实现可持续的广告影响力，广告商通常采用平滑预算投放策略，即在设定时间段内保持一定比例的库存不投放广告，以防止过早耗尽预算或避免短时间内大量投放广告。这种策略有助于广告商在高峰流量期间避免大量广告投放（尽管性能可能会下降），并扩大受众覆盖范围。

然而，在RTB环境中进行实时竞价优化面临诸多挑战。首先，由于每个广告请求的投标决策和投标价格评估需在数毫秒内完成，因此对时间敏感性要求极高。其次，实时评估个体广告请求时，通常缺乏大量信息，例如前期决策的反馈。具体而言，点击信息的收集可能因日志记录过程中的数据去重而延迟，而大多数视图操作可能需要长达七天的时间才能被转换并归属到相应的广告活动。因此，在实时竞价优化过程中，广告商需要不断应对这些挑战。

​

编辑切换为居中

添加图片注释，不超过 140 字（可选）

对于非搜索广告而言，点击和转化事件较为罕见，导致评估过去广告效果时的方差较大。因此，我们提出了一种在线方法，旨在优化广告性能指标，同时确保每个广告活动在预算消耗方面保持平稳。

首先，我们的方法利用控制反馈环路，迭代地预测未来的广告消费率，以满足平滑交付约束。接下来，通过消费率选择高质量展示机会，并根据先前的广告性能分布调整出价，以实现性能目标的最大化。

论文的结构如下：

在第二部分，我们详细阐述了问题的形式化定义以及先前相关研究。

在第三部分，我们描述了我们提出的在线竞价优化方法。

在第四部分，我们讨论了在竞价优化过程中遇到的实际问题以及提出的解决方案。

在第五部分展示了详细的实验结果，

最后在第六部分通过讨论我们的方法和可能的未来工作来做出结论。

2 背景和相关工作

我们首先将竞价优化问题表示为在线线性规划问题。然后，我们回顾了文献中的先前相关工作，分析为何这些解决方案在实践中不适用于我们的在线竞价优化问题。

在在线竞价优化场景中，我们考虑按索引 i 顺序依次到达的 n 个广告请求。广告商需要对所有 i∈{1,...,n} 做出决策，即是否对第 i 个广告请求进行投标。这个决策可以用指示变量 xi∈{0,1} 表示。

广告商拥有总日预算 B 用于购买广告展示机会。通常，广告商希望预算消费平滑进行，以避免以下两种情况：

提前结束活动：广告商不希望广告活动在一天内过早耗尽预算，从而错过剩余时间的机会。过早的预算支出可能导致活动提前数小时结束1(a)。

支出波动：广告商希望能够定期分析他们的广告活动，预算波动过大会使结果的一致性受到质疑。因此，类似于图1(b)所示的预算分配方案是不可行的。

一个简单且常用的平滑预算消费策略是均匀分配预算，即在一天内平均分配预算1(c)。但这种策略存在两个主要问题：

流量问题：在线流量在一天内的不同时间段根据目标受众有很大变化。均匀预算分配策略可能无法适应这些变化，导致预算无法在一天结束前耗尽，或被迫在低质量展示时段购买广告1(d)。

性能问题：不同受众群体的在线流量质量在一天内会发生变化。预算分配策略应将更多预算分配给质量高的时间段。这样的策略可能导致预算波动较大，从而违反平滑预算消费约束1(e)。

为了解决这些问题，我们需要寻找一种能够考虑流量和广告性能的预算分配策略。这将有助于广告商在满足平滑预算消费约束的同时，实现更高的广告效果。

在平滑交付约束下平衡流量和性能具有挑战性。在本文中，我们提出了一种旨在同时解决这两个问题的策略。

为了实现平滑交付约束（将在第1节中详细解释），整个每日预算B可以分解为一系列时间段预算分配{b1，...，bT}，其中bt∈R表示分配给时间段t的预算，并满足∑T t=1 bt = B。在下一节中，我们将介绍如何应用不同的节奏策略来分配bt，以便选择更高质量的展示次数。

每个广告请求i都与一个价值vi∈R和一个成本ci∈R相关联。如果给定的广告请求i被受众看到，则价值vi表示广告商认定的实际价值。成本ci表示广告商需要支付给提供相应展示次数的发布者的实际成本。

总之，带有平滑预算交付约束的竞标优化问题可以被表述为：

​

编辑

添加图片注释，不超过 140 字（可选）

在时间段t内，Ⅱt表示所有广告请求的索引集合。由于在决定是否购买广告请求i（即决策xi）时，未来广告请求的成本和价值尚不明确，因此该优化问题需要离线处理。具体来说，在收到广告请求i后，竞价优化的在线算法必须在没有观察到更多数据的情况下做出决策xi。对于动态竞价活动，优化过程还需要估计实际竞价价格^ci。需要注意的是，竞价价格与收到请求i的成本ci并不相等，因为成本是由实时竞价（RTB）交易中的二价拍卖决定的。 为了在二价拍卖中获胜并实际支付ci，竞价者应当以竞价价格^ci=ci+εi进行竞价。εi的值取决于拍卖属性，但在竞价时尚不可知。 简而言之，为了解决这个优化问题，我们需要开发一个在线算法，在收到广告请求后，能够在不观察更多数据的情况下做出购买决策。同时，我们还需要估计实际竞价价格以确保在二价拍卖中获胜。通过这种方法，我们可以在遵循平滑预算交付约束的前提下，选择更高质量的广告展示次数，并提高整体广告投放效果。 2.2 相关工作 在线线性规划（Online Linear Programming）是许多实际问题的通用框架，例如在线竞价[8、19]、在线关键词匹配[21]、在线背包问题[11]和在线资源分配[7]。尽管已有一些论文对相关方法进行了全面调查[3、6]，我们在此仅总结几种代表性方法。 周等人[21]将受预算约束的竞价优化问题建模为在线背包问题。他们提出了一种基于指数函数的简单策略，用于在预算期间选择高质量的广告请求。随着时间的推移，所提出的算法将选择越来越高质量的广告请求。然而，这种方法有一个底层的假设：广告请