计算广告关键技术7—程序化交易核心技术(ADX、DSP、SSP)
发布时间:2024-10
浏览量:106
本文字数:3589
读完约 12 分钟
在所有在线广告产品中,需求方平台(DSP)是算法挑战相对较大的。首先,在实时竞价环境下,DSP需要提供重定向、新客推荐等定制化用户标签,而这既需要与第一方数据和商品库打通等繁杂的工程接口,又产生了一些新的建模问题,特别是像新客推荐这种第一方数据和第三方数据兼用的受众定向问题。其次,需求方平台需要像广告网络那样估计点击率,并且会遇到比广告网络更高的准确性要求,另外还需要在面向效果类广告主时同时估计点击价值。另外,实时竞价中的出价是存在优化空间的,这是DSP特有的出价策略问题,也对DSP的收益影响很大。
程序化交易市场还有供给方平台(SSP)这一产品,其核心优化问题,即面向多个广告网络时的收入优化问题,可以看成是与广告交易市场中的询价优化相类似的问题。
一、广告交易平台
(1)由于实时竞价的功能需求,广告交易市场解决供给方和需求方用户身份对应的问题,在Web广告环境下,这需要用到cookie映射技术。
(2)实践中当考虑到带宽和服务成本带来的约束时,希望用更少的询价请求完成尽可能高效的变现
当用户访问媒体页面,广告请求发至ADX后,ADX向各个接入的DSP发起询价并完成比价决策,然后将胜出的DSP返回给媒体页面进行广告投放。从核心概念上看,ADX既不需要自己的广告索引,也不需要eCPM估计,因而可以用非常简单的架构实现。但是这仅仅是理论上的概念,实际产品中,ADX与ADN的界限并不是泾渭分明,往往为了支持小规模广告主在更方便的图形界面采买,也需要广告检索和排序;而为了实现询价优化,简单的eCPM估计也是不可少的。
1、cookie映射
在Web环境下投送的广告,用户身份标识可以用HTTP协议提供的cookie机制来完成。cookie机制在安全性方面有很多好处,比如每个域名下的服务只能访问本域名下的cookie,这实际上是由浏览器保证了不同Web应用之间用户数据的隔离。
不过cookie在用户跟踪的有效性方面受到一些限制:首先,用户可以主动清除cookie,于是广告系统对该用户的跟踪就中断了;其次,由于广告网络往往是在其他域名的网站上跟踪用户和投放广告,其种植的cookie是第三方cookie。
2、询价优化
ADX中有一个重要的问题需要考虑,那就是如何在带宽和服务成本的约束下获得更高的eCPM。
询价优化有两种典型的思路,一种是工程规则的思路,另一种是将其视为一个带约束优化问题的思路。
工程规则的思路:考虑到DSP方有相当一部分是按照广告主定制标签来采买流量,因此,这种DSP一般来说只会在自己感兴趣的人群,也就是cookie映射过的用户群上出价。显然,ADX是可以先验地知道这一用户群的,因此,对这类DSP中的某一个,如果当前广告请求到达的用户cookie没有与其映射过,那么就不需要向该DSP询价。一般来说,这样的规则可以显著降低带宽需求。不过,也有很多的DSP并不是仅仅在广告主用户集合上出价,或者当这样做仍然不能满足带宽成本的要求时,就需要进一步优化了。
对于某个供给节点,即特定的人群,要对各DSP在此人群上的出价以及此人群整体的市场价水平有一定的估计能力,这实际上就是要预估各个DSP在特定人群上对ADX来说的eCPM。因此,在询价优化的需求下,ADX也需要eCPM估计。
二、需求方平台
DSP的优化目标与大多数广告产品有所不同。从利润的角度出发,除了尽量提高广告的eCPM,还需要尽量降低每次广告展示的费用。
DSP服务器通过RTBS接口收到广告询价请求,然后经过与广告网络类似的决策步骤,包括检索和eCPM排序,找到价值最高的广告,并将报价返回给ADX。这样的决策流程,适用于按CPC或效果付费、以套利为目标的DSP,这类DSP通过优化算法提升广告主的ROI来赚取更多的利润。
(1)DSP往往需要支持定制化的用户划分能力。在实际产品中,定制化用户划分有时由专门的DMP来提供,但更常见的情形是由DSP提供的接口来实现。
(2)由于DSP是完全面向广告主的产品,需要在量的约束下投放。因此,还存在类似在线分配的问题,这产生了对于出价策略的需求。
(3)在按CPC结算的DSP中,进行eCPM估计时,需要估计CTR;而在按CPS等效果结算的DSP中,还需要同时估计点击价值。并且,由于实时出价的要求,这两项的估计都要尽可能准确。
1、定制化用户标签
DSP与其他广告产品相比,多了定制化用户划分功能(customized audience segmentation)部分,这是收集第一方数据的接口,这部分数据将用于加工第一方专用的用户标签,用于指导广告投放。
(1)直接在广告主的网站上布设DSP域名的JavaScript代码或者外链图片(也可以是不可见的beacon),这样DSP就可以直接收集到访客的记录,再自行加工分析即可。
(2)采用线下数据接口的方式,定期将广告主或者其委托的DMP收集到的访客集合批处理式地传送给DSP。当然,前提是DSP与广告主或其DMP之间建立起了cookie映射的机制。
新客推荐建模
如果变换一下思路,筛选出一个特定广告主的历史投放数据,并且只使用那些与用户或广告主相关的组合特征x(a,u),进而训练下面的模型:
虽然此模型的形式与点击率模型类似,但是其意义已经发生了本质的变化:首先,这里的一条样本应该是一个用户,而不是一次展示;其次,这里的输出信号y不再是点击行为,而是标示一个用户是否为广告主用户的二元变量。显然,此模型是一个针对广告主a,评价某个u成为其用户可能性的评估函数。由于此模型评估的是用户的属性,因此与上下文信息c无关。
第一种方法是根据广告主提供的种子用户集,将出现在该种子用户集中的u对应的y标为1,否则标为0;第二种方法是根据广告投放的记录,将点击过该广告主广告一定次数(一般设为1)以上的用户对应的y标为1,否则标为0。比较这两种方法,第一种方法需要用到广告主提供的第一方数据,能够高质量且比较精确地圈定目标人群;第二种方法不需要第一方数据,但是靠广告点击收集的种子用户集合往往质量较差,而且量会受到限制,也会有比较严重的冷启动问题。至于新客推荐模型的具体形式和训练方法,与点击率模型有类似的选择。由于新客推荐问题的训练集正比于用户规模而不是展示量规模,因此求解的过程比点击率模型会简单一些,往往不需要用分布式计算方案就可以解决。
对任意一个给定的用户u,上述新客推荐模型给出的是其成为广告主a用户的可能性。此可能性是(0,1)区间的一个概率值,对其设定一个阈值,就可以将用户分成两类,一类我们认为是该广告主的潜在新客,另一类认为不是。这样就得到了该广告主的潜在新客这一标签,显然,这样的标签是一种定制化用户标签。
2、DSP中的点击率预测
在广告网络中,估计eCPM是为了对候选进行排序,因此相对一致的点击率高估或者低估,对结果的影响是有限的;而在DSP中,估计eCPM是为了做出价的依据,任何高估或低估都会对最后的利润产生直接的影响。
在实时竞价的动态博弈环境下,由于模型本身会影响流量的分布,对点击率预测和其他算法问题效果的理解要有新的思考方式,并且应该更多地根据线上实测的结果来判断一个模型的好坏与取舍。
3、点击价值估计
由于DSP代表的是广告主的利益,往往可以通过在广告主网站布设代码等方式获得转化数据,按CPS/CPA/ROI等转化效果方式与广告主结算。在这种结算方式下,除了要按广告网络那样估计点击率,还需要估计点击价值。
点击价值可以分解为到达率(reach)h、转化率c和转化单价t这3个量的乘积。
实践中比较可行的办法,基本上都是简单统计与运营经验相结合来估算转化率。不过,当某DSP的广告主类型和转化流程相对一致,比如专门服务于游戏客户的DSP,或者像淘宝这样的平台电商自建的DSP,那么在转化数据比较充分的前提下,仍然可以采用机器学习建模的方法预测转化率。转化率预测用到的数学工具和优化方法与点击率预测非常相近。
4、出价策略
在有预算约束的情况下,我们显然希望每次展示的利润率尽可能高,而利润率除了需要知道eCPM,还需要对当前展示的市场价格有所估计,并在全局水平上尽可能将出价集中在那些利润率较高的展示上,这就是DSP出价策略的直观理解。
出价策略也是一个量约束下的效果优化问题,我们很自然地可以想到用在线分配的问题框架来解决。
三、供给方平台
供给方平台是与广告交易平台比较接近的产品,一般会实现私有的RTB交易以及网络优化等功能,并且用动态分配的逻辑决定当前展示分配给哪种广告渠道。
网络优化
网络优化问题是指SSP在接入多个广告网络以后,在线动态决定将广告请求发给哪个广告网络,从而优化整体收入的问题。在网络优化中,估计某个(a,u,c)组合上的eCPM时,这里的a由具体的一个广告变成了某个广告网络,由于没有了具体的广告信息,因此预测的准确程度也会大打折扣。