《计算广告 互联网商业变现的市场与技术》读书笔记。 书籍下载
0. 缩写词
- 展示广告:就是一种按每千次展示计费的图片形式广告,可以投放在Feed和博客页面中。这种广告业内通常称作CPM广告。
缩写 | 英文 | 中文 |
---|---|---|
4A | American Association of Advertising Agencies | 美国广告代理协会 |
ADX | AD eXchange | 广告交易平台 |
ad group | 广告组 | |
ADN | AD Network | 广告网络 |
ad placement | 广告放置 | |
ad safety | 广告安全 | |
affiliate | 联盟 | |
agreement-based advertising | 合约广告 | |
AUC | Area Under Curve | 曲线下面积 |
action-based advertising | 竞价广告 | |
audience targeting | 受众定向 | |
ASN | Average Show Number | |
BoW | Bag of Words | 词袋 |
banner ad | 横幅广告 | |
bayesian learning | 贝叶斯学习 | |
BT | Behaviorial Targeting | 行为定向 |
bid term | 竞价关键词 | |
brand awareness | 品牌广告 | |
call out optimization | 询价优化 | |
campain | 广告计划 | |
CoEC | Click on Expected Click | |
CoPC | Click on Predicted Click | |
CTR | Click Through Rate | 点击率 |
click value | 点击价值 | |
CF | Collaborative Filtering | 协调过滤 |
compact allocation plan | 紧凑分配方案 | |
constrained optimization | 带约束优化 | |
content as ad | 内容即广告 | |
CDN | Content Delivery Network | 内容分发网络 |
contextual advertising | 上下文广告 | |
contextual targeting | 上下文定向 | |
CVR | Convertion Rate | 转化率 |
CPA | Cost per Action | 按转化付费 |
CPC | Cost per Click | 按点击付费 |
CPM | Cost per Mille | 按千次展示付费 |
CPS | Cost per Sale | 按销售额付费 |
CPT | Cost per Time | 按时间付费 |
creative | 广告创意 | |
CRM | Customer Relation Management | 客户关系管理 |
customized audience segmentation | 定制化用户标签 | |
data exchange | 数据交易平台 | |
DMP | Data Management Platform | 数据管理平台 |
demand | 需求方 | |
demand constraint | 需求约束 | |
DSP | Demand Side Platform | 需求方平台 |
demographical targeting | 人口属性定向 | |
direct response | 直接效果广告 | |
display advertising | 展示广告 | |
downhill simplex method | 下降单纯形法 | |
dynamic allocation | 动态分配 | |
EDM | E-mail Direct Marketing | 邮件定向营销广告 |
EM | Expectation-Maximization | 最大期望 |
EC | Expected Click | 期望点击 |
eCPM | Expected Cost per Mille | 千次展示期望收入 |
experimentation framework | 实验框架 | |
E&E | Explore and Exploit | 探索与利用 |
frequency capping | 频次控制 | |
GaP | Gamma-Poisson | γ泊松 |
GLM | Generalized Linear Model | 广义线性模型 |
GSP | Generalized Second Price | 广义第二高价 |
geo-targeting | 地域定向 | |
gradient descent | 梯度下降法 | |
GD | Guaranteed Delivery | 担保式投送 |
HWM | High Water Mark | 高水位算法 |
hyper-local targeting | 精确位置定向 | |
IDFA | Identifier for Advertising | 广告专用用户标识符 |
IIS | Improved Iterative Scaling | 改进的迭代缩放 |
IR | Information Retrieval | 信息检索 |
integrated marketing | 整合营销 | |
IMEI | International Mobile Equipment Identity | |
IAB | Interactive Advertising Bureau | 交互广告局 |
inventory | 库存 | |
IDF | Inverse Document Frequency | 倒数文档频率 |
landing page | 落地页 | |
LDA | Latent Dirichlet Allocation | 潜在狄利克雷分配 |
LSA | Latent Semantic Analysis | 潜在语义分析 |
L-BFGS | Limited-memory BFGS | 有限内存BFGS |
LR | Logistic Regression | 逻辑回归 |
look-alike | 新客推荐 | |
ML | Machine Learning | 机器学习 |
MRP | Market Reserve Price | 市场保留价 |
MRA | Maximal Representative Allocation | 最大代表性分配 |
MAP | Maximum a Posterior | 最大后验概率 |
ME | Maximum Entropy | 最大熵 |
machanism design | 机制设计 | |
media buying platform | 媒介采买平台 | |
ML | Mixture Model | 混合模型 |
MoG | Mixture of Gaussians | 高斯混合模型 |
mobile ad | 移动广告 | |
MAB | Multi-Arm Bandit | 多臂老虎机 |
native ad | 原生广告 | |
network optimization | 网络优化 | |
NFP | North Foot Print | 北区广告平均条数 |
off-site recommendation | 站外推荐 | |
online allocation | 在线分配 | |
PII | Personal Identifiable Information | 个人可辨识信息 |
personalized recommendation | 个性化推荐 | |
personalized retargeting | 个性化重定向 | |
position auction | 位置拍卖 | |
PR | Precision/Recall | |
preferred deals | 优选 | |
premium sales | 优先交易 | |
pricing | 定价 | |
PMP | Private Marketplace | 私有交易市场 |
PLSI | Probabilistic Latent Semantic Indexing | |
programmatic trade | 程序化交易 | |
query | 查询 | |
reach | 到达率 | |
RTB | Real Time Bidding | 实时竞价 |
ROC | Receive Operating Characteristic | 接收机操作特性 |
remnant inventory | 剩余流量 | |
retargeting | 重定向 | |
ROI | Return on Investment | 投入产出比 |
RPM | Revenue per Mille | 千次展示收益 |
rich media ad | 富媒体广告 | |
search ad | 搜索广告 | |
SEM | Search engine marketing | 搜索引擎营销 |
search retargeting | 搜索重定向 | |
second price | 第二高价 | |
SVD | Singular Value Decomposition | 奇异值分解 |
site retargeting | 网站重定向 | |
social ad | 社交广告 | |
sponsored search | 付费广告 | |
SGD | Stochastic Gradient Descent | 随机梯度下降 |
stream computing | 流计算 | |
sufficient statistics | 充分统计量 | |
supply | 供给方 | |
supply constraint | 供给约束 | |
SSP | Supply Side Platform | 供给方平台 |
targeted advertising | 定向广告 | |
TD | Trading Desk | 交易终端 |
TF | Term Frequency | 词频 |
textual ad | 文字链广告 | |
topic model | 文本主题模型 | |
traffic forecasting | 流量预测 | |
TP | Traffic Protection | 流量保护 |
traffic shaping | 流量塑形 | |
UCB | Upper Confidence Bound | 置信上界 |
VSM | Vector Space Model | 向量空间模型 |
vertical as network | 垂直广告网络 | |
VCG | Vickrey - Clarke - Groves | |
video ad | 视频广告 | |
WA | Web Analytics | 网站分析 |
一、计算广告关键技术
1. 在线广告
在线广告
在线广告,也称为网络广告、互联网广告,顾名思义,指的是在线媒体上投放的广告。 与传统广告不同的是,在线广告在其短短十几年的发展过程中,已经形成了以人群为投放目标、以产品为导向的技术型投放模式。
1.1 大数据与广告的关系
大数据问题的特性
Volume(规模)、Variety(多样性)、Velocity(高速)和 Value(价值),即所谓的 4V 特征来描述大数据问题的特性。
- A 类问题 另外有一些数据问题基本上不可能通过只处理一小部分数据来达到处理全量数据所能达到的效果,或者说随着数据采样率的降低,解决问题的收益会快速下降,这类问题是典型的大数据问题。
1.2 广告的定义与目的
广告是由已确定的出资人通过各种媒介进行的有关产品(商品、服务和观点)的,通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播
出资人、媒体和受众这三者的利益博弈关系是广告活动永远的主线,这一主线将贯穿 于商业和产品形态的整个演化过程。
广告的根本目的是广告主通过媒体达到低成本的用户接触。也就是说,按某种市场意图接触相应的人群,进而影响其中的潜在用户,使他们选择广告主产品的几率增加,或者对产品性价比的苛求程度降低,这才是广告的根本目的。
要确定是否真的成本较低,需要用到投入产出比(Return On Investment,ROI)这一评价指标,即某次广告活动的总产出与总投入的比例。
- 品牌广告(brand awareness) 希望借助媒体的力量来快速接触大量用户,以达到宣传品牌形象、提升中长期购买率与利润空间的目的。
- 效果广告(direct response) 广告商希望能利用广告手段马上带来大量的购买或其他转化行为。
1.3 在线广告创意类型
- 横幅广告(banner ad)
- 文字链广告(textual ad),如搜索广告
- 富媒体广告(rich media ad)
- 视频广告(video ad)
- 社交广告(social ad)
- 移动广告(mobile ad)
- 邮件定向营销广告(E-mail Direct Marketing,EDM)
1.4 在线广告简史
合约广告(agreement-based advertising)
担保式投送(Guaranteed Delivery,GD)
竞价广告(auction-based advertising)
广告系统对计算技术产生了两个具体需求:
- 受众定向(audience targeting):即通过技术手段标定某个用户的性别,年龄或其他标签。
- 广告投放(ad serving):将广告投送又直接嵌入页面变为实时响应前端请求,并根据用户标签自动决策和返回合适的广告创意。 当一次展示同时满足多个合约的时候,如何采用最唯利是图的策略来进行广告决策?
这样的思路产生了计算广告历史上最革命性的产品模式:竞价广告(auction-based advertising)。在这种模式下,每一次的展示都基本按照收益最高的原则来决策。但在如何收取广告主费用这一点上,我们并非按照微观上最优的方案就可以大到整个市场最大的收益。关于定价机制的深入研究,产生了广义第二高价。(Generalized Second Price,GSP)这一重要的竞价理论。
基于竞价机制和精准人群定向这两个核心功能,在线广告分化出了广告网络(Ad Network, ADN)这种新的市场形态。他批量的运营媒体的广告位资源,按照人群或上下文标签卖给需求方,并用竞价的方式决定流量的分配。它的计算按点击付费(Cost Per Click,CPC)为主。
定制化需求催生了一种开放式竞价逻辑:实时竞价(Real Time Bidding,RTB)。指每次展示时实时出价。于是,市场上出现了大量聚合个媒体剩余流量并采用实时竞价方式为他们变现的产品形态-广告交易平台(Ad Exchange, ADX)。它与股票交易所有着类似的作用。
通过实时竞价的方式,按照定制化人群标签购买广告,这样的产品就是需求方平台(Demand Side Platform,DSP)。
除RTB外,还有优选(preferred deals)以及私有交易市场(Private Market Place,PMP)等交易形式。
1.5 泛广告商业产品
如下泛广告商业产品的本质都是付费推广。
- 团购
- 游戏联运
- 固定位导航
- 返利购买
2. 计算广告基础
2.1 广告有效性原理
三段式信息传播模型来解剖广告由物理上产生到最终产生转化行为的全过程。
- 选择(selection)
- 曝光(exposure): 曝光的有效性对最终结果的影响往往远远高于其他技术性因素
- 关注(attention): 受众定向
- 解释(interpretation)
- 理解(comprehension)
- 接受(acceptence)
- 态度(attitude)
- 保持(retention):品牌广告商在创意设计上花了大量的精力提高此阶段效果。
- 决策(decision):好的广告还是能够为转化率的提高做好铺垫。
定性地说,越靠前的阶段,其效果的改善对点击率的贡献越大;而越靠后的阶段,其效果的改善对转化率的贡献越大。
2.2 互联网广告的特点
- 技术和计算导向。数字媒体的特点使在线广告可以进行精细的受众定向,而技术又使得广告决策和交易朝着计算驱动的方向发展。
- 效果的可衡量性。可以以展示和点击日志的形式直接记录广告效果,并且可以利用这些日志优化广告效果。
- 创意和投放方式的标准化。标准化的驱动力来自于受众定向与程序购买。既然需求方关心的是人群而非广告位,创意尺寸的统一化与一些关键接口的标准化非常关键。
- 媒体概念的多样化。越接近转化的媒体上的广告带来的流量一定可以达到越高的 ROI,不过离“引导潜在用户”这样的广告目的也就越远。
- 数据驱动的投放决策。与工业革命时期机器化的根本驱动力——电力相类比,互联网化的根本驱动力可以认为是数据的深入加工和利用。
2.3 计算广告的核心问题
Find the best match between a given user in a given context and a suitable advertisement.
换言之:
计算广告的核心问题,是为一系列用户与环境的组合找到最合适的广告投放策略以优化整体广告活动的利润。
$i$: 代表从第1次到第T次之间的某一次广告展示。 我们优化的目标就是在这T次展示上的总收入r与总成本q的差,即广告活动的利润。 当某次广告活动的预算一定,即$\sum_{i=1}^T q_i$是一个常数时,上式等价于目 标投入产出比,即 也是一致的。进一步考虑收入与成本具体依赖的因素,上面的优化问题可以写成:
$a$、$u$、$c$ 三个变量,分别代表广告、用户与环境,即广告活动的三个参与 主体。
2.3.1 广告收入的分解
广告点击与广告展现的比率称为点击率(Click Through Rate,CTR); 点击行为成功以后,将会打开广告主的落地页(landing page),落地页成功打开次数与点击次数的比例称为到达率,这是在广告主网站上发生的; 如果用户从落地页开始,进一步完成下单等操作,则称为转化,转化次数与到达次数的比例称为转化率(Conversion Rate,CVR),这是在广告主网站上或线下发生的。
按照媒体网站和广告主网站上的行为段对回报 r 进行分解,是实践中比较合理且容易 操作的方式:
$\mu$: 点击率,$v$: 点击价值(click value),即单次点击为广告产品带来的收益。此外点击价值还可以进一步分解为到达率、转化率和客单价的乘积。
eCPM一般指的是估计的千次展示收益,它有两个很相近的概念:如果讨论的是千次
展示收入,往往用 RPM;如果讨论的是千次展示成本,往往用 CPM。这三个术语有时在实
用中的区别并不明显。
2.3.2 结算方式与 eCPM 估计的关系
根据 eCPM 的分解决定哪部分由谁来估计是广告市场各种计费模式产生的根 本原因,也是广告市场中商业逻辑与产品架构衔接的关键一环。
- CPM 结算,即按照千次展示结算。这种方式是供给方与需求方约定好千次展示 的计费标准,至于这些展示是否能够带来相应的收益,由需求方来估计和控制其中的风险。在大多数互联网品牌广告,特别是视频广告中最为常见。
- CPC 结算,即按点击结算。供给方通过其收集的大量用户行为数据可以相对准确地估计点击率;而转化效果是广告商站内的行为,当然他们自己的数据分析体系也就能更准确地对其作出评估。因此,以CPC方式结算,在效果类广告市场中具有接近垄断的地位。
- CPS(cost per sale)/CPA(cost per action)/ROI 结算,即按照销售订单数、转 化行为数或投入产出比来结算。这些都是按照转化付费的一些变种。这是一种比较极端的结算方式,即需求方只按照最后的转化收益来结算,从而在最大程度上规避了风险。在垂直广告网络(vertical ad network)常见。
- CPT(cost per time)结算,这是针对大品牌广告主特定的广告活动,将某个广 告位以独占式方式交给某广告主,并按独占的时间段收取费用的方式。严格来说,这是一 种销售方式而非一种计费模式,因为价格是双方事先约定,无需计量。
2.4 在线广告相关行业协会
由于供给方和需求方的博弈关系,需要一些行业协会来约束和规范市场。介绍北美市场主要三个行业协会。
- 交互广告局(Interactive Advertising Bureau,IAB)
- 横幅广告创意尺寸标准
- 视频广告标准 VAST(digital video ad serving template)
- 通用实时竞价接口标准 OpenRTB
- 美国广告代理协会(American Association of Advertising Agencies,4A)
- 美国国家广告商协会(Association of National Advertisers,ANA)