【KDD-2020】【Adrem Data Lab/Criteo AI Lab】 Joint Policy-Value Learning for Recommendation
文章旨在提升现有基于off-policy或反事实学习的推荐模型的效率。作者分析首先分析现有方法在随机的、系数的奖励下效果不佳的原因,并提出一种IPS方法的对数变种,解决该问题。进一步,通过提升优化目标的凸性加速模型的优化求解。此外,基于一定假设,可以将CRM和MLE的目标结合,共同优化,提出了Dual Bandit。
通常我们采用离线评估的方法,估计新模型的线上效果。但许多文章[8, 14, 35]表明,离线评估结果和线上评估结果的相差较大,甚至多次测评的结果大相迳庭[5, 32]。因此,我们需要鲁棒的、可复现的、与线上指标相近的离线评估方法。
强化学习领域的研究中经常需要利用现有方法的数据(通常称之为bandit feedback,一般指所谓的看见的结果我知道,没看见的结果我没有标签。也算是一种数据缺失吧),去评估某一(新)方法的性能。反事实相关的方法,通常采用重要性采样的方式对现有数据进行权重调节,进而估计新方法中未观测到的反事实的结果。然而,我们拿到的数据中,要么不含有倾向性得分(日志里没有记录线上模型的预测概率),要么倾向性得分过小,导致估计结果具有高方差(时准时不准)。当前许多方法提出利用模拟环境帮助模拟在线A/B实验,但这种方法相对费力(个人觉得,这种方法类似causal inference中去估计给定策略的causal effect或者uplift)。
Offline Policy Learning(OPL)以及 Counterfactual Risk Minimization (CRM),或者其他离线寻找最优策略的方法,利用bandit feedback来直接学习最优策略。但是, 这些现有的方法的基本假设与实际的推荐场景存在着一定差距,例如,随机性和稀疏性 。并且推荐场景下,动作空间一般非常大, 如果能把问题变成凸优化,那么将非常有吸引力 ,因为可以快速求解,比如利用L-BFGS。
因此,作者首先研究了在推荐场景下,为什么OPL和CRM会失效,并提出了IPS估计器的一种对数变化方法,可以将目标映射到凸问题集上,得到加权多项式对数似然目标,该似然降低原始目标的优化复杂度,该方法在理论上与[27]提出的Policy Improvement Lower-bound (PIL)类似。
此外,分析了value-base和policy-based的方法,并发现它们在某些假设下具有相同的参数化表示形式。基于此,作者提出了Dual Bandit (DB)。它是一种混合学习目标,结合了MLE和CRM,统一了value-base和policy-based的方法,兼具两者的优势,不仅缓解了propensity overfitting的问题,也利用value-base方法的特点,有效的利用了负反馈(展示但是没有点击的)。
在介绍DB之前,我们先回顾一下问题的形式化定义,value-based以及policy-based方法( 注意这里的value-base和policy-base不是强化学习里边的定义,而是bandit feedback的定义 )。
这里的Value-based主要是指估计每一种可能的策略的结果,采用一种监督学习的流程,通过最大化MLE(而不考虑CRM)来预测新策略的效果。Value-based方法的通用形式可以表示为下图,其中 表示非线性函数(如果是binary的输出,那就是sigmoid函数, 是参数。 表示Kronecker product。
通常通过优化交叉熵的方式优化输出binary形式的结果的模型。
最终,利用贪心法(或者说deterministic的方式)得到最优策略。
我们面对的是离线评估策略的问题,不可避免的要面对covariate shift[39]的问题,也就是logged数据中 出现的概率和新策略下这个元组的出现概率是不同的。一般利用重要性采样来解决这个问题,重要性采样的权重为 。
如果某种 元组在线上策略记录的数据中很少出现,那么对这种元组收益的估计不确定性就会很大,也就是说会有较大方差(也就是propensity方差大的原因)。进一步,如果线上策略和新策略的元组重合度比较低,那么整体评估结果会很差。然而,我们评估的新策略,一般都和原始策略会有较大差异(不然优化的收益也就很小)。因此,通常估计的效果都不太好。
更值的主要的是,上边说的不确定性的增加,其实也是由于数据稀疏性导致的。动作空间越大,越系数,不确定性也就越大。因此,在推荐场景中,更难准确评估结果。
本节描述了作者研究的问题背景以及现有方法的问题,回顾了bandit feedback的形式化定义以及所谓的value-based方法。下一节继续介绍policy-based方法以及作者提出的DB方法。
个人理解, 也可以作为动作,特别是当我们返回的是一个推荐top-k列表,当然这种就类似list-wise的优化,常见于slate recommendation。这里的难点在于考虑顺序,并且考虑子动作之间的内在关系和影响。或许,同样的方法可以用来进行粗排和精排吧,这种改动都比较简单。
而其中 实际上是记录的propensity score,一般现在的文章特别是利用causal inference做推荐系统debias的文章,都不要求记录propensity score。这种要求只在bandit feedback的框架下才比较重要。如果没有记录这个概率,只能把曝光的物品的概率视为1,可能会有偏差。但是, 同样也会遇到,尽管预测概率低,但是由于运营的人工干预(这里体现了推荐的复杂性),导致propensity和最终曝光不一致 。
熟悉强化学习的朋友应该对BCQ不陌生,在限定范围内保证IS的方差不过大是BCQ的初衷,能够保证有效的优化和评估。其实核心还是希望两个策略偏差不要太大。但是这种优化在大动作空间下,效率堪忧,注定无法有效应用于推荐。
[5] M.F.Dacrema,P.Cremonesi,andD.Jannach.2019.AreWeReallyMakingMuch Progress? A Worrying Analysis of Recent Neural Recommendation Approaches. In Proc. of the 13th ACM Conference on Recommender Systems (RecSys ’19). ACM, 101–109.
[8] F.Garcin,B.Faltings,O.Donatsch,A.Alazzawi,C.Bruttin,andA.Huber.2014. Offline and Online Evaluation of News Recommender Systems at Swissinfo.Ch. In Proc. of the 8th ACM Conference on Recommender Systems (RecSys ’14). 169–176.
[14] O.Jeunen.2019.RevisitingOfflineEvaluationforImplicit-feedbackRecommender Systems. In Proc. of the 13th ACM Conference on Recommender Systems (RecSys ’19). ACM, 596–600.
[27] Y. Ma, Y. Wang, and B. Narayanaswamy. 2019. Imitation-Regularized Offline Learning. In Proc. of the 22nd International Conference on Artificial Intelligence and Statistics (AISTATS) (AIStats ’19, Vol. 89). PMLR, 2956–2965.
[32] S. Rendle. 2019. Evaluation Metrics for Item Recommendation under Sampling.
arXiv:1912.02263 [cs.IR]
[35] M. Rossetti, F. Stella, and M. Zanker. 2016. Contrasting Offline and Online Results when Evaluating Recommendation Algorithms. In Proc. of the 10th ACM
Conference on Recommender Systems (RecSys ’16). ACM, 31–34.
[39] H. Shimodaira. 2000. Improving predictive inference under covariate shift by weighting the log-likelihood function. Journal of Statistical Planning and Inference 90, 2 (2000), 227 – 244.