CIKM 2019 挑战杯冠军方案分享:「初筛-精排」两阶求解框架

摘要:北京时间20191108关于【CIKM 2019 挑战杯冠军方案分享:「初筛-精排」两阶求解框架】的具体情况和说明,让www.xmxrfst.cn新闻频道的以图文形式为您慢慢道来。

作者 | 杨鲤萍

编辑 | 唐里

近日,在中国北京举办 CIKM 2019 AnalytiCup 中,由来自浙江大学、中央财经大学、阿里巴巴等机构组成的团队 WWG 摘得「用户行为预测」赛道的桂冠。

CIKM 是中国计算机学会(CCF)推荐的数据库/数据挖掘/内容检索领域的 B 类会议。CIKM AnalytiCup 挑战赛是会议同期举行的国际数据挖掘比赛,今年由 CIKM、阿里妈妈、阿里巴巴算法大学、阿里云天池共同承办,挑战赛分为两个赛道,用户兴趣高效检索(Efficient User Interests Retrieval)和用户行为多样性预测(Predicting User Behavior Diversities in A Dynamic Interactive Environment)。

我们将 WWG 团队冠军方案整理如下,希望能给开发者们一些经验与启发。(关于「用户兴趣高效检索」赛道冠军方案,我们也正在整理中,敬请期待~)

赛题简介和分析

基本问题

根据历史用户-商品交互行为、用户属性和商品属性,对给定用户进行未来点击预测,选出该用户未来三天最可能点击的商品 top50;其中,在复赛中需特别注意一点,即用户历史点击商品并不在未来可能出现的点击商品可选池中。

其中为用户在未来三天内的实际点击商品集合,为用户在未来三天内的预测点击商品集合,此处需要注意,预测点击商品集合的数量需满足,即返回商品数量严格约束为 50 个。

简要分析

仅仅看题目描述我们可以发现,这个题目本质上是一个召回预估问题。更具体的,这个问题应该以 u-i 对为输入,经过一定模型的判断,最终给出一个 u-i 对对应的分数,再根据每个 user 对应的 u-i 对分数从大到小的排序,取出 top50 的 item 作为最终得到预测点击商品集合。

同时,考虑到规模问题,对于千万级别的独立 user 和 item,直接去做全集的 u-i 对预测显然既不现实又不经济,因此我们在结题初期就确定了「初筛-精排」两阶段求解框架,如图 1 所示:

图 1 「初筛-精排」两阶段求解框架

然而,这个题目的标题为用户行为预测,在赛题官方的描述里也多次提到 Graph 的概念。从这一角度思考,这个问题可以描述为 u-i 二部图的 link prediction 问题,虽然从模型的角度来看可能和刚刚说到的类似,但这一特点似乎在暗示图结构信息在这一比赛当中的重要性。

因此,我们决定从两个角度对此问题进行分析和求解:传统的基于静态属性信息的统计特征工程,以及基于 u-i 二部图的结构特征工程。

解题思路

统计特征的提取在我们的工作中相对简略,因此在本节中,我们着重介绍我们对图结构特征的思考和使用。

算法动机

为了可以预测用户未来的点击行为,我们需要对用户和商品进行更为精准的刻画和表达,由于本次赛题的主视角是用户视角(用户会点哪些商品),所以我们认为,解决 u-i 对预测问题的核心思想是:如何更好的表达用户的偏好。即什么样的商品用户会点击,历史的交互行为所传达出来的哪些信息对未来点击的预测是有效的。

通过对用户的行为进行思考和分析,我们发现用户的偏好存在如下两类的关系:如果一名用户点击了某个商品,那么该用户对该商品所在类目的商品具有一定程度的偏好,如:iPhone,Mate 30->MI MIX Alpha(智能手机类目);如果一名用户点击了某个商品,那么该用户对该商品所在主题的商品具有一定程度的偏好,如:沙滩裤,太阳眼镜->防晒霜(沙滩旅行主题)。

层次关系

更深入的,我们发现这两类关系存在相对明晰的层次关系,如:基于类目的层次偏好:iPhone,Mate 30->MI MIX Alpha(智能手机)->Canon EOS 相机(电子产品);基于用户兴趣主题的层次偏好:沙滩裤,太阳眼镜->防晒霜(沙滩旅行)->运动鞋(户外旅行)。这里的沙滩旅行和户外旅行都是用户兴趣层面的表达。

这两类偏好关系广泛存在与用户的历史行为中,具体如图 2 所示;因此,如何合理捕捉这两类层次特征,是我们接下来算法的重点。

图 2 层次偏好特征表达示意图

解决方案

在接下来的算法中,我们将基于类目的层次偏好称为显式层次偏好,将基于用户兴趣主题的层次偏好称为隐式层次偏好。我们的解决方案一共包含以下四部分:

图 3 解决方案大纲

数据预处理

由于数据集本身是存在不同日期,不同交互行为(点击,购买,加购,收藏)的,我们首先通过引入时间衰减因子和行为衰减因子两个超参数,对原始数据集进行处理,并构建完成 user-item 二部图(如图 4)。

与此同时,也根据 user 特征数据集和 item 特征数据集构建一系列统计特征,以及 user 和 item 的属性特征。

图 4 user-item 二部图

显式层次特征提取

显式层次特征主要基于 item-cate-cate1 的层次关系,通过将历史行为与 item 特征进行匹配,可以分别构建出 user-item,user-cate,user-cate1 三张二部图,对三个层次分别实现协同过滤算法,从而得出 user 对不同 item,不同 cate 以及不同 cate1 的相似性得分。我们可以看到显性的层次特征是只有 item 维度的。

图 5 显性层次特征提取

隐式层次特征提取

隐式层次特征的提取相对困难,因为兴趣主题并不像类目一样,每个商品并没有被标定一个显式的兴趣主题。为了比较好的解决这一问题,我们提出 Hierarchical Graph Neural Network(HGNN)算法,对图结构进行表达。

具体的,我们对原始的 u-i 二部图做 GraphSAGE 算法,以具有边的 user,item 的向量表达相似(余弦相似度)为目标(注意,这里严格意义上应该区分两个向量空间,在比赛中我们为了提高效率将两个向量空间的维度设定成了相同的 16 维,因此可以实现余弦相似度的计算),做无监督的 Graph Embedding 训练。待网络稳定后,我们可以得到每个 user 和 item 的向量表达。这一向量即为该 user/item 的一级隐式特征。

为了表达出层次特性,我们根据 user/item 的一级隐式特征,分别在 user 和 item 的向量空间中做聚类(比赛中采用 K-means 聚类),以聚类簇的平均特征向量作为簇节点的向量,以簇间原始节点关联关系的统计作为簇与簇之间的关联(边)。这样,我们便通过聚类操作,将原始 u-i 二部图粗化,变为了一个以主题用户簇和主题商品簇为节点,节点数量更少的粗化图。对粗化图做和原始 u-i 二部图相同基于 GraphSAGE 的 Graph Embedding 操作,我们便可以得到粗化隐式特征,原始节点的二级隐式特征即为其所属簇的粗化隐式特征。

对于每个 user/item,将其一级隐式特征和二级隐式特征级联,即得到该节点的隐式层次特征。在实际计算 u-i 对相似度时,将层次隐式特征分级比较即可得到这一部分的相似分。我们可以看到隐性层次特征是既有 user 维度,也有 item 维度的。

图 5 隐性层次特征提取

排序模型

在 Candidate Generation 阶段(初筛阶段),我们采用计算效率相对较高的显式层次特征(即采用协同过滤分)对所有商品进行初筛,对每个 user,保留其最有可能点击的 2000 个商品进行 Ranking 阶段的精排。需要注意的是,在初赛中历史商品也可能在未来曝光并被点击,所以历史商品无需特殊处理。而复赛阶段由于历史商品不会在未来曝光,所以复赛阶段在初筛阶段的结尾要对历史出现过的商品做筛除,以避免无效精排。

Ranking 阶段基本上每个 user 要处理 2000 个左右的商品,因此我们的预测模型选择了相对简单高效的 LR 模型,将前置工作中得到的显式层次特征,隐式层次特征和统计特征进行不同阶的特征交叉后引入 LR 模型后,将 LR 模型的输出作为排序分数, 取分数 top50 作为最终的预测结果进行输出。

这里交叉特征的引入本质是一个 kernel 函数的思想, 辅助提高了 LR 模型的非线性能力,我们先后采用了显性层次特征和隐性层次特征之间 2 阶的特征交叉以及 3 阶特征交叉; 分别对最后的模型效果有一定提升。

图 6 排序模型图

成果展示

以下是我们算法迭代过程中的一些重要节点:version1 基于协同过滤+统计特征version2 基于显性层次特征+统计特征version3 基于显性/隐形层次特征+统计特征version4 基于二阶结构特征交叉+统计特征version5 基于三阶结构特征交叉+统计特征

图 7 重要节点示意图

可以发现,通过引入层次结构特征,尤其是隐式层次结构特征的提取,我们对这一问题进行了较好的求解,从结论上可以看出,结构特征确实对整个预测准确度带来了较大的性能提升,后续对结构特征信息做了特征交叉之后,性能也有了进一步的提高。

总结及未来计划

本次比赛我们尝试了 Hierarchical GNN 模型来获取用户和商品的隐性层次特征,获得了非常不错的效果,由于比赛时间非常有限,我们的排序模型使用了 LR, 以便于快速迭代并调整相应参数,使用了 point-wise 的训练方式。

如果还有足够的时间,我们还会尝试更多的排序模型,比如 xgboost, deepFM, wide&deep 等,并对模型做相应的融合,再采样 pair-wise 的训练方式,相信还会进一步提升模型效果。

图 8 冠军获奖合影

关于冠军团队

本次冠军团队 WWG 的两位学生成员——孟宪令和焦宇航在阿里巴巴算法团队实习期间,参与了该比赛;比赛过程中,团队负责人李朝博士,以及两位师兄潘旭明和邹朋成在算法的创新和思路上给予了一定的辅导。

更多信息请参考大赛官网:

https://tianchi.aliyun.com/markets/tianchi/cikm19_en_copy?spm=a2c22.265802.1380778.2.4cdb2b2cFZlc5l&wh_ttid=pc

/ 更多阅读 /

点击 ,查看:追一科技CoQA冠军团队技术分享:基于对抗训练和知识蒸馏的机器阅读理解方案


查看更多
《一个母亲的复仇》电影_《一个母亲的复仇》高清完整版在线播放|《不忠 韩国激情电影》高清版在线观看BT种子迅雷下载|《乡村爱情12》电视剧-免费全集手机在线观看-比比奇|《伊波拉病毒》电影-免费完整版手机在线观看-比比奇|《偷窥课程》高清版完整版未删减免费在线观看播放_迅雷下载-去何地|《出包王女第二季「无修版」》高清版在线观看BT种子|《升级》_高清完整版在线播放_小7电影网|《古灵精探第二季国语》第21集完整版未删减免费在线|《善良妈妈的朋友2》HD高清-电影免费完整版手机在线观看-你你看|《复仇者联盟4:终局之战 目前最好画质》高清版完整版|《夫妻交换》电影_《夫妻交换》高清完整版在线播放_小|《女生宿舍2》电影_《女生宿舍2》高清完整版在线播放|《妻子的情人2》电影_《妻子的情人2》高清完整版在线|《宫锁珠帘》第13集-电视剧手机在线观看-比比奇|《少林少女》高清版在线观看BT种子迅雷下载-多多影院|《年轻的妈妈朋友2 》电影_《年轻的妈妈朋友2 》高清|《心花怒放》高清版完整版未删减免费在线观看播放|《悟间道之奇缘》第01集_完整版高清版免费手机在线|《我妈妈的朋友2》高清版在线观看BT种子迅雷下载-多多影院|《拥抱太阳的月亮》第10集_完整版高清版免费手机在线|

实时推荐

李根永远的痛!北京夺冠功臣,却在球员通道领戒指,北京队迎反思
推荐 2020-06-01 18:13 619 7985
焦点分析 | 五月天线上刷屏,腾讯音乐背后打的什么算盘?
推荐 2020-06-01 18:13 296 4786
2020年5月文化旅游行业动态
推荐 2020-06-01 18:13 504 7889
YSL中国首家香水主题旗舰店亮相上海新天地
推荐 2020-06-01 18:13 824 5845
北京市自行车专用路开通一年 累计骑行总量超140万辆次
推荐 2020-06-01 18:13 425 2856
马萧林委员:将数字博物馆资源纳入乡村学校教育
推荐 2020-06-01 18:13 634 6746
妇科炎症老反复?多吃这8种食物,消炎抑菌,妇科炎症不来扰
推荐 2020-06-01 18:13 428 3318
马萧林委员:博物馆进校园应构建常态化馆校合作机制
推荐 2020-06-01 18:13 711 9616
甘肃省第二人民医院中西医结合治疗肝病效果好 患者送锦旗致谢
推荐 2020-06-01 18:13 649 2568
聆听拔节生长的声音!浙江新闻客户端嘉兴经开频道上线
推荐 2020-06-01 18:13 156 7201
原创 《乘风破浪的姐姐们》官宣!伊能静阿朵等同台比美,姐姐们真不老
推荐 2020-06-01 18:13 135 5252
喝水都会胖体质?曼联官推发训练视频,卢克-肖胖了不少
推荐 2020-06-01 18:13 970 3779
原创 《青你2》终成团,虞书欣与c位无缘,最强黑马却是她?
推荐 2020-06-01 18:13 954 7358
宝马M8 Gran Coupe极光版上市 售256.8万元
推荐 2020-06-01 18:13 612 8787
原创 普通衬衫不美了,今夏流行的是"宫廷衫",复古显气质,明星都爱
推荐 2020-06-01 18:13 448 2197
【医院动态】恭喜!这两位同学在我院被授予临床医学硕士学位
推荐 2020-06-01 18:13 840 3344
神州优车:北汽集团拟受让神州租车21.26%股权,公司股票自6月2日起复牌
推荐 2020-06-01 18:13 840 4157
看白城丨走进向海
推荐 2020-06-01 18:13 666 4638
【儿童节快乐】夏季儿童如何防蚊虫叮咬?这份小妙招家长们请收好
推荐 2020-06-01 18:13 155 960
院银合作,打造金融与科技融合的新蓝图——广东中行与广东省科学院签署全面战略合作协议
推荐 2020-06-01 18:13 284 8299
直接碰运气?曝亚冠决赛将一场定胜负,史上含金量最低冠军将诞生
推荐 2020-06-01 18:13 336 8738
原创 同是“碧瑶造型”,张檬洋气,程潇二次元,看到陶奕希:我酸了!
推荐 2020-06-01 18:13 97 6907
NBA球员也需要好身材!乐福减重字母哥增肌,约基奇瘦成瓜子脸
推荐 2020-06-01 18:13 625 878
秋天的最后一个周末在墨尔本皇家植物园
推荐 2020-06-01 18:13 673 7302
奥陶纪荡绳活动再度回归,亿万流量平台等你来挑战!
推荐 2020-06-01 18:13 452 4764
德黑兰最古老的建筑:房间用镜子修建而成,也见证了恺加王朝兴衰
推荐 2020-06-01 18:13 882 2395
RAV4荣放插混版北美开售 有望引入国内
推荐 2020-06-01 18:13 730 9108
豆腐吃法太多了!用可乐炖的豆腐,你见过吗?不是黑暗料理哦!
推荐 2020-06-01 18:13 326 4687
谢娜《妻子浪漫旅行4》定档,赵丽颖魏大勋缺席显遗憾
推荐 2020-06-01 18:13 311 7283
北京越野BJ30谍照 硬核玩家专属/四季度上市
推荐 2020-06-01 18:13 773 8674
北汽或收购神州租车21%股份 成第一大股东
推荐 2020-06-01 18:13 836 6263
原创 薇娅参加综艺待遇大不同,看完向往中的待遇再看看极挑,差真多!
推荐 2020-06-01 18:12 537 4992
索尼865旗舰售价曝光,4K屏+4000mAh,售价约8544元
推荐 2020-06-01 18:12 535 6866
原创 《传闻中的陈芊芊》:原来少君这句台词是即兴发挥,随口说的,牛
推荐 2020-06-01 18:12 181 566
马思纯荣耀直播间爆猛料:最喜欢这个“yin”
推荐 2020-06-01 18:12 850 4195
ASIC取消澳大利亚Golden Securities金融服务牌照
推荐 2020-06-01 18:12 672 2171
原创 以一首《月半小夜曲》爆红的他,因一句话被封杀,如今过得怎样
推荐 2020-06-01 18:12 525 5982
原创 张艺兴小时候拍戏,焉栩嘉小时候拍戏,千玺小时候拍戏,看到他:顾小五?
推荐 2020-06-01 18:12 829 8891
原创 屏幕上活力无限,经过多年努力成就如今,大家是否和我认可她?
推荐 2020-06-01 18:12 359 5939
荧幕上的“精灵”,萤幕下的赖床女孩,周迅的反差萌你想象不到
推荐 2020-06-01 18:12 832 4956
《传闻中的陈芊芊》VIP超前点播 盛英豪最终结局引期待
推荐 2020-06-01 18:12 583 505
浙江21岁漂亮女孩,突然不愿摘口罩:我怎么变成这副鬼样?最近多人中招
推荐 2020-06-01 18:12 473 1919
伊朗新增新冠肺炎确诊病例2979例 累计154445例
推荐 2020-06-01 18:12 753 9250
视频网站付费模式热,全面提价时代真的来了?
推荐 2020-06-01 18:12 336 7485
美媒:“黑人之死”引发抗议活动以来,全美各地已有约4000人被捕
推荐 2020-06-01 18:12 492 5481
孩子的早期生活环境如何影响肠道菌群和免疫健康
推荐 2020-06-01 18:12 264 9480
苗苗晒全家出游照,衣着宽松脚部浮肿,与郑恺躺帐篷内看风景好甜
推荐 2020-06-01 18:12 927 9463
六一儿童节,请带着自己的内在小孩尽情玩耍吧!
推荐 2020-06-01 18:12 571 6073
原创 宁静自拍手机壳语录抢镜,乘风破浪姐姐很认真,综艺热点一人支撑
推荐 2020-06-01 18:12 909 4767
网友出门遛狗,不曾想狗遇到了自己的亲兄弟,结果两只狗相互拥抱
推荐 2020-06-01 18:12 805 7279
微信:不会监测用户聊天记录,更不会通过监测聊天推送广告
推荐 2020-06-01 18:12 769 3985
早餐吃什么?今天在家做个虾仁饼,做法非常简单,一上桌都抢着吃
推荐 2020-06-01 18:12 490 4016
有蔡徐坤的《青春有你》全程在看穿搭,果真来抢时尚博主的饭碗了!
推荐 2020-06-01 18:12 408 3622
怕外面买的油条不健康?自己做就好啦,点进来,一步一步地教你!
推荐 2020-06-01 18:12 391 1178
《机动战士高达EXVS. MBON》试玩活动6月中旬开启
推荐 2020-06-01 18:12 581 9135
原创 胡一天坐过山车,白敬亭坐过山车,范丞丞坐过山车,看到郭俊辰:吓呆了!
推荐 2020-06-01 18:12 239 8663
为什么别人的孩子长得快?注意好这些,别让自家孩子成矮子了
推荐 2020-06-01 18:12 633 5779
原创 甘露一袭清新衬衫长裙宛若仙子,坐在公园拍照,风吹秀发太唯美
推荐 2020-06-01 18:12 450 8400
几种公认的“垃圾食品”,却最受孩子的喜爱你还在给孩子吃吗?
推荐 2020-06-01 18:12 928 3880
山东青岛:9岁淘气男孩离家出走,热心公交司机“抓”住送回家
推荐 2020-06-01 18:12 774 800
八闽胸痛救治单元首发 茶乡生命绿色通道畅行
推荐 2020-06-01 18:12 622 8229
肖战的人品,一件文化衫就能看出来
推荐 2020-06-01 18:12 878 5088
重庆公安综合服务窗口运行首日高效便民获赞
推荐 2020-06-01 18:12 998 8300
92年洛杉矶事件,乔丹没发声被斥懦夫!如今黑人死亡他不再沉默
推荐 2020-06-01 18:12 742 4434
非裔男子死亡引发全美抗议,已经有4000人被逮捕
推荐 2020-06-01 18:12 226 2596
南京熊猫电子股份(00553)及子公司拟使用3.55亿元闲置自有资金购买银行理财产品
推荐 2020-06-01 18:11 912 5871
这部剧是要火啊!还没播出,男主男二就都成了马伊琍的绯闻男友
推荐 2020-06-01 18:11 186 5996
沙钢出台6月上旬价格调整信息
推荐 2020-06-01 18:11 882 8491
贵研铂业:公司及下属控股子公司累计获得政府补助2348万元
推荐 2020-06-01 18:11 124 1388
宝丰能源:首发上市募投项目全面投产
推荐 2020-06-01 18:11 138 1338
华海药业:药品左乙拉西坦缓释片获注册批件
推荐 2020-06-01 18:11 972 1238
韩国出口额连续两个月萎缩超两成
推荐 2020-06-01 18:11 723 4787
青农商行:获准发行不超20亿元二级资本债券
推荐 2020-06-01 18:11 253 6443
《青你2》多宠虞书欣?THE9全员合照没修图,单独给她p了腿
推荐 2020-06-01 18:11 784 5418
李盈盈做为替补队员,跟随国家队出战东京奥运会,会有好成绩吗?
推荐 2020-06-01 18:11 545 8148
莴笋栽培技术,掌握以下要点,轻松提高产量
推荐 2020-06-01 18:11 347 3327
剧中颜值一般的绝世美男,马可权沛伦没什么,看到于小彤:告辞!
推荐 2020-06-01 18:11 753 7601
大棚青椒春季栽培技术,农民朋友可以参考,可以提高产量
推荐 2020-06-01 18:11 752 2857
坚守“五年之约”铸就一代“工匠”
推荐 2020-06-01 18:11 688 6418
任丘市议论堡乡开展人居环境整治暨美丽乡村建设集中观摩活动
推荐 2020-06-01 18:11 739 9735
正能量||开学第一天坐地铁“荡失路”,地铁“小黄人”30分钟护送回家
推荐 2020-06-01 18:11 354 1060
邯郸创建国家森林城市成效显著
推荐 2020-06-01 18:11 178 2685
家长注意了,别因为你的粗心,让孩子出现桡骨头半脱位
推荐 2020-06-01 18:11 306 1996
原创 冲奶粉用什么水好?反复烧开的水可以给孩子喝吗?这几个真相家长必须知道!
推荐 2020-06-01 18:11 767 6521
中国汽研六一安全公益行 探索交通伤亡“零愿景”之路
推荐 2020-06-01 18:11 897 7372
原创 一间房里放张床,还可以再加3张床,还能睡6口人,这设计我服了
推荐 2020-06-01 18:11 535 7654
点金科创板 | 财富趋势强势封板,短期仍有向上动能
推荐 2020-06-01 18:11 461 7621
“头胎最好留住”,为啥医生不建议头胎流产?这些原因需了解
推荐 2020-06-01 18:11 581 3590
中装建设与中铝开投签订战略合作协议
推荐 2020-06-01 18:11 290 8017
原创 杨幂新剧又带新人了!先后4部剧都有她,网友:啥时候能火!
推荐 2020-06-01 18:11 198 8653
中国古代儿童服饰的变迁,儿童节从穿着看世界
推荐 2020-06-01 18:11 690 2117
5个发型助攻单眼皮男生,帅气一夏
推荐 2020-06-01 18:11 368 6899
清丰县人民政府与濮阳移动签署5G+新型智慧城市战略合作协议
推荐 2020-06-01 18:11 934 1418
市游泳户外志愿服务队举办第一届全民健身运动会
推荐 2020-06-01 18:11 105 3774
向古天乐看齐,人美心善林志玲六一节送儿童卫生包,网友在线催生
推荐 2020-06-01 18:11 861 5691
原创 EVA粉丝​涂装大赏,第一万零一台OPPO Ace2 EVA限定版诞生
推荐 2020-06-01 18:10 873 5789
科技金融全面上涨 六月喜迎开门红 创业板重返高位
推荐 2020-06-01 18:10 848 3998
“超英爱心联盟”关心关爱孩子们的健康成长
推荐 2020-06-01 18:10 376 7319
宁远:失而复得的危房改造补助金
推荐 2020-06-01 18:10 1000 2141
炉石传说:kolento宣布告别赛场,传奇暂时告一段落
推荐 2020-06-01 18:10 952 639