阿里大数据竞赛第一赛季学习教程.pdf

阿里大数据竞赛第一赛季学习教程.pdf

《阿里大数据竞赛第一赛季学习教程.pdf》由会员分享，可在线阅读，更多相关《阿里大数据竞赛第一赛季学习教程.pdf（22页珍藏版）》请在冰豆网上搜索。

阿里巴巴大数据竞赛-天猫推荐大挑战技术交流天猫-推荐算法团队2014年3月提纲大赛背景&赛题简介内部品牌推荐算法介绍交流时间天猫推荐总体情况服务平台MobilePC推荐实体品牌推荐商品推荐促销活动等等推荐算法User2ItemsItem2ItemsPersonalizedRankingOthers推荐产品超过40+推荐产品每天服务10M+用户,双11当天服务36M+用户天猫推荐总体情况-架构用户实时意图计算推荐实体索引检索Ranker（CTR预估）装配（参数化）在线实验框架离线实验框架Detail给我推荐会员俱乐部推荐天猫/淘宝首页logo推荐图书城推荐前端匹配层Hadoop集群MPI集群Spark集群ODPS大赛背景与赛题简介Itsarealproblem天猫品牌推荐业务日常：

每天曝光用户超过4千万品牌是联接商家与消费者的纽带2013.11.11，接近6千万用户浏览会场双11-会场个性化大赛背景与赛题简介5.7亿用户行为数据大赛背景与赛题简介比赛题目开放数据天猫用户在某一年04月-08月的品牌行为数据：

对品牌的点击、购买、收藏、加入购物车等。

预测数据同样这些用户在同年9月份将会购买的品牌评价指标大赛背景与赛题简介开放的数据字段字段说明提取说明user_id用户标记抽样&字段加密time行为时间精度到天级别action_type用户对品牌的行为类型包括点击、购买、加入购物车等。

brand_id品牌ID抽样&字段加密提纲大赛背景&赛题简介内部品牌推荐算法介绍交流时间问题的定义有些人尝试把问题转化为评分预测问题。

Brand1Brand2BrandnUser11?

User2?

53User33?

UsermTypeScoreClick1Fav2Add2Cart3Buy5SVD+FactorizationMachines问题的定义有些人尝试把问题转化为分类问题。

TypeLabelClick1Fav2Add2Cart3Buy4各种分类算法f1f2fnUseri-Brandj102问题的定义有些人尝试把问题转化为Graph问题。

复杂网络（标签扩散、热传导）、问题的定义在天猫，我们尝试把它转化为一个点击率预估问题notthebest,nottheworstf1f2fnif-click0Useri-Brandj1021TrainingStagePredictionStagef1f2fnClick_probUseri-Brandx110?

FeatureEngineering行为序列：

1天7天90天时间维度：

类型维度：

购买点击收藏加入购物车b1b2FeatureSpace：

b3f1f2fnClick_probUseri-Brandx110?

ExploretheUnknown偏好品牌集合foruserx6b1b3b5bbibisimItemBaseCF算法：

主品牌相似品牌1b3b5b6bb11；b12；b13；b1hb21；b22；b23；b2kb61；b62；b63；b6k相似品牌新品牌foruserxModels线性Model：

LogisticRegression非线性Model：

RandomForest&GBDT离线评估系统基准桶优化桶foruserxPKStep1:

为x选出最好的n个品牌；n=4or8or16其实不管是谁看，基准桶都只能选出一样的品牌。

不同用户，不同算法参数都会选出不同的品牌集合。

Step2:

取出x真实的品牌点击记录是否命中Step4:

计算所有用户的命中率ii）serdelivers（u）（）（hit_（总曝光数）总命中数iiusersratehitStep3:

计算单个用户命中数和投放数品牌推荐算法的重要性2013.11.11，近6千万用户访问会场Welcomeonboard!

Welcomeonboard!

交流环节竞赛互动平台：

1.官方BBS：

阿里云论坛2.来往扎堆：

数据魔法学院谢谢！