《美团柔性营销平台的系统实践》-陈华良.pptx

《美团柔性营销平台的系统实践》-陈华良.pptx

《《美团柔性营销平台的系统实践》-陈华良.pptx》由会员分享，可在线阅读，更多相关《《美团柔性营销平台的系统实践》-陈华良.pptx（42页珍藏版）》请在冰豆网上搜索。

ArchSummit全球架构师峰会北京站2015,美团柔性营销平台的系统实践,陈华良,2014年至今-美团,美团广告检索组负责人。

负责搜索排序、受众定向平台、机器学习平台、营销平台、广告检索系统等工作。

2014年之前-百度在凤巢从事了4年多的研发工作。

2010年之前-创业公司从事了1年多的视频搜索引擎研发。

微信：

21097075,满足商户和用户的需求,背景,几亿的用户,获得实惠发现新店尝试新品,近千万的商户,拉新用户老客维系扩大销量提高影响,美团,柔性O2O,背景,柔性营销平台,用户,商户（DEAL/POI）,背景-产品效果,列表页标签,详情页标签,背景-产品效果,专题,banner,push,背景-自助促销效果,核心框架,用户产品,柔性定向定向框架柔性定向服务用户属性挖掘,机器学习平台,个性化展示,个性化排序,过滤层,柔性召回,业务系统功能页面营销主体营销协议定向协议,业务系统,功能页面,会员营销,自助促销,营销协议,形式,有效期,份数,总金额,定向协议,新老客,附近常客,定制化查询服务接口,定制化写服务接口,买单促销,TAIR,MYSQL,营销主体品牌维度门店维度DEAL维度会员卡,品类偏好,性别,业务系统-功能页面,自助促销,买单促销,会员营销,业务系统-品牌维度,POI_1,POI_2,POI_n,DEAL_1,POI,POI_1,POI_2,POI_n,DEAL,POI_1,POI_2,POI_n,品牌,?

?

DEAL_2,业务系统-定向协议,每个定向条件都用一个DNF来表达每个DNF由一组Conjunction组成每个Conjunction由一组Assignment组成例:

DNF1:

（喜欢火锅20-40岁）（品牌新客）DNF2:

（附近3公里男性）（附近5公里,女性）,DNF3:

（喜欢火锅男性）（喜欢美食女性）（附近3公里的用户）,核心框架,用户产品,柔性定向定向框架柔性定向服务用户属性挖掘,机器学习平台,个性化展示,个性化排序,过滤层,柔性召回,业务系统功能页面营销主体营销协议定向协议,柔性定向,商户（POI/DEAL）,User_1,User_2,User_n1,User_n2,商户（POI/DEAL）,User_x,?

柔性定向-定向框架,实时模型,storm,柔性定向服务,用户产品,hbase,tair,updater,hadoop,hive,spark,离线模型,统计,几T的训练数据,业务系统,定向协议,柔性定向-定向服务,辅助功能,调试,效果监控,定向协议解析器,用户属性,用户-POI/DEAL,性能监控,POI-DEAL,会员卡-POI,LRU,定期更新缓存,Assignment判断,交运算,并运算,KV服务,（喜欢火锅男性）（喜欢美食女性）（附近3公里的用户）,交运算,并运算,喜欢火锅,男性,女性,喜欢美食,附近3公里,柔性定向-用户属性挖掘,两亿用户已经挖掘几十种用户属性,柔性定向-地理位置,经纬度,Geohash块,商圈,城市,前6,月,前,月,前,月,X,粒度,时间,目的地,柔性定向-地理位置,Label数据,预估数据,KV服务,1行为,2上报,3行为,4行为,N+1行为,N+2上报,N上报,用户搜索、浏览、点击、下单等行为,用户途验经券、等地理位置,星期几节假日,GBDT,LR,预估模型,迭代优化,迭代优化,柔性定向-地理位置,离线预估结果,实时预估,实时上报,应用,最近用户搜索、浏览、点击、下单等行为,最近用户途经、验券等地理位置,星期几几点节假日天气,实时模型,storm,核心框架,用户产品,柔性定向定向框架柔性定向服务用户属性挖掘,机器学习平台,个性化展示,个性化排序,过滤层,柔性召回,业务系统功能页面营销主体营销协议定向协议,个性化展示,POI_1,User_x,?

POI_2,POI_1,DEAL_2,POI_2,POI_N,DEAL_1,DEAL_2,DEAL_N,DEAL_1,个性化展示-技术框架,SceneRetrieval,UserRetrieval,营销数据,PUSH,Banner,专题,个性化数据,应用层,柔性召回,数据层,关系数据,线下调研,线上框架,个性化排序,业务规则,过滤层,质量度过滤,个性化展示-柔性召回,个性化展示-召回层,POI1POI2,POIN,商圈,GEO,WIFI,个性化展示-技术框架,SceneRetrieval,UserRetrieval,营销数据,PUSH,Banner,专题,个性化数据,应用层,柔性召回,数据层,关系数据,线下调研,线上框架,个性化排序,业务规则,过滤层,质量度过滤,即最没有技术含量又是最有技术含量所用技术不深但是需要经验、技巧，化繁为简，准确可靠Pos-biasSkip-above下单加权,个性化排序-线下调研-数据矩阵,推荐,筛选,专题,展现,点击,下单,JOIN,清洗,赋权,用户,场景,POI/DEAL,LABEL,取值监控,数量监控,空值监控,个性化排序-线下调研-特征矩阵,POI-USER特征浏览过购买过收藏过,DEAL-USER特征品类相似度价格相似度,场景特征地理位置上下文时间,DEAL特征CTRCVRIsnew折扣是否促销,USER特征位置偏好消费水平品类偏好,POI特征评分评论数是否有WIFIDEAL数,场景-POI特征位置距离,个性化排序-线下调研-示例,最近一周的验券数,是否周末,用户所在位置浏览POI用户数,平均打分,个性化排序-线下调研-模型调研,模型评估1,特征矩阵,特征融合,模型训练1,临时特征,标注日志,参数搜索,调整配置,模型评估2,模型训练2,个性化排序-线上框架,Application,Flume,ImpressionLog,LabeledData,Order/ClickLog,DealDB,Feature,OfflineTraining,Model1Model2,OnlineTraining,结果获取,RerankService,DEBUG工具,ABTEST框架,特征处理,模型预估,排序机制,个性化排序-线上框架-模型预估,高级特征,rank,Onlinelearning,GBDT,低级特征,GBDT,LR,并行预估,级联预估,配置,个性化排序-线上框架-排序机制,核心框架,用户产品,柔性定向定向框架柔性定向服务用户属性挖掘,机器学习平台,个性化展示,个性化排序,过滤层,柔性召回,业务系统功能页面营销主体营销协议定向协议,机器学习,现状没有好用的分布式算法没有整个流程的解决方案需要针对业务优化算法缺少评估算法,机器学习平台开源，多方合作分布式机器学习算法针对业务优化后的算法整个流程的解决方案多种评估算法,机器学习平台,LR,SVM,MinMax,Standard,API,Command,应用层,模型层,特征归一化,特征选择,Chisquared,TopicModel,GBDT,MutualInformation,DEBUG,可定制化,模型评估,只改配置，就可以完成特征处理、模型的训练和评估等调研,机器学习平台-GBDT,Hypothesis：

LossFunction：

UpdateFunction：

Tree1,Tree2,TreeM,.,机器学习平台-GBDT,Commandsample：

./gbdt_train-traintrainset-testtestset-modelmodel_path-confconfig_file,arguments（conf/gbdt.conf）：

dim=100depth=4,#特征维度#每棵树的最大深度,iterations=100#树的个数shrinkage=0.2#衰减,fratio=1.0dratio=1.0maxBins=40,#特征抽样比例#数据抽象比例#最大bin数,loss=LogLikelihood#损失函数，提供loglikelihood和squareerror两种init=false#是否采用初始值hasInitValue=false#数据中是否给出了初始值debug=true#是否输入debug信息,总结,用户产品,柔性定向定向框架柔性定向服务用户属性挖掘,机器学习平台,个性化展示,个性化排序,过滤层,柔性召回,业务系统功能页面营销主体营销协议定向协议,