搜狐新闻客户端的背后大数据技术原理.docx
- 文档编号:29958907
- 上传时间:2023-08-03
- 格式:DOCX
- 页数:14
- 大小:4.87MB
搜狐新闻客户端的背后大数据技术原理.docx
《搜狐新闻客户端的背后大数据技术原理.docx》由会员分享,可在线阅读,更多相关《搜狐新闻客户端的背后大数据技术原理.docx(14页珍藏版)》请在冰豆网上搜索。
搜狐新闻客户端的背后大数据技术原理
搜狐新闻客户端的背后大数据技术原理
2014年12月12-14日,2014中国大数据技术大会暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店圆满落幕。
在会上,搜狐移动研发部经理刘佳为大家分享了《基于全网内容的新闻客户端推荐系统》的经验,并对针对新闻客户端遇到的内容分类质量识别图文、视频、音频、游戏、数据稀疏、内容冷启动、用户冷启动、噪音处理:
三俗内容等棘手问题的处理方式展开演讲。
要点:
搜狐移动端新闻推荐的两个特点:
一.广告系统。
广告系统,搜狐追求转化率、辅助指标ROI、用户效果。
二.搜索系统。
搜索引擎中,追求对内容理解、内容爬取、文本关键词主题提取、文本分类、主题分类、内容索引、垃圾过滤、pagerank、反作弊等等。
随后,刘佳介绍新闻推荐系统中三俗内容的处理方式,他说:
“推荐系统出现三俗内容,可以提高18%-20%的转化率,虽然可以暂时提高点击率,但是对用户的粘性有很大的影响。
我们会通用户阅读分布、用户属性分布统计性和精细化的分类进行筛选三俗内容。
整体处理后,转化率下降到15%,推荐总量提升20%,用户使用频次也有20%的提升。
”
搜狐新闻客户端目前内容来源:
•自媒体约17000家10到15万/每天
•机构媒体+搜狐集团10到15万/每天
•短视频300万
•搜狗内容50万/每天去重后约7万/每天
•搜狗微信公众号2万/每天
新闻入库过程:
1、内容同步、抽取(每日100万资讯内容,过滤垃圾信HTML标签、广告、页面重复内容保留)
2、基于正文内容特征生成全局ID(基于正文内容过滤重复,海明哈希。
同步到各CMS生成全局ID)
3、基于标题、摘要、关键词生成clusterID(基于标题及摘要关键词生成clusterId;决定clusterscore;根据版权、合作关系、来源质量、发布时间选择代表文章)
用户建模:
1、与内容分类对应;
2、分为长期短期两套体系;
长期:
用户半年阅读行为、更新周期3天
短期:
用户最近两天阅读行为、更新周期10秒
3、用户阅读历史
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 搜狐 新闻 客户端 背后 数据 技术 原理
![提示](https://static.bdocx.com/images/bang_tan.gif)