推荐系统工程

1、推荐系统业务流-核心模块

推荐系统核心模块

1)数据收集模块

2)ETL模块(数据仓库)

3)特征工程模块:将推荐算法需要的,以及上述ETL后的数据转换为推荐算法可以学习的特征

不是所有推荐算法都需要特征工程,比如,如果要做排行榜相关的热门推荐,只需要对数据做统计排序处理就可以了。最常用的基于物品的推荐和基于用户的推荐也只用到用户id,标的物id,用户对标的物的评分三个维度,也谈不上特征工程。像logistic回归等复杂一些的机器学习算法需要做特征工程,一般基于模型的推荐算法都需要特征工程

4)推荐算法模块:一般涉及到模型训练、预测两个核心操作

5)推荐结果存储模块

6)Web服务模块:该模块是推荐系统直接服务用户的模块,该模块的主要作用是当用户在UI上触达推荐系统时,触发推荐接口,为用户提供个性化推荐,该模块的稳定性、响应时长直接影响到用户体验

2、推荐系统-支撑模块

支撑模块

1)评估模块:离线评估和在线评估

2)调度模块:调度各个推荐策略

3)监控模块

4)审查模块:对推荐系统结果数据格式的正确性、有效性进行检查,避免错误产生,一般的处理策略是根据业务定义一些审查用例(类似测试用例),在推荐任务执行前或者执行阶段对运算过程做check,发现问题及时告警

参考

 

 

 

打赏

Categories:

Tags:

发表评论

电子邮件地址不会被公开。