写点什么

用 MongoDB 和 Spark 实现电影推荐

  • 2014-12-23
  • 本文字数:980 字

    阅读完需:约 3 分钟

MovieWeb 是一个电影相关的网站,它提供的功能包括搜索电影信息、排名或者电影明星资料等。它拥有 10000 部电影的信息,70000 个用户,和超过 1 千万的电影评分。借用它的搜索目录,用户可以通过类型分类、排名和片名浏览等方式检索电影。但如何解决电影智能推荐的问题呢?近日 MongoDB 分享了他们结合 Hadoop 的经验

MovieWeb 基于 Python。在构建电影推荐系统时,使用 flask 和 PyMongo 读取数据,应用 Python 网页应用浏览电影和评分推荐;使用 Spark 应用来运算处理实际的推荐,并用 MLLib 实现协同过滤;然后搜集电影评分的数据,并创建和训练数据模型,而后处理用户和电影的数据集,再反向应用训练过的模型来尝试预测电影排名。以上完成后,将预测结果写入 MongoDB,接下来那些网页应用就可以将预测的排名展示出来,再收取新一轮的预测。其中用到的工具有 Apache Hadoop 2.3.0(HDFS 和 YARN),Spark1.0 和用于管理数据的 MongoDB。

MovieWeb 的工作流程:

以 BSON 的格式快速建立数据库;在 HDFS 中储存该 BSON;将 BSON 读取到 Spark 应用中;用已有的排名评分训练模型;建立“用户—影片”对;为所有“用户—影片”对预测排名;将预测结果写入 MongoDB 采集库;网页应用展示推荐;每周重复一次以上工作。这不是一项 MapReduce 的工作,其代码量很少,加上引入语法基本上也只需要 150 行左右的代码。

Spark 的环境建立和架构建立的执行语句如下:

复制代码
$ export SPARK_JAR=spark-assembly-1.0.0-hadoop2.3.0.jar
$ Export HADOOP_CONF_DIR=/usr/local/Hadoop/etc/Hadoop
$ bin/spark-submit
--master yarn-cluster
--class com.mongodb.hadoop.demo.Recommender demo-1.0.jar
--jars mongo-java-2.12.2.jar,mongo-hadoop-1.2.1.jar
--driver-memory 1G
--executor-memory 2G
--num-executors 4

功能实现之后的推荐系统中,“您可能喜欢的影片”一栏,那些根据预测推荐的影片是基于用户正在浏览的影片的第一个所属类别。例如影片《非常嫌疑犯》,第一类别为“犯罪”,则浏览该片时所推荐的电影也都属于这一类别。当用户表现出需求时,系统就会自动为用户过滤类别,再将筛选出来的结果进入给用户的推荐广播之中。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-12-23 00:457111
用户头像

发布了 268 篇内容, 共 131.1 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

鸿蒙应用示例:API功能集成示例及注意事项

zhongcx

鸿蒙应用示例: flexGrow 与 layoutWeight 布局属性比较

zhongcx

鸿蒙开发案例:实现一个带AI的井字游戏(Tic Tac Toe)

zhongcx

文档转换API功能与特性全景:选择指南与应用洞察

幂简集成

API

鸿蒙应用示例:基于 promptAction 封装全局弹窗工具类

zhongcx

鸿蒙应用示例:状态管理与UI刷新机制从@State到@ObservedV2的进阶

zhongcx

鸿蒙应用示例:单例工具类实现防抖动策略

zhongcx

鸿蒙应用示例:键盘管理从避免遮挡到显示监听的方案实践

zhongcx

鸿蒙应用示例:NEXT 中 Map 类型的使用及注意事项

zhongcx

鸿蒙应用示例:舒尔特方格游戏实现

zhongcx

ECCV 2024 亮点!RoboTwin:首个双臂协同机器人策略学习Benchmark

松灵机器人

前沿科技 人工智能’ 具身智能 松灵机器人 双臂智能机器人

CocosCreator 快速部署 TON 游戏:Web2 游戏如何使用 Ton支付

股市老人

鸿蒙应用示例:利用attributeModifier解决样式抽离与组件状态管理

zhongcx

鸿蒙应用示例:跨组件通信实践父组件调用子组件方法及状态共享

zhongcx

鸿蒙应用示例:DevEco Studio实用技巧

zhongcx

鸿蒙应用示例:DevEco Testing 工具的常用功能及使用场景

zhongcx

倒计时1天 | 第三届OpenHarmony技术大会——明天,上海见!

OpenHarmony开发者

鸿蒙应用示例:应用开发中的动态获取属性与调用方法技巧

zhongcx

鸿蒙应用示例:ArkTS中实现一键置灰功能

zhongcx

鸿蒙应用示例:实现文本高亮与自动换行

zhongcx

鸿蒙应用示例:ArkTS UI框架中的文本缩进技巧

zhongcx

鸿蒙应用示例:镂空效果实现教程

zhongcx

《Programming from the Ground Up》读后感

codists

汇编 编程人

鸿蒙应用示例:Java与ArkTS中的方法重载及数值类型对比

zhongcx

鸿蒙应用示例:ArkTS中设置颜色透明度与颜色渐变方案探讨

zhongcx

鸿蒙应用示例:工作中常用的日期时间处理方法

zhongcx

用MongoDB和Spark实现电影推荐_语言 & 开发_张天雷_InfoQ精选文章