2022 OceanBase 年度发布会,点击了解详情 了解详情
写点什么

赵钟秋谈又拍网架构中的消息 / 任务系统

  • 2011 年 12 月 31 日
  • 本文字数:1812 字

    阅读完需:约 6 分钟

赵钟秋,又拍网核心开发人员,关注多种计算机语言、Web 技术和开源技术。他在 QCon 杭州 2011 大会的开放平台专题做了名为《又拍网架构中的消息 / 任务系统》的讲座,并和参会者做了热烈的讨论。会后,InfoQ 中文站对赵钟秋做了采访。

InfoQ:又拍的图片云计算平台与一般的 CDN 有什么区别与优势?

又拍图片云计算平台是 Amazon S3 + CloudFront 模式,因为源数据机房包含在整个 CDN 系统中(一般 CDN 服务源服务器往往在客户各自的机房),所以网络优化更彻底,达到整个 CDN 最佳效果。并且面对国内各省市之间复杂的网络结构,可以不断调整优化最佳链路(一般 CDN 服务,回源链路一旦确定,很少会再去为客户做变动)。另外,又拍在提供文件存储加速外,利用公司本身图片方面的技术积累,还提供一些特色功能:比如针对图片文件类型生成缩略图的功能,在线管理功能,防盗链功能等等。

InfoQ:又拍从什么时候开始使用 Erlang,目前开发团队有多大规模,除了消息系统,Erlang 还用在什么地方?给又拍带来了什么优势?

又拍从 2010 年初开始使用 Erlang,我们并没有专门的 Erlang 开发团队(需要的时候由团队中 1-2 个人负责 Erlang 相关开发)。除了消息系统,我们的文件存储系统也是使用 Erlang 开发。我们喜欢用最合适、最方便的工具解决问题,我们认为目前在分布式系统的开发中,Erlang 就是这样的工具。Erlang 的引入也的确为又拍这样的小团队快速地开发高效的、稳固的分布式系统带来了可能性。

InfoQ:选用 RabbitMQ 的时候,与其它的消息系统比如 ZMQ 等等,怎么确定造型的呢,是否有实际的 Benchmark 例子?

选择 RabbitMQ 是 2009 年的事了,当时网站架构在做比较大的变迁。又拍原来的架构是基于 Java 的,那次的迁移是打算减轻对 Java 体系的依赖,而开源消息队列中比较有名的 Apache ActiveMQ 是基于 Java 的实现,显得太厚重,所以被排除在我们的考虑之外。另外,那个时候 ZMQ 还没推出。没有具体了解过 ZMQ,以目前地认识来看,我认为它们之间也存在很大的差异。例如 RabbitMQ 比较完整的实现了 AMQP 协议,而 ZMQ 则提供了简单的接口,相比之下,前者显然比后者偏重。如果是比较性能,ZMQ 会胜出是无庸置疑。后面我们会对 ZMQ 作进一步了解,因为它可能能和 YPTask 有一个很好的结合。目前我们也没有再使用 RabbitMQ。

InfoQ: YPTask 是在 RabbitMQ 上的包装吗?有哪些自己独特的地方,是否回馈开源社区?

YPTask 和 RabbitMQ 没有任何关系,实际上 YPTask 并不是消息系统,确切地讲应该是一个基于消息的远程方法调用系统。YPTask 是基于 Erlang 的 OTP 实现的,本身就是一个很健壮的分布式系统。它具备管理、配置外部工作进程的功能,而简化了消息队列地实现。外部工作进程不是通过网络接口与 YPTask 通信的,而是通过标准输入 / 输出。所以理论上后端的工作进程可以用任何语言实现,只要它支持 Erlang 的序列化方式 BERT。事实上,BERT 的其它语言实现已经非常丰富。更重要的是,YPTask 作为一个中间层次的系统,把大多数的配置和管理工作统一起来,极大地减少了业务代码需要处理的事,使得业务逻辑的开发和管理都变得很简单。我们会将这个工具进行进一步的调整和完善,并在合适的时候将其开源。

InfoQ::Erlang 与 Python、PHP 的通信是怎么做的呢,RPC 是使用 Thrift 还是其它的例子?

目前 Erlang 与工作进程(主要由 Python 开发)是通过 Erlang 的内置序列化方式 BERT 进行通信的,与 PHP 则是通过 JSON-RPC 通信的。考虑到我们系统的迁移,目前只实现了这两个对我们来说最合适的通信方式。不过我们打算加入更多的外部通信协议,比如 msgpack,protobuf 等等。

InfoQ:之前知乎使用又拍时曾出现一些故障,现在在安全性可靠性上,主要有哪些保障?

知乎在使用过程中出现的故障是由于他们对 API 的使用不当造成的。他们将需要认证的 API 请求放到客户端发送,导致向客户端泄漏了 API 的认证信息。从又拍的角度看,这也反映出之前的 API 功能还不够丰富,调用不够方便等问题。我们也会在这个方面投入更多的精力。

InfoQ:又拍的消息系统的规模有多大,下一步会怎么发展呢?

目前又拍的消息系统规模不算太大,每天由 5 个节点处理大约 500 万条消息。目前这些节点的压力并不大。下一步的发展还要看网站的发展情况来确定。

InfoQ:除了消息系统外,整个又拍架构中还有哪些优秀的地方想和读者分享?(又拍曾分享过分库设计)

又拍也是较早在架构中引入 Redis 的站点,可能的话可以分享一下相关经验。

2011 年 12 月 31 日 09:455871
用户头像

发布了 133 篇内容, 共 30.3 次阅读, 收获喜欢 1 次。

关注

评论

发布
暂无评论
发现更多内容

uml图中各种线的关系

胡云飞

极客大学架构师训练营 UML

成德眉资现代农业园区大联动促发展,“1链3e”引领四市农业产业数字化建设

CNG农业公链

大厂经验:一套Web自动曝光埋点技术方案

阿亮

埋点 曝光埋点 点击埋点 自动化埋点

中小型企业创业的福音

anyRTC开发者

创业 音视频 WebRTC RTC

京东智能客服品牌焕新:“言犀”亮相2020京东JDD大会

京东科技开发者

大数据 AI 知识图谱

区块链技术应用开发、区块链版权应用搭建解决方案

t13823115967

区块链技术应用开发 区块链版权搭建解决方案

表格控件Spread.NET V14.0 发布:支持 .NET 5 和 .NET Core 3.1

葡萄城技术团队

「干货总结」程序员必知必会的十大排序算法

bigsai

排序 排序算法 快速排序

前端高效开发必备的 js 库梳理

徐小夕

Java GitHub 大前端 js

MySQL-技术专题-LEFT JOIN避坑指南

浩宇の天尚

推荐几款MySQL相关工具

Simon

MySQL 工具 percona server

以 Kubernetes 为代表的容器技术,已成为云计算的新界面

阿里巴巴云原生

云计算 Kubernetes 容器 云原生

区块链医疗、电子票据应用落地开发解决方案

t13823115967

电子票据 区块链医疗

阿里内部11月最新出台Spring Cloud架构设计+程序开发+运维部署

Java架构追梦

Java 阿里巴巴 架构 微服务 SpringCloud

802.11抓包软件对比之Microsoft Network Monitor

IoT云工坊

wifi 嵌入式 抓包

讯飞推出充电宝式便携拾音器,重新定义传统拾音

Talk A.I.

SpringBoot-技术专题-如何提高吞吐量

浩宇の天尚

MyBatis-技术专题-拦截器原理探究

浩宇の天尚

京东千亿订单背后的纵深安全防御体系

京东科技开发者

安全 网络 云服务 云安全

跨语言跨平台聚合OpenAPI文档从来没有这么简单过

Trust Me

微服务 OpenAPI Knife4j Knife4jAggregation

26张图带你彻底搞懂volatile关键字的底层实现

小牛

volatile 后端 多线程 并发 Java 分布式

关于 AWS Lambda 中的冷启动,你想了解的信息都在这!

donghui

Serverless Faas 函数计算

距离 2020 年结束不到2个月,字节跳动员工却在闲鱼卖内推名额登上热搜!

Java架构师迁哥

2020年9月北京BGP机房网络质量评测:天地祥云木樨园力压群芳终进前三

博睿数据

机房 评测

京东集团技术委员会主席周伯文:推进产业数智化发展需要技术和生态两把“桨”

京东科技开发者

区块链 大数据 AI 物联网,

从数据仓库双集群系统模式探讨,看GaussDB(DWS)的容灾设计

华为云开发者联盟

数据库 数据仓库 数据

2020年10月北京BGP机房网络质量评测:流水的其他,铁打的世纪互联?

博睿数据

机房 评测

肝了一周的 UDP 基础知识终于出来了。

cxuan

计算机网络 计算机基础

《华为数据之道》读书笔记:第 4 章 面向“业务交易”的信息架构建设

方志

数据中台 数字化转型 数据治理

物化视图如何快速完成数据聚合操作?

VoltDB

数据库 数据分析 sql

数字化时代App们将何去何从?

FinClip

2022 阿里云飞天技术峰会 - 主论坛

2022 阿里云飞天技术峰会 - 主论坛

赵钟秋谈又拍网架构中的消息/任务系统_Erlang_黄璜_InfoQ精选文章