写点什么

关注数据:百度首届技术沙龙总结 (含资料下载)

  • 2010-04-13
  • 本文字数:1477 字

    阅读完需:约 5 分钟

4 月 10 日 InfoQ 中文站和百度合作举办了首届百度技术沙龙,邀请了百度 Web 开发高级工程师和豆瓣网系统程序员刘洪清分享了他们对数据交互的理解,本文简单总结了他们演讲的内容并提供了演讲资料下载。更多图文报道请参见百度技术沙龙专题

据介绍,这次是百度第一次深入社区,通过线下活动的形式和业界技术人员交流。从整个活动的策划和准备,可以看出百度已经将与社区的交流提上了议事日程。在和百度讲师黄方荣、百度产品市场经理郑昊的沟通中,他们也提到虽然百度内部经常有类似的交流活动,但和外界的交流还是比较少,这次活动是一次尝试,如果效果不错,以后会继续和 InfoQ 联合举办类似的活动。

在黄方荣的演讲中,他主要介绍了数据在 Web 发展中的重要性,即“数据交互推动着 Web 的发展”,介绍的内容点包括:

  • Server 数据推送
  • 域服务器数据交互
  • 异域网面跨帧数据交互
  • 客户端网页跨浏览器数据交互
  • 数据的压缩处理
  • WEB 前后端交互的数据格式
  • 数据交互推动着 WEB 的发展

在每个技术点中,黄方荣都列举了多个解决方案进行类比。比如在介绍 Server 数据推送时,他提到了轮询、长连接、伪长连接等不同的应用及各自特点。而对于数据的压缩处理,他则介绍了 YUI Compressor 和 GZIP 不同的应用场景。最后,他总结说在 Web2.0 时代,Ajax 大行其道,为网站提供了酷炫的交互界面,而在 Web3.0 时代,数据的交互将会更加人性化和简便。根据与会者的反馈,美中不足的是黄方荣在介绍数据交互的应用场景时,并没有比较多地涉及这些技术是如何在百度产品上使用的,这让许多慕名而来的技术人员有些失望。

刘洪清是豆瓣网的系统程序员,同时也是豆瓣开源数据存储系统 BeansDB ,这次他主要介绍了如何应用 BeansDB 来解决三千多万豆瓣用户持续增长的数据需求。豆瓣现在有超过 3800 万的用户,有 15 万个小组,430 万条目,300 万评论等,换算成后台的数据,则是 200G 结构化数据,800G 文本数据,10T 图片,6T 音乐等等。要保证这些数据 24 小时的稳定性,安全性和可用性,并不是一件易事。豆瓣采取的措施就是将数据进行分类,比如将用户信息、好友关系等归为结构化数据类型,将文本内容、图片等归为小文件类型,而日志和备份数据归为大文件类型。然后采用不同的技术来解决问题,比如结构化数据用 MySQL,小文件用 BeansDB,大文件用 MooseFS 等。

在问答环节,有读者对豆瓣广播的实现方式很感兴趣,刘洪清介绍说:

豆瓣的广播跟 twitter 等微博客收件箱的实现思路不太一样,是只保持一分广播副本, 在用户浏览的时候实时合并,依靠精巧的缓存和数据流设计,能够在用户可接受的时间范围内完成复杂的广播合并。这种方式可以大大减少数据库中的数据量和压力, 也与我们产品的某些特性配合得比较好。这种实现方式可行的前提是,用户的关注数是有限的,一般在一百左右,对社会网络的相关研究也是类似的结论。

对于 MySQL 的双 Master 如何实现,以及如何避免诸如自增 ID 等可能的数据冲突等问题,刘洪清也介绍了豆瓣的做法:

豆瓣目前的双 Master 主要是处于切换的便利性考虑,数据读写方面其实是 Master-Slave 结构,通过运维的方式来控制,同时只有一个 Master 是可写的,比如修改帐号权限等,这样就没有数据冲突的问题了。

本次百度技术沙龙的演讲资料现在已经可以下载,链接为: Web 数据交互的艺术、豆瓣数据存储实践资料下载

本次活动原计划 80 人到场,结果有 400 多人报名,近 300 人到场,组织者不得不加急调整了一个大的会议室人到场。有读者开玩笑说,百度在开拓技术社区方面开了个头彩。我们也希望类似百度这样的国内大公司能够更多地关注社区,和社区分享他们的开发经验,让信息在社区内流动起来。

2010-04-13 23:148826

评论

发布
暂无评论
发现更多内容

大数据-24 Sqoop MySQL到Hive 与 Hive到MySQL JDBC ETL MapReduce

武子康

MySQL 大数据 hdfs sqoop ETL

数字先锋 | 驱动“芯”发展,天翼云携手黑芝麻智能开启EDA上云之路!

天翼云开发者社区

云计算 超算

参赛报名|百万奖金+全球曝光:2025港科百创赛事正式启动!

声网

Dify + OceanBase + MCP:三剑合璧,轻松构建 RAG 应用

Se7en

《HarmonyOSNext极速开发指南:5大Account Kit能力一键集成,用户信息秒级获取!》

Turing_010

编程开发!Binary Ninja Mac 逆向编译工具

Rose

跨平台的数据开发和管理工具 DB Solo for Mac

Rose

Luminar AI for Mac AI 智能修图、一键增强、创意模板

Rose

AI 智能体开发的技术方案

北京木奇移动技术有限公司

AI智能体 软件外包公司 AI技术应用

Maxon Cinema 4D 2025全面集成了 Redshift 渲染器

Rose

UV Python项目环境配置指南

虚实的星空

Python uv

《HarmonyOSNext应用防崩指南:30秒定位JS Crash的破案手册》

Turing_010

AI 智能体开发的技术架构

北京木奇移动技术有限公司

AI教育 AI智能体 软件外包公司

大模型走向深度应用,CTO们的硬仗才刚刚开始

Alter

Golang基础笔记六之流程控制

Hunter熊

Go 流程控制 条件语句 循环语句 for循环

鸿蒙 SideBarContainer 开发攻略:侧边栏交互设计与多端适配

谢道韫

HarmonyOSNext应用无响应全解析:从机制到实战的卡死问题排查

Turing_010

微信小游戏开发流程

北京木奇移动技术有限公司

微信小游戏 软件外包公司 游戏外包

2D和三维家居设计和室内装饰计划 Planner 5D for Mac中文

Rose

Apeaksoft Blu-ray Player for Mac(蓝光视频播放器)

Rose

位置核验方案

天翼云开发者社区

位置核验

阿里P8面试官给校招及社招程序员的建议(JAVA岗)!

程序员高级码农

java 程序员‘

Nuclear - 基于流媒体的隐私优先音乐播放器

qife122

流媒体 音乐播放器

Mac平台必备的3D室内设计软件Live Home 3D Pro :自由设计无界限

Rose

Qt 开发 macOS 软件的流程

北京木奇移动技术有限公司

软件外包公司 QT开发 MACOS开发

Axure RP 8 密钥无效怎么版?Axure RP 8 如何设置中文?

Rose

StarRocks 向量索引如何让大模型“记性更好”?

镜舟科技

分析型数据库 大模型 StarRocks 向量索引 RAG 框架

走近华为HDC,深度感受HarmonyOS使能下的千行百业创新体验

最新动态

从0到100:房产中介小程序开发笔记(中)

CC同学

WidsMob Viewer Pro for Mac – 极速浏览 & 管理海量照片!

Rose

HarmonyOSNext华为账号一键登录:3秒完成登录的黑科技!

Turing_010

关注数据:百度首届技术沙龙总结(含资料下载)_数据库_霍太稳@极客邦科技_InfoQ精选文章