“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

百度开源项目 brpc 进入 Apache 孵化器

  • 2018-11-13
  • 本文字数:1486 字

    阅读完需:约 5 分钟

百度开源项目brpc进入Apache孵化器

InfoQ 记者从百度开源社区获悉:Apache 基金会今日凌晨投票结束,baidu-rpc 进入 Apache 孵化器。这是百度继 Echarts 和 Doris 后,第三个进入国际顶级开源社区 Apache 的项目。


brpc 是一个基于 protobuf 接口的 RPC 框架,在百度内部称为“baidu-rpc”,它囊括了百度内部所有 RPC 协议,并支持多种第三方协议,从目前的性能测试数据来看,brpc 的性能领跑于其他同类 RPC 产品。


InfoQ 在去年 9 月份一篇相关报道《百度正式开源其 RPC 框架 brpc》中采访 brpc 负责人戈君的时候,他曾经介绍了 brpc 的诞生背景以及特点和优势。“brpc 于 2014 年创建,在百度内部称为‘baidu-rpc’。到目前为止,brpc 一共进行了 3000 次左右的改动,现在仍在持续优化中,百度内的 wiki 上可以查询到每次改动的描述。brpc 的主要语言是 C++ 和 Java,对其他语言的支持主要是通过包装 C++ 版本,比如 brpc 的 Python 版包含 C++ 版的大部分功能。”


“brpc 目前支撑百度内部大约 75 万个同时在线的实例(不含 client),超过 500 种服务(去年的统计,现在已不统计这类数据)。Hadoop、Table、Mola(另一种广泛使用的存储)、高性能计算、模型训练、大量的在线检索服务都使用了 brpc。brpc 第一次统一了百度内分布式系统和业务线的通信框架。”


对于此次 brpc 进入 Apache 孵化器,百度表示:这是百度开源的又一个重要里程碑,标志着百度开源进入了一个高速发展的阶段,未来势必会开源更多优秀项目,打造更为强大的百度开源生态。


对于 brpc 开源对于百度开源生态的意义,戈君认为:“这些年百度对开源的认识也在不断加深,开源看似曝光了百度的核心技术,但带来的生态影响力更重要。从 Apollo、PaddlePaddle 开始,百度真的开始拥抱开源了。brpc 的开源版和内部版很接近,只是去掉了对百度内部独有的一些基础设施的支持,我们在内网写的深入分析 RPC 技术细节的文档也都一并开源了,后续也会及时推送改动,请大家放心。这是一个活项目,不会拉个开源分支就不管了。”

平台简介

brpc 目的是构建一套百度内统一的 RPC 框架,那么灵活的扩展性就是最基础的需求。brpc 在实现过程中非常注重机制与策略分离,支持了百度内使用的大部分 RPC 协议,方便业务无缝迁移业务到 brpc。除了协议之外,将名字服务、负载均衡和认证也采用了具体 policy 实现,比如 bns 名字服务、rr 负载均衡。



性能是 brpc 非常看重的一点,在百度一个框架性能好不好通常是第一评价要素。brpc 解决性能最核心的是一个 M:N 的线程库 bthread,通过 work stealing 实现最大可能的并发。brpc 在 Socket IO 上读和写都是 wait-free 的,实现最大可能的并发,例如 Server 端不同连接间请求的并行,同一连接上请求的并行。通过遍布 brpc 中的并发优化,brpc 相比其他 rpc 框架在长尾问题上表现更优。


平台特性

  • 支持的协议:baidu_std, http, nshead,hulu-pbrpc, sofa-pbrpc, nova-pbrpc, ubrpc, streaming-rpc, redis, memcached 等二十多种协议

  • 支持的 Naming 方式:list, file, bns, dns, remotefile

  • 支持的负载均衡策略: random, round_robin,consistant_hash, locality_aware

  • 支持的压缩方式: gzip, zlib, snappy

  • 支持的编程语言: C++, Java, Python, Go(非官方)

  • 支持的调用方式: 同步、异步、组合访问

  • 支持的连接方式:短连接、连接池、单连接、基于连接的认证机制、Giano 认证

  • 支持的高可用策略:超时、重试、backup request、取消请求、优雅退出

  • 问题定位支持:强大的 buildtin server,查看进程各种状态、debug、tracing、profing 信息

  • 基础库:common、bvar、bthread、iobuf 等强大的基础库,方便 C++编程


开源地址:


https://github.com/apache/incubator-brpc


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2018-11-13 13:5519658
用户头像
张晓楠 InfoQ总编辑

发布了 144 篇内容, 共 94.1 次阅读, 收获喜欢 378 次。

关注

评论 3 条评论

发布
用户头像
阿里Dubbo,华为ServiceComb,百度brpc。
华为ServiceComb去年进驻,今年上个月已率先在Apache毕业,成为Apache顶级项目,Dubbo也即将毕业,
祝中国开源软件发展越来越好。
2018-11-20 17:38
回复
用户头像
国产开源rpc,支持一个。
2018-11-16 23:27
回复
用户头像
牛。目前用的dubbo
2018-11-13 15:09
回复
没有更多了
发现更多内容

密码学系列之:IDEA

程序那些事

IDEA 密码学 程序那些事

「打碎质疑」,阿里云未来何止600亿?

ToB行业头条

云计算 阿里云 盈利模式

网络攻防学习笔记 Day16

穿过生命散发芬芳

5月日更 网络攻防

🍃【Spring原理系列】让你知道真正的“AOP”

洛神灬殇

spring aop 面向切面 spring aop 5月日更

Docker 存储调整的几种方法

运维研习社

Docker 5月日更 存储管理

我的Serverless实战—玩转腾讯云Wordpress

liuzhen007

Serverless 5月日更

MySQL 数据库学习笔记(2)

lenka

5月日更

【LeetCode】二叉树的堂兄弟节点Java题解

Albert

算法 LeetCode 5月日更

构建可靠的磁盘系统:故障判定和自动化处理

焱融科技

云原生 运维自动化 高性能 分布式存储 超融合

K8s二开之 client-go 初探

雪雷

Kubernetes Go 语言

比物理线程都好用的C++20的协程,你会用吗?

华为云开发者联盟

事件驱动 嵌入式 事件 主循环 C++20

模块4作业-Redis方案

高亮

架构训练营

变电站运维推陈出新?无人值守却更胜一筹

一只数据鲸鱼

数据可视化 3D可视化 智慧电网 变电站

你习惯写注释吗?

ES_her0

5月日更

SimpleDateFormat线程不安全的5种解决方案!

王磊

Java 后端 5月日更

缓存数据一致性 - 架构师峰会演讲实录

万俊峰Kevin

缓存 微服务 cache 分布式缓存 Go 语言

Golang 别名类型

escray

学习 极客时间 Go 语言 5月日更

图像灰度与灰阶的纠结:gray level/scale译文释义

老猿Python

灰度 图形图像处理 数字图像处理 灰阶 gray scale

LeetCode题解:341. 扁平化嵌套列表迭代器,DFS,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

CampusBulider(模模搭)学习笔记6:室内搭建

ThingJS数字孪生引擎

3D可视化 数字孪生

《Spring 手撸专栏》| 开篇介绍,我要带新人撸 Spring 啦!

小傅哥

spring 后端 小傅哥 面经 手撸Spring

模块四作业

c

架构实战营

Python 正则表达式

若尘

正则表达式 正则 Python编程 5月日更

垄断

小天同学

商业 市场垄断 5月日更

下周极客时间课程学习计划

IT蜗壳-Tango

5月日更

IOS端音频的采集与播放

floer rivor

音视频

系统思考力建立3个简单操纵方法

风翱

系统性思考 5月日更

模块四:课后作业

黄先生

架构训练营

三大业界大佬的DevOps解决方案

码语者

DevOps

架构实战训练营 - 模块4 - 作业

Presley

五行合一,微服务运行态建设的“内功心法”

BoCloud博云

微服务

百度开源项目brpc进入Apache孵化器_开源_张晓楠_InfoQ精选文章