AICon上海「Agent与多模态解决方案专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

权威指南:Serverless 未来十年发展解读(下)

  • 2021-03-07
  • 本文字数:2896 字

    阅读完需:约 10 分钟

权威指南:Serverless 未来十年发展解读(下)

Serverless 研究成果和亮点


第三个研究课题主要是 Serverless 文件系统 —— 状态性方面的优化,也是非常有价值的一个方向。


下面的图可以解释当前 Serverless 计算的状态共享/存储模式。当前有两个层面,在计算层,主要通过 FaaS 提供服务,其特点是实例之间相互隔离,并且只有短暂的状态性。短暂的状态性指的是 FaaS 服务运行完毕后,实例销毁,状态也随之销毁。如果希望永久存储,则需要持续的写入到存储层(例如对象存储、K-V 存储等)即 BaaS 服务中,实现状态信息的长期存储和共享。



但当前这样的模式面临两个主要的问题:(26:31)


一方面是延迟问题,也是许多 BaaS 服务目前存在的问题;另一方面,对象存储或者 K-V 存储是通过 API 进行服务的,并不能感知到底层的存储情况,因此在开发应用或迁移时难以信任这些存储资源(改变了以往的开发使用方式)。所以我们的诉求很简单,是否可以提供类似本地磁盘一样的存储能力,区别只是在云端呢?



这就是 Serverless 云函数文件系统(CFFS, Cloud Function File System)所要提供的能力。该文件系统有以下几个特点:


  1. 基于标准 POSIX API 的文件系统,提供持久化的存储能力。

  2. CFFS 提供了透明传输机制,也就是在函数启动时,CFFS 也随之启动一个传输;而当函数销毁时,这个传输会被提交。这样做可以获取到函数执行过程中的许多状态信息。

  3. 虽然通常情况下传输会对性能有影响,但如果能够积极利用本地状态和缓存,这种方式相比传统的文件存储系统,对性能有很好的提升。



下面是 CFFS 的架构图,可以看出 CFFS 在云服务商的 FaaS 环境中运行,在前端通过标准的 POSIX API 进行调用,后端的存储系统则利用缓存等,专为云函数 FaaS 设计并提供服务。



参考文献:

  • http://www.hpts.ws/papers/2019/schleier-smith-hpts-2019.pdf


第四个研究课题 Cloudburst 也是致力于解决 Serverless 中状态问题的项目。 Cloudburst 更侧重于怎样将 Serverless 应用在状态敏感、延时敏感的应用场景中。例如社交网络、游戏、机器学习预测等。


Cloudburst 主要基于 Python 环境,能够低延迟的获取共享可变状态(shared mutable state),和 CFFS 类似, Cloudburst 也在函数执行器中利用了数据缓存来提升性能,但和 CFFS 不同的是,Cloudburst 可以保证因果一致性(Causal Consistency)来达到更好的性能。



实验结果上也表明 Cloudburst 有很强的性能优势。在相同条件下,用了 DynamoDB(K-V 数据库)服务的 Lambda 函数约有 239 ms 的延迟,但用 Cloudburst 的延迟低于 10 ms。



参考文献:

  • https://github.com/hydro-project/cloudburst

  • https://arxiv.org/pdf/2001.04592.pdf


最后一个研究课题是 Serverless 数据中心。当我们思考服务器的组成时,一般会想到 CPU,内存,有时候还有 GPU 和硬盘这些基本硬件。而千千万万这些硬件组合在一起,之后进行网络连接,就成了数据中心。像个人电脑、服务器集群等都是通过这样的方式构建的。



但是从应用层的角度,这样的组合方式并不是唯一的。所以有一种新的概念叫做分布式集群(distributed datecenter),也叫 Warehouse-scale computer,思路是将同类型的硬件元素(例如 CPU、内容)组合在一起,当应用用到对应的资源时,例如需要 GPU 加速时,才会分配对应的资源。同理,可以用在硬盘或者一些自定义的加速器上面。这个概念类似于将一个数据中心看做一台计算机,来提升资源的利用率。



针对 Warehouse-scale computer 的硬件开发已经在持续进行中了,因此 Serverless 也应该考虑下在这种集群模式下,怎样适配和使用这种集群模式。而且这也将对当前针对单机的应用开发模式做出改变。


参考文献:

  • https://www.usenix.org/conference/fast14/technical-sessions/presentation/keynote

  • https://www.usenix.org/sites/default/files/conference/protected-files/fast14_asanovic.pdf


Serverless 方向预测


接下来,我将阐述下 Berkeley 对 Serverless 计算未来方向的预测。早在 2009 年,Berkeley 就对云计算的未来做过一次预测。回看当时的分析,发现有些预测是正确的,例如无限大的资源池,无需为前期使用付费等。同时,有一些预测并不那么准确,因为当时的我们并没有看到云计算将进入第二阶段,即 Serverless 阶段。



以下是我们对 Serverless 计算的预测:


  1. 特定应用场景及通用场景将会成为使用 Serverless 计算的主流。如下图所示,云服务商负责的是粉色区域的部分,而用户只关心粉色区域的上层。在特定应用场景下,你可以在弹性伸缩的平台中实现特定的操作,例如写数据库、实时数据队列、或者机器学习等。这些场景中,用户业务代码需要在遵循平台限制,例如运行环境、运行时长、没有 GPU 加速等,当然这些限制也会随着技术成熟而逐步放宽,从而更好地支持这些场景。

  2. 另一种则是更通用的 Serverless 架构,在这种场景下,你的 FaaS 函数会被其他 BaaS 服务所拓展,例如 Starburst、缓存等服务;并且有对象存储或文件存储可以用于长期存储状态信息。之后,在此基础上,用户可以自定义一些软件服务,例如提供 SQL 的能力等,并且将对应的应用运行在上面,从而实现流数据处理、机器学习等各种场景。



通用的 Serverless 几乎能够支持任何应用场景,从底层架构上来看,所有能运行在服务器上的场景,都可以被视为通用 Serverless 场景支持。



  1. 我们认为在未来,Serverless 架构比服务器在成本上会更有竞争力,当你用了 serverless 架构时,就已经获得了高可靠,弹性扩缩容的能力。此外,Serverless 的计费模式会更加精确,资源利用率也将逐步提升,确保做到真正的按需使用和付费。因此相比预留资源,在价格上会更有竞争力,更多的人也会因此选择 Serverless 架构。



  1. 此外,云服务商会针对机器学习场景做优化,包括性能、效率和可靠性等方面。云服务商会提供一些类似工作流调度,环境配置等能力来实现该场景的支持(例如预置内存)。通过这些上下游能力,也可以进一步帮助通用场景下的平台性能得到提升。



  1. 最后,是各类硬件方面的发展。当前云计算已经强依赖 X86 架构,但 Serverless 可以考虑引入新的架构,从而让用户或云服务商自行选择最适合的硬件来处理任务,从而实现更高的利用率和更强的性能。



总结 Summary


首先,我们认为 Serverless 计算是云计算的下一个阶段。而 Serverless 最重要的三个特征是:隐藏了服务器的复杂概念、按需付费和弹性伸缩。此外 Serverless 的实现是由 FaaS 和 BaaS 共同组成的(参考上面的经典案例)。直观来说,Serverless 带来的转变就像租车到打车一样。


此外,还分享了几个当前学术界针对 Serverless 的研究方向。包括效率提升(性能、可用性等)、具体应用的抽象(例如机器学习,数据处理等),和通用层面的抽象(让 Serverless 支持更加通用的场景)。


Serverless 计算可能会改变我们对计算机的看法,摆脱了本机硬件的限制,你可以直接从云端获取无限的资源,随取随用。




头图:Unsplash

作者:Johann

原文:https://mp.weixin.qq.com/s/3yqDTTN-96VFSTtqOs6RXg

原文:权威指南:Serverless 未来十年发展解读 — 伯克利分校实验室分享(下)

来源:TencentServerless - 微信公众号 [ID:ServerlessGo]

转载:著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

2021-03-07 23:333519

评论

发布
暂无评论
发现更多内容

基于TiDB的应用多活架构

陈一之

TiDB 多活容灾 应用多活

通义灵码 Rules 库合集来了,覆盖Java、TypeScript、Python、Go、JavaScript 等

阿里云云效

阿里云 云原生 通义灵码

真正懂生产的工业智能体长啥样?一个评测告诉你答案

王吉伟频道

工业互联网 智能体 工业智能体 Agents 工业大模型

【IoTDB 线上小课 14】我们为什么要做树表双模型?

Apache IoTDB

云备份技术解析:云备份 CT-CBR 关键技术介绍

天翼云开发者社区

云备份

超实用!用FunctionCall实现快递AI助手

王磊

云智赋能,绘就农业强国新图景!

天翼云开发者社区

智慧农业 数字孪生 农业数字化

龙蜥邀您参加 2025 全国大学生计算机系统能力大赛操作系统设计赛

OpenAnolis小助手

操作系统 开源大赛

让我看看有多少人不知道Vue3中也能实现高阶组件HOC

不在线第一只蜗牛

Java JavaScript 前端

CAD怎么将实体转换为网格

极客天地

AI阅读眼动就翻页,领权益解锁HUAWEI Pura X内容新体验

最新动态

重大升级| SecGPT V2.0:打造真正“懂安全”的大模型

云起无垠

Anolis OS 8.10 发布:软硬协同优化,满足多行业实际应用需求

OpenAnolis小助手

操作系统 龙蜥社区 龙蜥操作系统 Anolis OS

2025 全球分布式云大会演讲实录 | 沈建发:智启边缘,畅想未来:边缘计算新场景落地与 Al 趋势新畅想

火山引擎边缘云

人工智能 边缘计算 AI 大底座 边缘智能

小白速进!30 天吃透低代码,全是超绝干货!

代码制造者

低代码 自学 无代码

深度探讨操作系统运维、软件选型等社区标准,龙蜥标准化 SIG MeetUp 圆满举办

OpenAnolis小助手

操作系统 龙蜥社区 龙蜥sig 标准化 SIG 龙蜥meetup

CAD怎么根据浮动范围选择圆

极客天地

数字先锋|文化传承新引擎:班智达科研项目云端腾飞!

天翼云开发者社区

云服务 教育数字化

本周六,龙蜥社区邀您共赴第三届 eBPF 开发者大会

OpenAnolis小助手

操作系统 龙蜥社区 eBPF开发者大会

赋能能源 | 智慧数据,构建更高效智能的储能管理系统

KaiwuDB

数据库 kwdb

深入研究:微店商品详情API接口详解

tbapi

微店商品详情接口 微店API 微店数据采集

Java 开发玩转 MCP:从 Claude 自动化到 Spring AI Alibaba 生态整合

阿里巴巴云原生

Java

StarRocks Community Monthly Newsletter (Mar)

StarRocks

OLAP 存算分离架构 StarRocks 湖仓一体 数据库 大数据

虚拟化NFSoRDMA基础的分离式存储解决方案,用于AI工作负载

Sergey Platonov

性能测试 虚拟化 高性能计算, 高性能计算架构

阿里云OSS应对DDoS攻击策略

网络安全服务

阿里云 CDN 域名解析 DDoS DDoS 攻击

行业热点丨为什么AI驱动工程对汽车设计和轻量化至关重要?

Altair RapidMiner

人工智能 AI 汽车 数字孪生 CAE

CAD如何放大图纸

极客天地

通义灵码 Rules 库合集来了,覆盖Java、TypeScript、Python、Go、JavaScript 等

阿里巴巴云原生

阿里云 云原生 通义灵码

技术干货推荐:高效解决性能瓶颈与抖动之进程热点追踪

OpenAnolis小助手

操作系统 SysOM 操作系统控制台

Sentinel源码—ProcessorSlot的执行过程

电子尖叫食人鱼

如何与Cursor结对编程?

RockBot

AI技术实践 cursor

权威指南:Serverless 未来十年发展解读(下)_架构_TencentServerless_InfoQ精选文章