QCon广州站Web 3.0 专题上线,关注基础设施及相关技术,戳此了解 了解详情
写点什么

上云这笔账,你算清了吗?分析数据上云的问题与解法

  • 2022 年 6 月 10 日
  • 本文字数:3996 字

    阅读完需:约 13 分钟

上云这笔账,你算清了吗?分析数据上云的问题与解法

随着越来越多的数据涌向企业,通过云服务厂商将数据上云已经成为大多数企业的共识。数据为王的时代,企业需要告别传统上云,让企业应用实现云原生。


数据上云能给企业带来诸多便利。例如,加快企业配置和部署工作,更好地管理资源;云储存带来的高扩展性,可以使得企业获得更多的资源配置等等;然而,企业数字化进程进入到一个新阶段,企业上云不再是传统方式那样把业务放入容器和 VM 中,更应该让业务“生于云、长于云”。企业云化从“ON Cloud”走向“IN Cloud”, 新生能力与既有能力有机协同、立而不破,实现资源高效、应用敏捷、业务智能、安全可信,助其成为“新云原生企业”。


云原生,即云上内生的云能力,基于统一的架构和云原生基础设施,实现多云协同、混合云解决方案、边云协同等能力。云原生时代下,企业应用数据的方式发生了根本性变化,即基于统一云基础设施的云原生数据库、大数据解决方案,将成为企业数字化转型的数据底座。


本篇文章将聚焦于不同的业务场景,探讨企业通过云原生能力进行数据上云时,面临的潜在问题以及相应的破解之法,以期帮助企业顺利实现数字化转型升级。

数据要上云,企业会有哪些顾虑?


正如上述所言,数据上云、云原生已是大趋势,通过上云,企业也能获得很多好处。目前,企业大多会依靠云服务厂商提供的数据库以及大数据平台,完成云原生改造。但是在数据存储和使用中,还存在着一些风险,同时,这些风险也是企业上云过程中非常关注的问题。


在存储方面,云原生是否真正能帮助企业降低了在数据方面的运维成本?这里所说的成本不仅包含云资源费用、人员培训等直接成本,也包含迁移及后期维护管理等间接成本。根据 2021 年软件资产管理商 Flexera 的云状态报告的数据,36% 的企业表示他们的云成本年度支出超过 1200 万美元,32% 的企业表示年度支出在 240 万~1200 万美元之间,这些数字都比去年大幅增加。由于上云需要将数据从原来的存储系统迁移到新的云存储系统中,而且目前不同厂商的云服务之间的标准不完全一致,因此,无论是从传统数据库迁移到云数据库,还是云数据库之间的迁移,都需要考虑数据库之间的兼容性以及迁移成本。


此外,具体到不同的业务场景,企业关心的侧重点也略有差异。由于金融机构在运营的过程中,在信息产生、获取、存储等环节会收集大量的数据,这些数据不仅涉及到用户隐私,甚至会影响国家经济安全。因此,金融行业对数据安全的重视程度远远高于其他行业,保证海量数据的安全性、准确性格外重要。而游戏行业对于云平台应对高并发请求的能力更加关注,一般来说,游戏都有自身的生命周期,基于前期的宣传及应用商店预约的热度,游戏上线初期就会迎来流量高峰,服务器则需要承载高并发请求,应对流量洪峰。


与存储同样重要的,还有数据的使用。技术的发展、市场需求增加,使越来越多的数据涌入,然而拥有数据不等于能解决实际问题,企业也面临着盘活数据、利用“隐形资产”——数据创造价值的挑战。2022 年埃森哲全球商业研究院发布的调研报告显示,仅 32% 的企业能够从数据中获取直观、可量化的价值;能够从中获得洞察和建议的更少,只有 27%。这说明,大部分企业虽然多年来在数据采集、存储、分析和配置上进行了投资,却并未从数据获取到具有高度可行性的洞察和建议。

企业数据上云的后顾之忧如何解决?


由于不同业务场景下,企业对数据上云有不同的要求和顾虑,这就把问题抛给了提供数据库和大数据平台服务的云服务厂商:能否给企业提供一个安全、易用的服务,通过云原生全栈能力更好地释放企业的数据价值,真正解决企业数据上云的顾虑?


在上云成本的问题上,云服务厂商在兼容性、易用性等方面均有考虑。在迁移成本方面,由于大部分互联网公司都在用开源、免费的 MySQL 数据库,因此,目前云服务厂商提供的服务几乎全部可以兼容 MySQL 数据库,甚至支持多种类型数据库的数据迁移,包括 MongoDB、MySQL 和 Redis 实例间数据迁移,使企业的迁移成本最小化;在使用成本方面,云数据库在支持快速创建实例、自动备份等方面能帮助企业快速部署和上手,降低使用与后期维护的成本。此外,云厂商们也在追求提供更“划算”的服务——企业可以只为需要的资源付费。


不仅金融行业关心数据安全性,云服务商也极其重视数据中心的安全,因此会采取诸多措施来为客户数据提供安全的环境,例如,物理数据中心安全、安全软件、信任根硬件、容灾备份等。具体来说,数据库的数据安全性会从可用性、完整性、隐私性三方面进行考虑,用数据备份、数字签名、身份验证等手段,保障数据的隐私和安全。而在应对类似游戏场景的高并发需求时,云计算中弹性伸缩技术发挥着非常重要的作用。对于数据库的架构而言,弹性伸缩需要考虑事务执行的先后次序,这意味着需要将存算分离,以根据业务的应用负载自动伸缩,灵活动态地分配或者释放资源。结合弹性计费策略,也能节约企业日常维护的开支。


同时,对于云服务厂商来说,如何帮助企业把数据价值更好地释放出来也是一个很大的挑战。传统的流计算和批处理分离的系统架构,限制了任务处理的速度,而流批一体则很好地解决了上述问题,对数据源、开发、计算、存储等方面进行统一,不仅降低了开发和运维成本,也消除重复的计算框架带来的逻辑不一致性,最大程度实现实时计算。同时,有全栈技术能力的一站式大数据分析平台也在崛起,能帮助企业在短时间内完成部署,打通多个业务系统数据,快速使用数据分析、运维、可视化等工具盘活数据价值。

华为云是如何给不同业务场景做支撑的?


如前文所述,随着大量数据的不断产生,不同的业务场景下对云服务厂商提出新的要求。在这种情况下,华为云吸引了很多人的目光,在传统制造、金融,以及大型游戏等行业的数据上云中,都有华为云数据库及大数据平台支撑的身影。


在数据存储、传输、计算方面,华为云数据库在华为累积多年的数据库研发、搭建和维护经验的基础上,结合数据库云化改造、云原生技术形成一站式数据库上云解决方案;而在数据流转、释放价值方面,华为云大数据包含单集群最大支持 6 万节点的 MRS 云原生数据湖服务、完全托管的 DLI 数据探索服务、创新的可信智能计算服务 TICS 以及 DGC 数据湖治理中心服务等,这些产品同华为云的计算、存储等有机结合,形成了大数据平台与生态。


以中国第一汽车集团有限公司(以下简称“中国一汽”)的上云过程为例,作为制造业最核心的生产系统,红旗 ERP 的微服务改造非常重要,在兼容性、海量扩展压力、性能压力以及可靠性方面均提出了比较高的要求。面对这些挑战,华为云用云原生数据库 GaussDB(for MySQL) 取代了之前系统相对封闭的主流商业数据库,提供了在云上和本地部署体验一致的云数据库服务,性能较开源数据库提升了 7 倍,降低数据库使用成本的同时,也提升了 ERP 系统的整体性能,真正做到了为传统企业“降本增效”赋能。


在安全、可靠方面,华为云的能力在支撑甘肃省医疗保障信息平台上线的过程中得到验证。由于医保业务属于类金融类的民生业务,因此需要具备故障自动切换的高可用能力和数据完整灾备能力,华为云分布式数据库 DDM 和云数据库 RDS for MySQL 共同承载起了甘肃省医保信息平台数十个业务系统的数字底座:

在安全可靠性方面,华为云数据库具备独立的知识产权,有 15+ 安全认证,也是国内首家获得应用安全标准 ISO/IEC 27034 和云安全 CSA STAR V4 认证,满足国家医保局对于应用国产化数据库的要求;

在响应速度方面,华为云数据库利用各项技术缩短 SQL 响应时间,从新平台的实际运行效果来看,其门诊结算系统响应速度从单次平均 5 秒提高到了单次平均 0.9 秒,入院办理系统从单次平均 3 秒提高到单次平均 0.4 秒,住院结算系统从单次平均 10 秒提高到单次平均 1.9 秒。业务请求端到端时延得到提升,减少了群众就医结算的等待时间;

在应对高并发、数据量大的问题方面,华为云数据库具备分库分表的能力,可通过增加节点实现性能和容量的线性增长,而且单集群数据库性能可达百万级 QPS,最高可实现 PB 级的存储容量;

在容灾方面,数据库基于其高可用架构,能够保障在平台出现故障时做到同数据中心故障自动秒级切换,并且通过数据复制服务 DRS 实现跨 Region 数据完整灾备,遇到故障时能确保业务的连续性和安全性。


同时,在大数据平台的实际应用中,架构灵活、开放共享以及轻量级对于助力企业挖掘数据价值有着重要作用,以华为云大数据平台在互联网出行和零售场景的应用为例。


前者面临着乘客用车后“长尾支付”带来的冷热数据随机更新、数据加工场景下的级联更新带来的数据处理进度慢的问题;同时,原有架构复杂,难以快速演进更新验证司机身份等关键功能。对此,华为云 FusionInsight 对 Hudi 开源做了大量创新,让该技术可以和众多的大数据组件得以高效集成,用增量更新的方式解决 T3 出行“长尾支付”难题;此外,将湖仓一体的存算分离架构优化,一份数据同时支持大数据分析和 AI 分析,采用像管理代码一样管理数据,让机器学习的效率更高,提升乘客的安全体验。


后者——五粮液则在线上购物和疫情的双重影响下,面临着业务增长放缓、数据散落分布,无法指导业务、只能看到进销存数据,无法得知产品流向及终端销售情况等问题。基于华为数据咨询服务和 Fusioninsight 智能数据湖,将巡店、云店、进销存、数据看板等数据高效协同,构建了统一的数据底座,通过实时掌握消费者习惯、各库存变化等信息,对消费者的个性化产品推荐及生产、投放策略进行规划,在试运行的 20 家智慧门店销售额提升了 150%。借助华为云大数据解决方案,企业可以快速获得数据分析和洞察,让数据的价值在业务发展中得到实现。

写在最后


随着物联网时代的到来,信息交互将越来越庞杂,数据将继续以几何级爆炸增长。面对更大规模,更复杂的数据,企业也将会在数据云原生的过程中应对更多挑战。目前,华为云无疑从稳定性、安全性、低成本、易用性等方面,给出了一个优秀的可选项。未来,华为云等云服务厂商会在企业云原生之路上带来哪些惊喜?我们一起期待。

2022 年 6 月 10 日 14:581571

评论

发布
暂无评论
发现更多内容

数字货币量化交易所系统开发案例

智慧平安小区搭建,智慧社区综合服务平台开发

t13823115967

智慧城市 智慧社区管理平台开发

盘点2020 | 云上建站流程全解,教你如何节约成本

老魚

云服务器 建站 盘点2020 web全栈

【年终总结】mybatis常见注解

田维常

mybatis

Linux安装MySQL标准教程

Simon

MySQL centos 安装 七日更

IPFS质押挖矿系统开发方案

阿里不允许使用 Executors 创建线程池!那怎么使用,怎么监控?

小傅哥

Java JVMTI 线程池 七日更 Executors

FGC青蛙钱包系统开发|FGC青蛙钱包软件APP开发

系统开发

全球第一个 Serverless Redis 服务:Lambda Store 免费用

donghui

redis Serverless Lambda Store

量化交易模式系统开发app案例

天源迪科获2020年度中国产业供应链(中央企业集采供应链)百强企业荣誉

DT极客

区块链多币种钱包app系统开发

文件写入的6种方法,这种方法性能最好

王磊

Java io 文件读写 文件操作 文件写入

第十三周 作业

熊桂平

极客大学架构师训练营

什么是定点数?

Kaito

计算机基础

数字货币持币生息钱包系统开发案例

区块链钱包软件系统开发及费用

区块链交易所系统开发,合约交易模式软件方案

Kafka的控制器controller详解

数据社

kafka 七日更

智慧公安防控管理,重点人员管控系统建设方案

t13823115967

智慧公安 情报研判系统建设

Java并发编程:AQS的互斥锁与共享锁

码农架构

Java Java并发

Spring Cloud微服务实战

田维常

微服务

数字货币交易所币币OTC交易系统开发

第十三周 学习总结

熊桂平

极客大学架构师训练营

RPC 核心,万变不离其宗

yes

Java 微服务 后端 RPC

菜鸟实时数仓2.0进阶之路

Apache Flink

flink 流计算

还记得你的时间胶囊吗?

熊斌

个人成长 七日更

数字资产交易所系统开发交易平台APP

IDC发布2021年中国云计算10大预测;Docker 桌面为 M1 推出技术预览版

京东科技开发者

云计算 AI 程序人生

2020年,关于【区块链运营】工作的11条思考

猫Buboo

比特币 区块链+

23 种设计模式的有趣见解

xcbeyond

设计模式 七日更

“芯”有灵“蜥” 走进 Intel MeetUp

“芯”有灵“蜥” 走进 Intel MeetUp

上云这笔账,你算清了吗?分析数据上云的问题与解法_云原生_任传英_InfoQ精选文章