【AICon 全球人工智能与大模型开发与应用大会】改变 AI 时代下写代码的模式 >>> 了解详情
写点什么

上云这笔账,你算清了吗?分析数据上云的问题与解法

  • 2022-06-10
  • 本文字数:3996 字

    阅读完需:约 13 分钟

上云这笔账,你算清了吗?分析数据上云的问题与解法

随着越来越多的数据涌向企业,通过云服务厂商将数据上云已经成为大多数企业的共识。数据为王的时代,企业需要告别传统上云,让企业应用实现云原生。


数据上云能给企业带来诸多便利。例如,加快企业配置和部署工作,更好地管理资源;云储存带来的高扩展性,可以使得企业获得更多的资源配置等等;然而,企业数字化进程进入到一个新阶段,企业上云不再是传统方式那样把业务放入容器和 VM 中,更应该让业务“生于云、长于云”。企业云化从“ON Cloud”走向“IN Cloud”, 新生能力与既有能力有机协同、立而不破,实现资源高效、应用敏捷、业务智能、安全可信,助其成为“新云原生企业”。


云原生,即云上内生的云能力,基于统一的架构和云原生基础设施,实现多云协同、混合云解决方案、边云协同等能力。云原生时代下,企业应用数据的方式发生了根本性变化,即基于统一云基础设施的云原生数据库、大数据解决方案,将成为企业数字化转型的数据底座。


本篇文章将聚焦于不同的业务场景,探讨企业通过云原生能力进行数据上云时,面临的潜在问题以及相应的破解之法,以期帮助企业顺利实现数字化转型升级。

数据要上云,企业会有哪些顾虑?


正如上述所言,数据上云、云原生已是大趋势,通过上云,企业也能获得很多好处。目前,企业大多会依靠云服务厂商提供的数据库以及大数据平台,完成云原生改造。但是在数据存储和使用中,还存在着一些风险,同时,这些风险也是企业上云过程中非常关注的问题。


在存储方面,云原生是否真正能帮助企业降低了在数据方面的运维成本?这里所说的成本不仅包含云资源费用、人员培训等直接成本,也包含迁移及后期维护管理等间接成本。根据 2021 年软件资产管理商 Flexera 的云状态报告的数据,36% 的企业表示他们的云成本年度支出超过 1200 万美元,32% 的企业表示年度支出在 240 万~1200 万美元之间,这些数字都比去年大幅增加。由于上云需要将数据从原来的存储系统迁移到新的云存储系统中,而且目前不同厂商的云服务之间的标准不完全一致,因此,无论是从传统数据库迁移到云数据库,还是云数据库之间的迁移,都需要考虑数据库之间的兼容性以及迁移成本。


此外,具体到不同的业务场景,企业关心的侧重点也略有差异。由于金融机构在运营的过程中,在信息产生、获取、存储等环节会收集大量的数据,这些数据不仅涉及到用户隐私,甚至会影响国家经济安全。因此,金融行业对数据安全的重视程度远远高于其他行业,保证海量数据的安全性、准确性格外重要。而游戏行业对于云平台应对高并发请求的能力更加关注,一般来说,游戏都有自身的生命周期,基于前期的宣传及应用商店预约的热度,游戏上线初期就会迎来流量高峰,服务器则需要承载高并发请求,应对流量洪峰。


与存储同样重要的,还有数据的使用。技术的发展、市场需求增加,使越来越多的数据涌入,然而拥有数据不等于能解决实际问题,企业也面临着盘活数据、利用“隐形资产”——数据创造价值的挑战。2022 年埃森哲全球商业研究院发布的调研报告显示,仅 32% 的企业能够从数据中获取直观、可量化的价值;能够从中获得洞察和建议的更少,只有 27%。这说明,大部分企业虽然多年来在数据采集、存储、分析和配置上进行了投资,却并未从数据获取到具有高度可行性的洞察和建议。

企业数据上云的后顾之忧如何解决?


由于不同业务场景下,企业对数据上云有不同的要求和顾虑,这就把问题抛给了提供数据库和大数据平台服务的云服务厂商:能否给企业提供一个安全、易用的服务,通过云原生全栈能力更好地释放企业的数据价值,真正解决企业数据上云的顾虑?


在上云成本的问题上,云服务厂商在兼容性、易用性等方面均有考虑。在迁移成本方面,由于大部分互联网公司都在用开源、免费的 MySQL 数据库,因此,目前云服务厂商提供的服务几乎全部可以兼容 MySQL 数据库,甚至支持多种类型数据库的数据迁移,包括 MongoDB、MySQL 和 Redis 实例间数据迁移,使企业的迁移成本最小化;在使用成本方面,云数据库在支持快速创建实例、自动备份等方面能帮助企业快速部署和上手,降低使用与后期维护的成本。此外,云厂商们也在追求提供更“划算”的服务——企业可以只为需要的资源付费。


不仅金融行业关心数据安全性,云服务商也极其重视数据中心的安全,因此会采取诸多措施来为客户数据提供安全的环境,例如,物理数据中心安全、安全软件、信任根硬件、容灾备份等。具体来说,数据库的数据安全性会从可用性、完整性、隐私性三方面进行考虑,用数据备份、数字签名、身份验证等手段,保障数据的隐私和安全。而在应对类似游戏场景的高并发需求时,云计算中弹性伸缩技术发挥着非常重要的作用。对于数据库的架构而言,弹性伸缩需要考虑事务执行的先后次序,这意味着需要将存算分离,以根据业务的应用负载自动伸缩,灵活动态地分配或者释放资源。结合弹性计费策略,也能节约企业日常维护的开支。


同时,对于云服务厂商来说,如何帮助企业把数据价值更好地释放出来也是一个很大的挑战。传统的流计算和批处理分离的系统架构,限制了任务处理的速度,而流批一体则很好地解决了上述问题,对数据源、开发、计算、存储等方面进行统一,不仅降低了开发和运维成本,也消除重复的计算框架带来的逻辑不一致性,最大程度实现实时计算。同时,有全栈技术能力的一站式大数据分析平台也在崛起,能帮助企业在短时间内完成部署,打通多个业务系统数据,快速使用数据分析、运维、可视化等工具盘活数据价值。

华为云是如何给不同业务场景做支撑的?


如前文所述,随着大量数据的不断产生,不同的业务场景下对云服务厂商提出新的要求。在这种情况下,华为云吸引了很多人的目光,在传统制造、金融,以及大型游戏等行业的数据上云中,都有华为云数据库及大数据平台支撑的身影。


在数据存储、传输、计算方面,华为云数据库在华为累积多年的数据库研发、搭建和维护经验的基础上,结合数据库云化改造、云原生技术形成一站式数据库上云解决方案;而在数据流转、释放价值方面,华为云大数据包含单集群最大支持 6 万节点的 MRS 云原生数据湖服务、完全托管的 DLI 数据探索服务、创新的可信智能计算服务 TICS 以及 DGC 数据湖治理中心服务等,这些产品同华为云的计算、存储等有机结合,形成了大数据平台与生态。


以中国第一汽车集团有限公司(以下简称“中国一汽”)的上云过程为例,作为制造业最核心的生产系统,红旗 ERP 的微服务改造非常重要,在兼容性、海量扩展压力、性能压力以及可靠性方面均提出了比较高的要求。面对这些挑战,华为云用云原生数据库 GaussDB(for MySQL) 取代了之前系统相对封闭的主流商业数据库,提供了在云上和本地部署体验一致的云数据库服务,性能较开源数据库提升了 7 倍,降低数据库使用成本的同时,也提升了 ERP 系统的整体性能,真正做到了为传统企业“降本增效”赋能。


在安全、可靠方面,华为云的能力在支撑甘肃省医疗保障信息平台上线的过程中得到验证。由于医保业务属于类金融类的民生业务,因此需要具备故障自动切换的高可用能力和数据完整灾备能力,华为云分布式数据库 DDM 和云数据库 RDS for MySQL 共同承载起了甘肃省医保信息平台数十个业务系统的数字底座:

在安全可靠性方面,华为云数据库具备独立的知识产权,有 15+ 安全认证,也是国内首家获得应用安全标准 ISO/IEC 27034 和云安全 CSA STAR V4 认证,满足国家医保局对于应用国产化数据库的要求;

在响应速度方面,华为云数据库利用各项技术缩短 SQL 响应时间,从新平台的实际运行效果来看,其门诊结算系统响应速度从单次平均 5 秒提高到了单次平均 0.9 秒,入院办理系统从单次平均 3 秒提高到单次平均 0.4 秒,住院结算系统从单次平均 10 秒提高到单次平均 1.9 秒。业务请求端到端时延得到提升,减少了群众就医结算的等待时间;

在应对高并发、数据量大的问题方面,华为云数据库具备分库分表的能力,可通过增加节点实现性能和容量的线性增长,而且单集群数据库性能可达百万级 QPS,最高可实现 PB 级的存储容量;

在容灾方面,数据库基于其高可用架构,能够保障在平台出现故障时做到同数据中心故障自动秒级切换,并且通过数据复制服务 DRS 实现跨 Region 数据完整灾备,遇到故障时能确保业务的连续性和安全性。


同时,在大数据平台的实际应用中,架构灵活、开放共享以及轻量级对于助力企业挖掘数据价值有着重要作用,以华为云大数据平台在互联网出行和零售场景的应用为例。


前者面临着乘客用车后“长尾支付”带来的冷热数据随机更新、数据加工场景下的级联更新带来的数据处理进度慢的问题;同时,原有架构复杂,难以快速演进更新验证司机身份等关键功能。对此,华为云 FusionInsight 对 Hudi 开源做了大量创新,让该技术可以和众多的大数据组件得以高效集成,用增量更新的方式解决 T3 出行“长尾支付”难题;此外,将湖仓一体的存算分离架构优化,一份数据同时支持大数据分析和 AI 分析,采用像管理代码一样管理数据,让机器学习的效率更高,提升乘客的安全体验。


后者——五粮液则在线上购物和疫情的双重影响下,面临着业务增长放缓、数据散落分布,无法指导业务、只能看到进销存数据,无法得知产品流向及终端销售情况等问题。基于华为数据咨询服务和 Fusioninsight 智能数据湖,将巡店、云店、进销存、数据看板等数据高效协同,构建了统一的数据底座,通过实时掌握消费者习惯、各库存变化等信息,对消费者的个性化产品推荐及生产、投放策略进行规划,在试运行的 20 家智慧门店销售额提升了 150%。借助华为云大数据解决方案,企业可以快速获得数据分析和洞察,让数据的价值在业务发展中得到实现。

写在最后


随着物联网时代的到来,信息交互将越来越庞杂,数据将继续以几何级爆炸增长。面对更大规模,更复杂的数据,企业也将会在数据云原生的过程中应对更多挑战。目前,华为云无疑从稳定性、安全性、低成本、易用性等方面,给出了一个优秀的可选项。未来,华为云等云服务厂商会在企业云原生之路上带来哪些惊喜?我们一起期待。

2022-06-10 14:584574

评论

发布
暂无评论
发现更多内容

小姐姐面试蚂蚁金服被虐经历,哪吒心疼.

通天哪吒

面试

Python中 *args 和 **kwargs的用法

BigYoung

Python *args **kwargs 缺省参数

架构师训练营第五周学习总结

R20114

第五章作业

小胖子

如何写一份合格的技术简历?

通天哪吒

面试

猿灯塔:spring Boot Starter开发及源码刨析(一)

猿灯塔

Java 源码剖析

[架构师训练营] Week02 - 学习总结

谭方敏

你不知道的 Blob

阿宝哥

Java 大前端 Web Blob

第五周作业

我终于弄懂了Python的装饰器(三)

BigYoung

Python 装饰器

出成绩了!Avaddon勒索病毒劣迹昭著,6月勒索病毒占比TOP 10榜上有名

360安全卫士

勒索病毒

我终于弄懂了Python的装饰器(二)

BigYoung

Python 装饰器

编程能力 —— TicTacToe(井字棋)

wendraw

Java 大前端 编程能力

环信即时通讯云荣获《2020年度云通讯产品创新奖》

DT极客

Python 中的元类到底是什么?这篇恐怕是最清楚的了

BigYoung

Python python元类

区块链或将成为整治形式官僚主义的“大杀器”

CECBC

智能合约 去中心 防篡改 服务高效性

计算机操作系统基础(十六)---进程同步之共享内存

书旅

php laravel 操作系统 进程 线程’

Java中异常处理的9个最佳实践

码农神说

异常

架构师训练营-第5周作业

坂田吴奇隆

极客大学架构师训练营

架构师训练营-第5周总结

坂田吴奇隆

极客大学架构师训练营

一篇文章深入理解JDK7 HashMap

itlemon

hashmap map 源码解析 哈希冲突

配置类需要标注@Configuration却不知原因?那这次就不能给你涨薪喽

YourBatman

spring Spring Boot Spring Framework @Configuration Spring配置类

【总结】技术选型

小胖子

Week5作业

王志祥

极客大学架构师训练营

我终于弄懂了Python的装饰器(一)

BigYoung

Python 装饰器

一篇文章深入理解JDK8 HashMap

itlemon

源码 hashmap 线程安全

一致性Hash算法

莫莫大人

极客大学架构师训练营

我终于弄懂了Python的装饰器(四)

BigYoung

Python 装饰器

你到底在忙啥呢?

池建强

创业 写作

可读代码编写炸鸡四(下篇) - 提炼注释的下一步是提炼注释

多选参数

代码质量 代码 代码组织 代码规范

第五周学习总结

上云这笔账,你算清了吗?分析数据上云的问题与解法_云原生_任传英_InfoQ精选文章