武汉的开发者们注意啦!AI技术战略、框架以及最佳实战尽在Azure OpenAI Day 了解详情
写点什么

上云这笔账,你算清了吗?分析数据上云的问题与解法

  • 2022-06-10
  • 本文字数:3996 字

    阅读完需:约 13 分钟

上云这笔账,你算清了吗?分析数据上云的问题与解法

随着越来越多的数据涌向企业,通过云服务厂商将数据上云已经成为大多数企业的共识。数据为王的时代,企业需要告别传统上云,让企业应用实现云原生。


数据上云能给企业带来诸多便利。例如,加快企业配置和部署工作,更好地管理资源;云储存带来的高扩展性,可以使得企业获得更多的资源配置等等;然而,企业数字化进程进入到一个新阶段,企业上云不再是传统方式那样把业务放入容器和 VM 中,更应该让业务“生于云、长于云”。企业云化从“ON Cloud”走向“IN Cloud”, 新生能力与既有能力有机协同、立而不破,实现资源高效、应用敏捷、业务智能、安全可信,助其成为“新云原生企业”。


云原生,即云上内生的云能力,基于统一的架构和云原生基础设施,实现多云协同、混合云解决方案、边云协同等能力。云原生时代下,企业应用数据的方式发生了根本性变化,即基于统一云基础设施的云原生数据库、大数据解决方案,将成为企业数字化转型的数据底座。


本篇文章将聚焦于不同的业务场景,探讨企业通过云原生能力进行数据上云时,面临的潜在问题以及相应的破解之法,以期帮助企业顺利实现数字化转型升级。

数据要上云,企业会有哪些顾虑?


正如上述所言,数据上云、云原生已是大趋势,通过上云,企业也能获得很多好处。目前,企业大多会依靠云服务厂商提供的数据库以及大数据平台,完成云原生改造。但是在数据存储和使用中,还存在着一些风险,同时,这些风险也是企业上云过程中非常关注的问题。


在存储方面,云原生是否真正能帮助企业降低了在数据方面的运维成本?这里所说的成本不仅包含云资源费用、人员培训等直接成本,也包含迁移及后期维护管理等间接成本。根据 2021 年软件资产管理商 Flexera 的云状态报告的数据,36% 的企业表示他们的云成本年度支出超过 1200 万美元,32% 的企业表示年度支出在 240 万~1200 万美元之间,这些数字都比去年大幅增加。由于上云需要将数据从原来的存储系统迁移到新的云存储系统中,而且目前不同厂商的云服务之间的标准不完全一致,因此,无论是从传统数据库迁移到云数据库,还是云数据库之间的迁移,都需要考虑数据库之间的兼容性以及迁移成本。


此外,具体到不同的业务场景,企业关心的侧重点也略有差异。由于金融机构在运营的过程中,在信息产生、获取、存储等环节会收集大量的数据,这些数据不仅涉及到用户隐私,甚至会影响国家经济安全。因此,金融行业对数据安全的重视程度远远高于其他行业,保证海量数据的安全性、准确性格外重要。而游戏行业对于云平台应对高并发请求的能力更加关注,一般来说,游戏都有自身的生命周期,基于前期的宣传及应用商店预约的热度,游戏上线初期就会迎来流量高峰,服务器则需要承载高并发请求,应对流量洪峰。


与存储同样重要的,还有数据的使用。技术的发展、市场需求增加,使越来越多的数据涌入,然而拥有数据不等于能解决实际问题,企业也面临着盘活数据、利用“隐形资产”——数据创造价值的挑战。2022 年埃森哲全球商业研究院发布的调研报告显示,仅 32% 的企业能够从数据中获取直观、可量化的价值;能够从中获得洞察和建议的更少,只有 27%。这说明,大部分企业虽然多年来在数据采集、存储、分析和配置上进行了投资,却并未从数据获取到具有高度可行性的洞察和建议。

企业数据上云的后顾之忧如何解决?


由于不同业务场景下,企业对数据上云有不同的要求和顾虑,这就把问题抛给了提供数据库和大数据平台服务的云服务厂商:能否给企业提供一个安全、易用的服务,通过云原生全栈能力更好地释放企业的数据价值,真正解决企业数据上云的顾虑?


在上云成本的问题上,云服务厂商在兼容性、易用性等方面均有考虑。在迁移成本方面,由于大部分互联网公司都在用开源、免费的 MySQL 数据库,因此,目前云服务厂商提供的服务几乎全部可以兼容 MySQL 数据库,甚至支持多种类型数据库的数据迁移,包括 MongoDB、MySQL 和 Redis 实例间数据迁移,使企业的迁移成本最小化;在使用成本方面,云数据库在支持快速创建实例、自动备份等方面能帮助企业快速部署和上手,降低使用与后期维护的成本。此外,云厂商们也在追求提供更“划算”的服务——企业可以只为需要的资源付费。


不仅金融行业关心数据安全性,云服务商也极其重视数据中心的安全,因此会采取诸多措施来为客户数据提供安全的环境,例如,物理数据中心安全、安全软件、信任根硬件、容灾备份等。具体来说,数据库的数据安全性会从可用性、完整性、隐私性三方面进行考虑,用数据备份、数字签名、身份验证等手段,保障数据的隐私和安全。而在应对类似游戏场景的高并发需求时,云计算中弹性伸缩技术发挥着非常重要的作用。对于数据库的架构而言,弹性伸缩需要考虑事务执行的先后次序,这意味着需要将存算分离,以根据业务的应用负载自动伸缩,灵活动态地分配或者释放资源。结合弹性计费策略,也能节约企业日常维护的开支。


同时,对于云服务厂商来说,如何帮助企业把数据价值更好地释放出来也是一个很大的挑战。传统的流计算和批处理分离的系统架构,限制了任务处理的速度,而流批一体则很好地解决了上述问题,对数据源、开发、计算、存储等方面进行统一,不仅降低了开发和运维成本,也消除重复的计算框架带来的逻辑不一致性,最大程度实现实时计算。同时,有全栈技术能力的一站式大数据分析平台也在崛起,能帮助企业在短时间内完成部署,打通多个业务系统数据,快速使用数据分析、运维、可视化等工具盘活数据价值。

华为云是如何给不同业务场景做支撑的?


如前文所述,随着大量数据的不断产生,不同的业务场景下对云服务厂商提出新的要求。在这种情况下,华为云吸引了很多人的目光,在传统制造、金融,以及大型游戏等行业的数据上云中,都有华为云数据库及大数据平台支撑的身影。


在数据存储、传输、计算方面,华为云数据库在华为累积多年的数据库研发、搭建和维护经验的基础上,结合数据库云化改造、云原生技术形成一站式数据库上云解决方案;而在数据流转、释放价值方面,华为云大数据包含单集群最大支持 6 万节点的 MRS 云原生数据湖服务、完全托管的 DLI 数据探索服务、创新的可信智能计算服务 TICS 以及 DGC 数据湖治理中心服务等,这些产品同华为云的计算、存储等有机结合,形成了大数据平台与生态。


以中国第一汽车集团有限公司(以下简称“中国一汽”)的上云过程为例,作为制造业最核心的生产系统,红旗 ERP 的微服务改造非常重要,在兼容性、海量扩展压力、性能压力以及可靠性方面均提出了比较高的要求。面对这些挑战,华为云用云原生数据库 GaussDB(for MySQL) 取代了之前系统相对封闭的主流商业数据库,提供了在云上和本地部署体验一致的云数据库服务,性能较开源数据库提升了 7 倍,降低数据库使用成本的同时,也提升了 ERP 系统的整体性能,真正做到了为传统企业“降本增效”赋能。


在安全、可靠方面,华为云的能力在支撑甘肃省医疗保障信息平台上线的过程中得到验证。由于医保业务属于类金融类的民生业务,因此需要具备故障自动切换的高可用能力和数据完整灾备能力,华为云分布式数据库 DDM 和云数据库 RDS for MySQL 共同承载起了甘肃省医保信息平台数十个业务系统的数字底座:

在安全可靠性方面,华为云数据库具备独立的知识产权,有 15+ 安全认证,也是国内首家获得应用安全标准 ISO/IEC 27034 和云安全 CSA STAR V4 认证,满足国家医保局对于应用国产化数据库的要求;

在响应速度方面,华为云数据库利用各项技术缩短 SQL 响应时间,从新平台的实际运行效果来看,其门诊结算系统响应速度从单次平均 5 秒提高到了单次平均 0.9 秒,入院办理系统从单次平均 3 秒提高到单次平均 0.4 秒,住院结算系统从单次平均 10 秒提高到单次平均 1.9 秒。业务请求端到端时延得到提升,减少了群众就医结算的等待时间;

在应对高并发、数据量大的问题方面,华为云数据库具备分库分表的能力,可通过增加节点实现性能和容量的线性增长,而且单集群数据库性能可达百万级 QPS,最高可实现 PB 级的存储容量;

在容灾方面,数据库基于其高可用架构,能够保障在平台出现故障时做到同数据中心故障自动秒级切换,并且通过数据复制服务 DRS 实现跨 Region 数据完整灾备,遇到故障时能确保业务的连续性和安全性。


同时,在大数据平台的实际应用中,架构灵活、开放共享以及轻量级对于助力企业挖掘数据价值有着重要作用,以华为云大数据平台在互联网出行和零售场景的应用为例。


前者面临着乘客用车后“长尾支付”带来的冷热数据随机更新、数据加工场景下的级联更新带来的数据处理进度慢的问题;同时,原有架构复杂,难以快速演进更新验证司机身份等关键功能。对此,华为云 FusionInsight 对 Hudi 开源做了大量创新,让该技术可以和众多的大数据组件得以高效集成,用增量更新的方式解决 T3 出行“长尾支付”难题;此外,将湖仓一体的存算分离架构优化,一份数据同时支持大数据分析和 AI 分析,采用像管理代码一样管理数据,让机器学习的效率更高,提升乘客的安全体验。


后者——五粮液则在线上购物和疫情的双重影响下,面临着业务增长放缓、数据散落分布,无法指导业务、只能看到进销存数据,无法得知产品流向及终端销售情况等问题。基于华为数据咨询服务和 Fusioninsight 智能数据湖,将巡店、云店、进销存、数据看板等数据高效协同,构建了统一的数据底座,通过实时掌握消费者习惯、各库存变化等信息,对消费者的个性化产品推荐及生产、投放策略进行规划,在试运行的 20 家智慧门店销售额提升了 150%。借助华为云大数据解决方案,企业可以快速获得数据分析和洞察,让数据的价值在业务发展中得到实现。

写在最后


随着物联网时代的到来,信息交互将越来越庞杂,数据将继续以几何级爆炸增长。面对更大规模,更复杂的数据,企业也将会在数据云原生的过程中应对更多挑战。目前,华为云无疑从稳定性、安全性、低成本、易用性等方面,给出了一个优秀的可选项。未来,华为云等云服务厂商会在企业云原生之路上带来哪些惊喜?我们一起期待。

2022-06-10 14:584588

评论

发布
暂无评论
发现更多内容

2023年实用性好的堡垒机推荐

行云管家

网络安全 堡垒机

2023年好用的谷歌浏览器插件推荐(Chrome必备扩展程序) 安装教程

互联网搬砖工作者

XLD音频无损解码器:X Lossless Decoder中文激活版

真大的脸盆

Mac Mac 软件 音频解码 音频处理工具 音频管理

融合低代码与GPT,微软的又一个神奇颠覆

ToB行业头条

Downie Mac使用教程:如何下载B站(哔哩哔哩)高清视频?Downie4许可证

魔仙苹果mac堡

苹果 bilibili Downie下载

软件测试/测试开发丨iOS自动化真机测试验证环境过程中常见问题

测试人

软件测试 自动化测试 测试开发 ios测试

扫一扫,原来这么简单

HMS Core

HMS Core

手把手教你如何使用MyBatisPlus

Java你猿哥

mybatis 实战 Mybatis-Plus

2023飞书未来无限大会谢欣演讲highlight:三件套、Office提升、出海

B Impact

自动化回归测试平台 AREX 0.2.7 版本正式发布!

AREX 中文社区

开源 自动化测试 接口测试 回归测试

Metasequoia 激活版(水杉三维模型游戏建模)

魔仙苹果mac堡

水杉3D建模 Metasequoia 4 破解

太厉害了!GitHub上标星80K的微服务实战笔记,看完跪了

做梦都在改BUG

Java 微服务 Spring Cloud Spring Cloud Aliababa

软件测试/测试开发丨app自动化测试之Appium 源码修改定制分析

测试人

软件测试 自动化测试 测试开发 appium

火山引擎VeDI零售行业解决方案 聚焦精准营销场景提升品牌转化

字节跳动数据平台

大数据 云服务 数据平台 企业号 3 月 PK 榜

用 JavaScript 写出一个彩票系统?

泰罗凹凸曼

JavaScript 前端

bitget合约一键跟单社区交易平台开发功能以及模式分析

开发微hkkf5566

文档智能分析产业实践,基于PP-StructureV2和OpenVINO实现训练部署开发全流程

飞桨PaddlePaddle

Python Dev Day@北京站,我们来啦!

PyChina

安装Agisoft Metashape Pro的Mac电脑配置要求

魔仙苹果mac堡

三维建模 Agisoft Metashape配置

记一次 rr 和硬件断点解决内存踩踏问题

NebulaGraph

数据库 debug

瓴羊Quick BI数据门户,让管理企业像浏览网页一样轻松

对不起该用户已成仙‖

电力行业等保定级评级依据是什么?分为几个等级?

行云管家

电力 等保 等保测评

在 Kubernetes 中部署应用交付服务(第 1 部分)

NGINX开源社区

小程序营销模板的发展现状及前景分析

没有用户名丶

小程序

丝滑!用了这款开发工具,我成了整个公司代码写得最秀的码农

这我可不懂

程序员 码农 低代码 JNPF

国际版语音房聊天APP,视频语音平台开发搭建经验及后台项目简要说明

山东布谷科技胡月

语音聊天系统 语音直播app开发 国际版语音直播APP 国际版语音系统源码 语音聊天房系统搭建

adobe应用安装提示【错误代码1】解决方法~

魔仙苹果mac堡

adobe adobe安装错误

蛇形走线用在哪里,一文告诉你

华秋PCB

信号 PCB PCB设计 布线 滤波

精华抢先看|龙蜥社区操作系统安全两大白皮书即将重磅发布

OpenAnolis小助手

操作系统 白皮书 系统安全 Meetup 龙蜥社区

忘记英文单词拼写怎么办?试试OS X 系统的英文补全功能

魔仙苹果mac堡

mac电脑 英文补全功能

ONES 入选北大光华 MBA 整合实践项目,推动校企合作

万事ONES

上云这笔账,你算清了吗?分析数据上云的问题与解法_云原生_任传英_InfoQ精选文章