阿里云「飞天发布时刻」2024来啦!新产品、新特性、新能力、新方案,等你来探~ 了解详情
写点什么

上云这笔账,你算清了吗?分析数据上云的问题与解法

  • 2022-06-10
  • 本文字数:3996 字

    阅读完需:约 13 分钟

上云这笔账,你算清了吗?分析数据上云的问题与解法

随着越来越多的数据涌向企业,通过云服务厂商将数据上云已经成为大多数企业的共识。数据为王的时代,企业需要告别传统上云,让企业应用实现云原生。


数据上云能给企业带来诸多便利。例如,加快企业配置和部署工作,更好地管理资源;云储存带来的高扩展性,可以使得企业获得更多的资源配置等等;然而,企业数字化进程进入到一个新阶段,企业上云不再是传统方式那样把业务放入容器和 VM 中,更应该让业务“生于云、长于云”。企业云化从“ON Cloud”走向“IN Cloud”, 新生能力与既有能力有机协同、立而不破,实现资源高效、应用敏捷、业务智能、安全可信,助其成为“新云原生企业”。


云原生,即云上内生的云能力,基于统一的架构和云原生基础设施,实现多云协同、混合云解决方案、边云协同等能力。云原生时代下,企业应用数据的方式发生了根本性变化,即基于统一云基础设施的云原生数据库、大数据解决方案,将成为企业数字化转型的数据底座。


本篇文章将聚焦于不同的业务场景,探讨企业通过云原生能力进行数据上云时,面临的潜在问题以及相应的破解之法,以期帮助企业顺利实现数字化转型升级。

数据要上云,企业会有哪些顾虑?


正如上述所言,数据上云、云原生已是大趋势,通过上云,企业也能获得很多好处。目前,企业大多会依靠云服务厂商提供的数据库以及大数据平台,完成云原生改造。但是在数据存储和使用中,还存在着一些风险,同时,这些风险也是企业上云过程中非常关注的问题。


在存储方面,云原生是否真正能帮助企业降低了在数据方面的运维成本?这里所说的成本不仅包含云资源费用、人员培训等直接成本,也包含迁移及后期维护管理等间接成本。根据 2021 年软件资产管理商 Flexera 的云状态报告的数据,36% 的企业表示他们的云成本年度支出超过 1200 万美元,32% 的企业表示年度支出在 240 万~1200 万美元之间,这些数字都比去年大幅增加。由于上云需要将数据从原来的存储系统迁移到新的云存储系统中,而且目前不同厂商的云服务之间的标准不完全一致,因此,无论是从传统数据库迁移到云数据库,还是云数据库之间的迁移,都需要考虑数据库之间的兼容性以及迁移成本。


此外,具体到不同的业务场景,企业关心的侧重点也略有差异。由于金融机构在运营的过程中,在信息产生、获取、存储等环节会收集大量的数据,这些数据不仅涉及到用户隐私,甚至会影响国家经济安全。因此,金融行业对数据安全的重视程度远远高于其他行业,保证海量数据的安全性、准确性格外重要。而游戏行业对于云平台应对高并发请求的能力更加关注,一般来说,游戏都有自身的生命周期,基于前期的宣传及应用商店预约的热度,游戏上线初期就会迎来流量高峰,服务器则需要承载高并发请求,应对流量洪峰。


与存储同样重要的,还有数据的使用。技术的发展、市场需求增加,使越来越多的数据涌入,然而拥有数据不等于能解决实际问题,企业也面临着盘活数据、利用“隐形资产”——数据创造价值的挑战。2022 年埃森哲全球商业研究院发布的调研报告显示,仅 32% 的企业能够从数据中获取直观、可量化的价值;能够从中获得洞察和建议的更少,只有 27%。这说明,大部分企业虽然多年来在数据采集、存储、分析和配置上进行了投资,却并未从数据获取到具有高度可行性的洞察和建议。

企业数据上云的后顾之忧如何解决?


由于不同业务场景下,企业对数据上云有不同的要求和顾虑,这就把问题抛给了提供数据库和大数据平台服务的云服务厂商:能否给企业提供一个安全、易用的服务,通过云原生全栈能力更好地释放企业的数据价值,真正解决企业数据上云的顾虑?


在上云成本的问题上,云服务厂商在兼容性、易用性等方面均有考虑。在迁移成本方面,由于大部分互联网公司都在用开源、免费的 MySQL 数据库,因此,目前云服务厂商提供的服务几乎全部可以兼容 MySQL 数据库,甚至支持多种类型数据库的数据迁移,包括 MongoDB、MySQL 和 Redis 实例间数据迁移,使企业的迁移成本最小化;在使用成本方面,云数据库在支持快速创建实例、自动备份等方面能帮助企业快速部署和上手,降低使用与后期维护的成本。此外,云厂商们也在追求提供更“划算”的服务——企业可以只为需要的资源付费。


不仅金融行业关心数据安全性,云服务商也极其重视数据中心的安全,因此会采取诸多措施来为客户数据提供安全的环境,例如,物理数据中心安全、安全软件、信任根硬件、容灾备份等。具体来说,数据库的数据安全性会从可用性、完整性、隐私性三方面进行考虑,用数据备份、数字签名、身份验证等手段,保障数据的隐私和安全。而在应对类似游戏场景的高并发需求时,云计算中弹性伸缩技术发挥着非常重要的作用。对于数据库的架构而言,弹性伸缩需要考虑事务执行的先后次序,这意味着需要将存算分离,以根据业务的应用负载自动伸缩,灵活动态地分配或者释放资源。结合弹性计费策略,也能节约企业日常维护的开支。


同时,对于云服务厂商来说,如何帮助企业把数据价值更好地释放出来也是一个很大的挑战。传统的流计算和批处理分离的系统架构,限制了任务处理的速度,而流批一体则很好地解决了上述问题,对数据源、开发、计算、存储等方面进行统一,不仅降低了开发和运维成本,也消除重复的计算框架带来的逻辑不一致性,最大程度实现实时计算。同时,有全栈技术能力的一站式大数据分析平台也在崛起,能帮助企业在短时间内完成部署,打通多个业务系统数据,快速使用数据分析、运维、可视化等工具盘活数据价值。

华为云是如何给不同业务场景做支撑的?


如前文所述,随着大量数据的不断产生,不同的业务场景下对云服务厂商提出新的要求。在这种情况下,华为云吸引了很多人的目光,在传统制造、金融,以及大型游戏等行业的数据上云中,都有华为云数据库及大数据平台支撑的身影。


在数据存储、传输、计算方面,华为云数据库在华为累积多年的数据库研发、搭建和维护经验的基础上,结合数据库云化改造、云原生技术形成一站式数据库上云解决方案;而在数据流转、释放价值方面,华为云大数据包含单集群最大支持 6 万节点的 MRS 云原生数据湖服务、完全托管的 DLI 数据探索服务、创新的可信智能计算服务 TICS 以及 DGC 数据湖治理中心服务等,这些产品同华为云的计算、存储等有机结合,形成了大数据平台与生态。


以中国第一汽车集团有限公司(以下简称“中国一汽”)的上云过程为例,作为制造业最核心的生产系统,红旗 ERP 的微服务改造非常重要,在兼容性、海量扩展压力、性能压力以及可靠性方面均提出了比较高的要求。面对这些挑战,华为云用云原生数据库 GaussDB(for MySQL) 取代了之前系统相对封闭的主流商业数据库,提供了在云上和本地部署体验一致的云数据库服务,性能较开源数据库提升了 7 倍,降低数据库使用成本的同时,也提升了 ERP 系统的整体性能,真正做到了为传统企业“降本增效”赋能。


在安全、可靠方面,华为云的能力在支撑甘肃省医疗保障信息平台上线的过程中得到验证。由于医保业务属于类金融类的民生业务,因此需要具备故障自动切换的高可用能力和数据完整灾备能力,华为云分布式数据库 DDM 和云数据库 RDS for MySQL 共同承载起了甘肃省医保信息平台数十个业务系统的数字底座:

在安全可靠性方面,华为云数据库具备独立的知识产权,有 15+ 安全认证,也是国内首家获得应用安全标准 ISO/IEC 27034 和云安全 CSA STAR V4 认证,满足国家医保局对于应用国产化数据库的要求;

在响应速度方面,华为云数据库利用各项技术缩短 SQL 响应时间,从新平台的实际运行效果来看,其门诊结算系统响应速度从单次平均 5 秒提高到了单次平均 0.9 秒,入院办理系统从单次平均 3 秒提高到单次平均 0.4 秒,住院结算系统从单次平均 10 秒提高到单次平均 1.9 秒。业务请求端到端时延得到提升,减少了群众就医结算的等待时间;

在应对高并发、数据量大的问题方面,华为云数据库具备分库分表的能力,可通过增加节点实现性能和容量的线性增长,而且单集群数据库性能可达百万级 QPS,最高可实现 PB 级的存储容量;

在容灾方面,数据库基于其高可用架构,能够保障在平台出现故障时做到同数据中心故障自动秒级切换,并且通过数据复制服务 DRS 实现跨 Region 数据完整灾备,遇到故障时能确保业务的连续性和安全性。


同时,在大数据平台的实际应用中,架构灵活、开放共享以及轻量级对于助力企业挖掘数据价值有着重要作用,以华为云大数据平台在互联网出行和零售场景的应用为例。


前者面临着乘客用车后“长尾支付”带来的冷热数据随机更新、数据加工场景下的级联更新带来的数据处理进度慢的问题;同时,原有架构复杂,难以快速演进更新验证司机身份等关键功能。对此,华为云 FusionInsight 对 Hudi 开源做了大量创新,让该技术可以和众多的大数据组件得以高效集成,用增量更新的方式解决 T3 出行“长尾支付”难题;此外,将湖仓一体的存算分离架构优化,一份数据同时支持大数据分析和 AI 分析,采用像管理代码一样管理数据,让机器学习的效率更高,提升乘客的安全体验。


后者——五粮液则在线上购物和疫情的双重影响下,面临着业务增长放缓、数据散落分布,无法指导业务、只能看到进销存数据,无法得知产品流向及终端销售情况等问题。基于华为数据咨询服务和 Fusioninsight 智能数据湖,将巡店、云店、进销存、数据看板等数据高效协同,构建了统一的数据底座,通过实时掌握消费者习惯、各库存变化等信息,对消费者的个性化产品推荐及生产、投放策略进行规划,在试运行的 20 家智慧门店销售额提升了 150%。借助华为云大数据解决方案,企业可以快速获得数据分析和洞察,让数据的价值在业务发展中得到实现。

写在最后


随着物联网时代的到来,信息交互将越来越庞杂,数据将继续以几何级爆炸增长。面对更大规模,更复杂的数据,企业也将会在数据云原生的过程中应对更多挑战。目前,华为云无疑从稳定性、安全性、低成本、易用性等方面,给出了一个优秀的可选项。未来,华为云等云服务厂商会在企业云原生之路上带来哪些惊喜?我们一起期待。

2022-06-10 14:584610

评论

发布
暂无评论
发现更多内容

《菜菜的机器学习sklearn课堂》逻辑回归,java教程百度云最新版

Java 程序员 后端

《重构 改善既有代码的设计 3》代码的可理解性应该是我们虔诚追求的目标

Java 程序员 后端

Zookeeper用作注册中心的原理,张孝祥jsp视频教程

Java 程序员 后端

“情商比智商重要”,java面试代码题

Java 程序员 后端

ICCV 2021人脸鉴伪比赛全赛道冠军!AI反诈这块,百度算是弄明白了

科技热闻

《Spring实战》读书笔记-第3章 高级装配,全网最具深度的三次握手、四次挥手讲解

Java 程序员 后端

《零基础》MySQL GROUP BY 语句(十九),java并发编程实战pdf百度云

Java 程序员 后端

《JVM系列》 第五章 -- 堆空间与对象分配,springboot项目分层架构

Java 程序员 后端

《大型数据库技术》MySQL的进阶开发技巧,java基础知识重点总结pdf

Java 程序员 后端

《零基础》MySQL 安装(二),java高级程序设计作业系统

Java 程序员 后端

xxl-job 源码运行解析,java基础编程视频

Java 程序员 后端

yum安装ansible报错如何解决,自定义线程池面试题

Java 程序员 后端

技术分享| RTC通讯中常用的音频格式

anyRTC开发者

音视频 WebRTC RTC 语音通话 音频格式

“数组&方法”常见知识分解,简述java编译原理

Java 程序员 后端

zookeeper分布式锁,java开发技术教程

Java 程序员 后端

“打工人”都在用的邮件使用规范,入职3个月的Java程序员面临转正

Java 程序员 后端

【终极预告】Apache ShardingSphere Dev Meetup 彩蛋篇

SphereEx

开源社区 ShardingSphere Meetup SphereEx 热门活动

Zookeeper 集群部署的那些事儿,消息队列rabbitmq面试

Java 程序员 后端

“穷苦乡村”小伙就得安于现状,你掌握了多少?

Java 程序员 后端

【C语言】动态内存分配,nginx调优与监控

Java 程序员 后端

windows下nginx的安装及使用,linux实用教程第三版pdf

Java 程序员 后端

XXL-Job启动源码详解,Java日常开发的12个坑,你踩过几个

Java 程序员 后端

《零基础》MySQL 连接的使用(二十),springcloud开发教程

Java 程序员 后端

「JVM 系列」- JVM的类加载机制,java常用面试题和答案

Java 程序员 后端

WPF学习——依赖项属性,中软国际java面试流程

Java 程序员 后端

“一学就会”微服务的架构模式,一名毕业三年的女程序媛面试头条经验

Java 程序员 后端

【C语言】指针总结,Java程序员如何有效提升学习效率

Java 程序员 后端

zabbix监控nginx、mysql、java应用,64位java8百度云盘

Java 程序员 后端

zookeeper原理篇-Zookeeper选举过程分析,深入linux内核架构pdf下载

Java 程序员 后端

ZooKeeper实现生产-消费者队列,万字长文总结Java多进程

Java 程序员 后端

“ShardingCore”是如何针对分表下的分页进行优化的,深入理解linux内核架构

Java 程序员 后端

上云这笔账,你算清了吗?分析数据上云的问题与解法_云原生_任传英_InfoQ精选文章