收录了 数据传输技术架构 频道下的 50 篇内容

大数据架构的发展可用三个时代九种架构来做总结,其中前四代是传统数据仓库时代的架构,后面五代是大数据架构模式。

聊聊大数据领域和数据仓库方向的技术演进

数据是现代企业的生命线。年湾区一位中等水平的数据工程师的年薪。万元的水平,百万以上比比皆是。这一岗位的热门程度可见一斑。

IOPS、低延迟和稳定数据访问性能的存储系统,但是传统存储方案普遍存在硬件层面和软件层面的限制,存储系统很难同时兼顾,针对传统存储方案面临问题。

工行在IDC搬迁、网络数据传输优化、多厂商异构融合等方面的实践经验。

《百度智能云数据库》系列云智公开课即将开课!

本次分享介绍物联网多路数据处理基础上的云平台架构设计。

出品专题「QUIC 传输和架构优化」。

随着云计算技术的发展,上云已成为企业进行信息化、数字化转型的新动力。

数字经济,已经成为当今经济发展中非常重要的一部分。 与农业经济、工业经济如出一辙,数字经济活动需要土地、劳动力、资本、技术以及相应配套基础设施。

亚马逊最近宣布,AWS DataSync现在支持将Google Cloud Storage和Azure Files存储作为存储位置。数据服务的这两个新选项有助于数据在AWS中的移入和移出,但数据传输费用可能仍然是一个限制条件。

Exchangis是微众银行开源的数据交换平台,用于数据在不同计算存储中的快速传递。

欧伟杰博士将于会上分享《全自研国产数据库内核架构设计和应用实践》话题,分享 YashanDB 如何从理论和工程两方面由 0 打造数据库系统,并介绍产品的内核架构与核心功能。

数据中台的定位是中心化的企业数据处理平台,企业所有的数据需要输送至数据中台,由数据中台统一进行收集、验证、清洗和转换并集中存储,然后经过数据仓库体系的层层治理将数据按业务主题重新组织,为业务系统和数据分析提供高质量的数据集。同时它具备实时数据处理能力,能在极短时间内完成从数据采集到终端呈现的全链路数据处理,并有能力处理一些基于数据的业务请求,它还配备了人工智能与机器学习的相关基础设施,支持高阶的数据洞察与预测。最后,数据中台通过丰富的接口和协议对外提供完备的数据服务,支撑业务中台与前台应用对数据的全方位需求。

Marmaray由我们的Hadoop平台团队设计和开发,是一个建立在Hadoop生态系统之上的基于插件的框架。用户可以新增插件以便从任何来源摄取数据,并利用Apache Spark将数据分散到接收器上。Marmaray这个名字源于土耳其的一条连接欧洲和亚洲的隧道,在Uber内部,我们将Marmaray设想为根据客户偏好将数据从任何来源连接到任何接收器的管道。
2016年QCon全球软件开发大会北京站为期三天的会议已圆满结束,参会者对整体内容设置及安排反馈良好。这里我们梳理出22号“大数据生态构建”厂商共建专场的重点演讲内容,为没能到现场聆听的小伙伴们奉上饱满的干货内容。

从“智能湖仓”架构的技术演进,看现代化数据平台的发展方向。

王磊将于会上分享《Mesh 是下一代分布式软件的必经之路》话题,总结、提出分布式架构带来的问题,并介绍蚂蚁集团利用 Mesh 技术来解决它们的实践经验。

"1、可观测性数据平台建设的挑战:Metrics、Tracing、Logging,一堆Agent,数据无法关联;资源属性、服务属性、流程属性,需要为每个监控数据标记上百维标签,开发人员难,存储开销大。 2、介绍自动化的资源、服务及自定义标签标注机制:通过对接云API、K8s apiserver、服务注册中心,自动为各类监控数据统一注入标签,打破数据孤岛。 3、介绍分布式的标签编码机制:在数据采集、写入和查询的全链路中对标签进行分级压缩和编码,将采集、传输、存储查询的资源开销降低10倍。 4、统一的可观测性数据平台在云原生环境下的落地实践,分享面向开发者视角的数据生成最佳实践。"

温世欢将于会上分享《数智化消费金融高可用系统建设实践》话题,分享 IT 系统在支撑企业渠道拓展、营销获客、风险管控、资产保全、客户服务等方面的数智化演进过程。