收录了 数据传输技术架构 频道下的 50 篇内容
大数据架构的发展可用三个时代九种架构来做总结,其中前四代是传统数据仓库时代的架构,后面五代是大数据架构模式。
聊聊大数据领域和数据仓库方向的技术演进
数据是现代企业的生命线。年湾区一位中等水平的数据工程师的年薪。万元的水平,百万以上比比皆是。这一岗位的热门程度可见一斑。
IOPS、低延迟和稳定数据访问性能的存储系统,但是传统存储方案普遍存在硬件层面和软件层面的限制,存储系统很难同时兼顾,针对传统存储方案面临问题。
《百度智能云数据库》系列云智公开课即将开课!
本次分享介绍物联网多路数据处理基础上的云平台架构设计。
出品专题「QUIC 传输和架构优化」。
随着云计算技术的发展,上云已成为企业进行信息化、数字化转型的新动力。
数字经济,已经成为当今经济发展中非常重要的一部分。 与农业经济、工业经济如出一辙,数字经济活动需要土地、劳动力、资本、技术以及相应配套基础设施。
亚马逊最近宣布,AWS DataSync现在支持将Google Cloud Storage和Azure Files存储作为存储位置。数据服务的这两个新选项有助于数据在AWS中的移入和移出,但数据传输费用可能仍然是一个限制条件。
Exchangis是微众银行开源的数据交换平台,用于数据在不同计算存储中的快速传递。
本文将分享网易严选的数据湖建设过程和思考。
在QCon 2016 北京站上,Druid开源项目的负责人,同时也是一家位于旧金山的技术公司共同创始人的Fangjin Yang杨仿今老师分享了题为 《Evolution of Open Source Data Infrastructure》的主题演讲,在演讲里杨老师详细的介绍了开源大数据的过去,现在的形态以及未来几年发展的趋势和方向。本文根据他的演讲整理而成。
欧伟杰博士将于会上分享《全自研国产数据库内核架构设计和应用实践》话题,分享 YashanDB 如何从理论和工程两方面由 0 打造数据库系统,并介绍产品的内核架构与核心功能。
数据中台的定位是中心化的企业数据处理平台,企业所有的数据需要输送至数据中台,由数据中台统一进行收集、验证、清洗和转换并集中存储,然后经过数据仓库体系的层层治理将数据按业务主题重新组织,为业务系统和数据分析提供高质量的数据集。同时它具备实时数据处理能力,能在极短时间内完成从数据采集到终端呈现的全链路数据处理,并有能力处理一些基于数据的业务请求,它还配备了人工智能与机器学习的相关基础设施,支持高阶的数据洞察与预测。最后,数据中台通过丰富的接口和协议对外提供完备的数据服务,支撑业务中台与前台应用对数据的全方位需求。
本文转载自技术琐话公众号
Marmaray由我们的Hadoop平台团队设计和开发,是一个建立在Hadoop生态系统之上的基于插件的框架。用户可以新增插件以便从任何来源摄取数据,并利用Apache Spark将数据分散到接收器上。Marmaray这个名字源于土耳其的一条连接欧洲和亚洲的隧道,在Uber内部,我们将Marmaray设想为根据客户偏好将数据从任何来源连接到任何接收器的管道。
2016年QCon全球软件开发大会北京站为期三天的会议已圆满结束,参会者对整体内容设置及安排反馈良好。这里我们梳理出22号“大数据生态构建”厂商共建专场的重点演讲内容,为没能到现场聆听的小伙伴们奉上饱满的干货内容。
从“智能湖仓”架构的技术演进,看现代化数据平台的发展方向。
王磊将于会上分享《Mesh 是下一代分布式软件的必经之路》话题,总结、提出分布式架构带来的问题,并介绍蚂蚁集团利用 Mesh 技术来解决它们的实践经验。