写点什么
创作场景
- 记录自己日常工作的实践、心得
- 发表对生活和职场的感悟
- 针对感兴趣的事件发表随笔或者杂谈
- 从 0 到 1 详细介绍你掌握的一门语言、一个技术,或者一个兴趣、爱好
- 或者,就直接把你的个人博客、公众号直接搬到这里
登录/注册
收录了 数据架构师 频道下的 50 篇内容

本文以作者亲历视角,主要分享数仓型数据架构师的“修炼大法”。

光大银行资深数据架构师王磊表示,企业沉淀数据资产价值,数据中台相当于“巨人的肩膀”。
数据架构师在业务环境中进行监督,他们将业务需求转化为技术需求,并为业务提供适当的原则和标准。他负责设计和可视化企业数据框架和管理。

纯纯的技术干货,以一名大数据架构师的视角回顾今年参与开发的项目,分享我在遇到各种问题思考的角度及解决问题的方式,希望给你带来点滴帮助。

论首席架构师的成长之路。

本文转载自技术琐话公众号

云时代对数据库的高可用、高性能和低运维提出了更高要求。如何打破传统数据库局限,如何从底层到应用层进行优化,来更好的服务于业务?

在企业数据版图内,生成式人工智能的演进已超越简单的聊天界面,迈入自主编排的领域。对金融机构而言,这项技术的前景在于弥合一个历史性鸿沟:一端是高度结构化的交易数据(如总账分录),另一端是非结构化文档的庞大存储库(如监管手册和ERP系统指南)。Snowflake Cortex 智能体代表了这一范式的根本转变,它提供了一个托管框架,用于构建不仅能检索数据、还能规划复杂任务、执行专用工具,并以高精度和可验证的引用综合生成洞察的智能助手。

很多企业架构师仍然在偷偷编写自己的“解决方案架构定义手册”,甚至想办法掩藏自己的真实意图。但现在,我们发现了一种新的趋势,越来越多的商业与企业架构团队开始携手合作,并共同参与到组织的业务优先级战略规划、项目组合管理、路线图优化、产品管理、以客户为中心型计划、敏捷项目调节以及制定面向业务的新型现代KPI等工作当中。
在上周举行的数据架构2018年峰会上,William McKnight就使用不同的数据平台创建现代数据架构做了主旨演讲。

以数据中心、人工智能等为代表的高性能计算类应用的发展,驱动算力需求不断攀升。然而,当前单一的计算架构已经无法处理复杂多样的数据类型,异构计算则被视为一种新选项。

在这里根据七牛云在日增千亿级的日志分析工作,和大家分享一下大数据技术架构选型的一些经验。

本次分享将从网易内部 HDFS 的实践出发,介绍如何透明地实现 Router-based Federation(简称 RBF)架构的上线,以及如何基于 RBF 实现 HDFS 集群的横向拆分以及纵向拆分,解决由于集群规模不断增大而遇到的各种问题。

如何在保证成本可控的前提下,实现AI数据处理能力的可扩展性与工程化落地?
做 Oracle 替代时,“复制 + 对比 + 回流”之所以会成为越来越主流的思路,就是因为它刚好对应了 Oracle 替代最核心的三个诉求: 复制,保证不停机迁移 对比,保证切换前可验证回流,保证切换后可回退 NineData 已经把这三件事比较完整地串到了同一套平台里。

vivo 大数据采集接入平台架构和监控体系、vivo 大数据采集接入原来监控遇到的问题,以及在链路稳定性、链路数据质量和链路数据成本优化场景下基于可观测的技术方案和实践。

随着近些年来,开源、自动化、云化的兴起,DBA职业也正悄然发生一些变化。
本文是松子(李博源)的大数据平台发展史系列文章的第一篇(共四篇),本系列以独特的视角,比较了非互联网和互联网两个时代以及传统与非传统两个行业。是对数据平台发展的一个回忆,对非互联网、互联网,从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在2008年5月份阿里巴巴举办的第二届网络工程师侠客行大会上,InfoQ中文站有幸认识了支付宝首席架构师程立先生,并邀请其分享了支付宝技术架构的发展,对架构的认识,成功架构的特点,如何避免架构设计的失败,以及在敏捷和SOA方面的实践等。

结合我多年研发+DBA运维经验,实测多款主流工具后,发现NineData是综合能力较强的工具。本文将从研发/DBA真实痛点出发,拆解选型避坑要点,通过工具实测对比,详解NineData如何适配企业级场景,帮你有效避坑,直接选对不返工。