2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

解决哪些“基础”需求,才算是一个真正的大数据“基础设施“?

  • 2020-10-27
  • 本文字数:1289 字

    阅读完需:约 4 分钟

解决哪些“基础”需求,才算是一个真正的大数据“基础设施“?

随着技术发展和产业认可度不断提高,数据的价值得到了充分展现。数据开发者们作为前线战士,不断解决一个又一个需求,自身成长的同时也推动着大数据的行军车不断前行,攻城拔寨,拿下一个又一个行业高地。易观在 2016 年提出的“数据新能源”这一前瞻概念正逐渐成为现实。


然而,为山九仞非一日之功,政府、制造、酒店、教育等一些传统行业对数据的应用还停留在较为初级的阶段。数据开发者们在处理实际任务时常常需要花费大量时间和精力处理基础设施层面的问题,相应地降低了处理核心需求的专注度,进而影响最终产出。


常见问题有以下几类:


  • 数据获取难。缺少统一数据采集规范与技术,用户数据缺乏标识,用户 ID 各端口未打通;

  • 实施性难满足。数据加工 T+1 方式,取数制表周期长实时性难满足数仓升级压力大;

  • 数据需求变化多。各部门数据需求不一、变化多,没有数据接口服务来支撑业务需求;

  • 埋点管理乱。埋点采集数据不准,漏埋、错埋多,经常返工沟通成本高;

  • 可视化效果差。需要开发或对接专门的可视化工具,业务人员要求高、难满足;

  • 大数据技术提升难。每日写各种 ETL、数据流脚本,常要重复制作报表、无法专注大数据技术;

  • 技术资源有限。没有数据团队,研发团队承担多而杂的数据需求,技术架构升级成本高;

  • 自研慢缺经费。想寻求专业的大数据分析工具,市场价格动辄数十万公司经费紧张


易观作为中国知名的数字用户洞察与运营解决方案提供商,也致力于提升数据开发者的效率。旗下提供了易观 Argo、开源 SDK 等服务开发者的产品以及“方舟社区”和调度系统“DolphinScheduler”。其中 DolphinScheduler 调度系统发起于 2017 年,经过数个版本迭代并于 2019 年开源后,获 Apache 全票通过成为 Apache 孵化器项目。至此,易观数据智能服务覆盖了用户行为分析产品,大数据基础设施(SDK),数据调度以及技术交流社区等基础需求,为数据开发者提供全方位的闭环大数据开发支持,从基础设施层面解决数据开发者的需求,进而推动大数据技术进步。


10 月 24 日,易观数科“开发者日”将在北京海航万豪酒店隆重举办。一整天的开发者活动从上午 9 点 30 持续到下午 16 点 30,共 11 个环节。包括“开场致辞”以及 10 个主题专场。


主题专场邀请了包括易观 CTO 郭炜,滴滴专家工程师杨建丹,腾讯看点高级工程师王展雄,优路科技高级工程师李文禾,前 Greenplum 北京研发中心总经理姚延栋,Kyligence 技术合伙人兼产品负责人李栋等在内的技术大咖到场,分享的专题涉及数仓、查询引擎、Hive、K8s 等众多热门技术。


亮点专题包括“实时数仓与多维实时分析系统搭建”,“易观数科 OLAP 算法大赛冠军答题思路揭秘”,“Hive sql 迁移到 Spark sql 在滴滴的实践”,“企业大数据分析平台:从 hadoop 到云原生”“DolphinScheduler&K8s 在优路科技的实践”等;带你一站式学习大数据分析最热门的前沿技术与落地应用。此外还专门设置了“开源时代 ”的圆桌讨论,来自 Greenplum 、易观和 Kyligence 的重磅嘉宾将同台共话开源新趋势。


聚焦大数据技术,内容如此丰富的专场,不论你是开发 / 运维人员、架构师、技术专家、技术管理者还是技术爱好者群体,总有一个专场适合你!还在等什么?快快点击链接报名吧


2020-10-27 22:27864

评论

发布
暂无评论
发现更多内容

从论文提示词注入看智能体安全

冯骐

网络安全 智能体 大模型 SQL注入 提示词

龙蜥牵手如意 RISC-V 社区,共筑 RISC-V 软件生态新未来

OpenAnolis小助手

开源 操作系统 risc-v 龙蜥社区

倒计时 1 天!龙蜥邀您参加 RISC-V 中国峰会

OpenAnolis小助手

操作系统 risc-v 龙蜥社区 Anolis OS 龙蜥社区 RISC-V SIG

DolphinScheduler 如何高效调度 AnalyticDB on Spark 作业?

白鲸开源

MySQL spark 开源 Apache DolphinScheduler analyticDB

给 DolphinScheduler 加一个 SQL Copilot 聊天助手,这个主意怎么样?

白鲸开源

GitHub 开源 AI Apache DolphinScheduler Copilot

【重磅发布,限时下载】《WhaleStudio商业案例白皮书》上线,数智化转型最佳实践一次看全

白鲸开源

大数据 白皮书 DataOps 白鲸开源 商业案例

回看限时上线!2025 Altair 区域技术交流会精彩演讲回播来啦

Altair RapidMiner

人工智能 AI 仿真 CAE 航空航天

垃圾回收算法有哪些?了解哪些垃圾回收器?

不在线第一只蜗牛

Java 算法 JVM

达摩院玄铁、龙蜥等联合出题,首届 CIE 全国 RISC-V 高水平创新和应用大赛邀您报名

OpenAnolis小助手

操作系统 risc-v 龙蜥社区 龙蜥社区赛题

PostgreSQL 数据库中 ETL 操作的实战技巧

谷云科技RestCloud

数据库 postgresql 数据处理 ETL 数据集成

Web前端入门:JavaScript 由程序触发绑定事件的几种方式

量贩潮汐·WholesaleTide

JavaScript 前端

阿里云 EMR Serverless Spark: 面向 Data+AI 的高性能 Lakehouse 产品

阿里云大数据AI技术

人工智能 大数据 spark Serverless 数据处理

龙蜥中级认证课程上线,Linux 技术进阶新选择

OpenAnolis小助手

Linux 操作系统 龙蜥社区人才培养计划

特斯拉Optimus V3,来了!!

机器人头条

特斯拉 人形机器人 宇树科技 智元机器人 特斯拉optimus

MiniMax 将完成近 3 亿美元融资,估值超 40 亿美元;Grok 上线动漫 AI 伴侣功能丨日报

声网

在沈阳搞AI,嘎嘎好!

百度Geek说

亲测可用!麒麟环境下安装 SeaTunnel 完整指南

白鲸开源

Linux 开源 安装 麒麟操作系统 Apache SeaTunnel

电脑找不到C盘文件是什么情况?电脑c盘不小心删除的文件怎么恢复

阿拉灯神丁

EasyRecovery 文件恢复‘ 数据恢复软件 备份 & 恢复

缓存穿透的解决方式?—布隆过滤器

量贩潮汐·WholesaleTide

缓存

VMware Cloud Foundation Automation 9.0 新增功能

sysin

vcf

VMware Cloud Foundation Operations 9.0 新增功能

sysin

vcf

人工智能|大模型入门(六):GPT→盘古,国内外大模型矩阵速览

测试人

智能化研发指标体系:从看得见到做得到

思码逸研发效能

研发管理 研发效能 研发效能度量

MySQL 数据同步至 S3file,并接入 Hive 访问:SeaTunnel 实践指南

白鲸开源

MySQL hive Doris 数据同步 Apache SeaTunnel

​​超越传统:低代码如何以敏捷开发+高效能撬动企业数智转型性价比天花板?​

电子尖叫食人鱼

低代码

OASA 6 月月会圆满结束,同步联盟目标、漏洞激励计划等新进展

OpenAnolis小助手

开源 龙蜥社区 龙蜥社区安全联盟 软件适配

10+热门 AI Agent 框架深度解析:谁更适合你的项目?

测吧(北京)科技有限公司

了解案例共创活动

华为云开发者联盟

【IoTDB 线上小课 17】开源 ≠ 免费,3 分钟总结开源商用指南

Apache IoTDB

解决哪些“基础”需求,才算是一个真正的大数据“基础设施“?_大数据_施尧_InfoQ精选文章