把握行业变革关键节点,12 月 19 日 - 20 日,AICon北京站即将重磅启幕! 了解详情
写点什么

解决哪些“基础”需求,才算是一个真正的大数据“基础设施“?

  • 2020-10-27
  • 本文字数:1289 字

    阅读完需:约 4 分钟

解决哪些“基础”需求,才算是一个真正的大数据“基础设施“?

随着技术发展和产业认可度不断提高,数据的价值得到了充分展现。数据开发者们作为前线战士,不断解决一个又一个需求,自身成长的同时也推动着大数据的行军车不断前行,攻城拔寨,拿下一个又一个行业高地。易观在 2016 年提出的“数据新能源”这一前瞻概念正逐渐成为现实。


然而,为山九仞非一日之功,政府、制造、酒店、教育等一些传统行业对数据的应用还停留在较为初级的阶段。数据开发者们在处理实际任务时常常需要花费大量时间和精力处理基础设施层面的问题,相应地降低了处理核心需求的专注度,进而影响最终产出。


常见问题有以下几类:


  • 数据获取难。缺少统一数据采集规范与技术,用户数据缺乏标识,用户 ID 各端口未打通;

  • 实施性难满足。数据加工 T+1 方式,取数制表周期长实时性难满足数仓升级压力大;

  • 数据需求变化多。各部门数据需求不一、变化多,没有数据接口服务来支撑业务需求;

  • 埋点管理乱。埋点采集数据不准,漏埋、错埋多,经常返工沟通成本高;

  • 可视化效果差。需要开发或对接专门的可视化工具,业务人员要求高、难满足;

  • 大数据技术提升难。每日写各种 ETL、数据流脚本,常要重复制作报表、无法专注大数据技术;

  • 技术资源有限。没有数据团队,研发团队承担多而杂的数据需求,技术架构升级成本高;

  • 自研慢缺经费。想寻求专业的大数据分析工具,市场价格动辄数十万公司经费紧张


易观作为中国知名的数字用户洞察与运营解决方案提供商,也致力于提升数据开发者的效率。旗下提供了易观 Argo、开源 SDK 等服务开发者的产品以及“方舟社区”和调度系统“DolphinScheduler”。其中 DolphinScheduler 调度系统发起于 2017 年,经过数个版本迭代并于 2019 年开源后,获 Apache 全票通过成为 Apache 孵化器项目。至此,易观数据智能服务覆盖了用户行为分析产品,大数据基础设施(SDK),数据调度以及技术交流社区等基础需求,为数据开发者提供全方位的闭环大数据开发支持,从基础设施层面解决数据开发者的需求,进而推动大数据技术进步。


10 月 24 日,易观数科“开发者日”将在北京海航万豪酒店隆重举办。一整天的开发者活动从上午 9 点 30 持续到下午 16 点 30,共 11 个环节。包括“开场致辞”以及 10 个主题专场。


主题专场邀请了包括易观 CTO 郭炜,滴滴专家工程师杨建丹,腾讯看点高级工程师王展雄,优路科技高级工程师李文禾,前 Greenplum 北京研发中心总经理姚延栋,Kyligence 技术合伙人兼产品负责人李栋等在内的技术大咖到场,分享的专题涉及数仓、查询引擎、Hive、K8s 等众多热门技术。


亮点专题包括“实时数仓与多维实时分析系统搭建”,“易观数科 OLAP 算法大赛冠军答题思路揭秘”,“Hive sql 迁移到 Spark sql 在滴滴的实践”,“企业大数据分析平台:从 hadoop 到云原生”“DolphinScheduler&K8s 在优路科技的实践”等;带你一站式学习大数据分析最热门的前沿技术与落地应用。此外还专门设置了“开源时代 ”的圆桌讨论,来自 Greenplum 、易观和 Kyligence 的重磅嘉宾将同台共话开源新趋势。


聚焦大数据技术,内容如此丰富的专场,不论你是开发 / 运维人员、架构师、技术专家、技术管理者还是技术爱好者群体,总有一个专场适合你!还在等什么?快快点击链接报名吧


2020-10-27 22:27876

评论

发布
暂无评论
发现更多内容

UniFi USW-Flex 室内-室外 POE 交换机

HoneyMoose

M2M场景之客户端凭证模式|OIDC & OAuth2.0 认证协议最佳实践系列 【4】

Authing

OAuth 2.0 Oauth OIDC

英特尔持续耕耘锐炫显卡:累计21次驱动更新,支持XeSS游戏达50+

E科讯

Flink CEP 在抖音电商的业务实践|电商行业实践专栏上线

Apache Flink

大数据 flink 实时计算

探索云原生技术发展与应用实践,赋能企业数字化转型 | 2023开放原子全球开源峰会云原生分论坛即将启幕

开放原子开源基金会

开源 云原生

软件测试/测试开发丨Web自动化测试常见控件交互方法

测试人

开源赋能 普惠未来|TKEStack诚邀您参与2023开放原子全球开源峰会

开放原子开源基金会

开源 开放原子开源基金会 开放原子全球开源峰会

Tomcat 安装与启动

Andy

波司登云原生微服务治理探索

阿里巴巴云原生

阿里云 微服务 云原生

百度商业AI技术创新大赛火热进行中,携手专家大咖一起创新为更好!

百度Geek说

人工智能 AIGC 企业号 5 月 PK 榜

海量数据运维要给力,GaussDB(for Cassandra)来助力

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 6 月 PK 榜

Arm NN 成功适配 openEuler Embedded,提供高性能神经网络推理能力

openEuler

Linux 操作系统 openEuler risc-v embedded

凝心聚力,共创未来 | 2023 开放原子全球开源峰会 OpenCloudOS 社区年会即将启幕

开放原子开源基金会

开源 云原生技术 OpenCloudOS 社区

RustChinaConf 2023官网上线,精彩议题早知道

Mike Tang

火山引擎DataLeap的Catalog系统搜索实践 (二):整体架构

字节跳动数据平台

元数据 catalog DataLeap 文档检索

从Google、创业再到字节跳动,我在开源领域的实践与思考

开源雨林

创业 字节跳动 开源治理

索信达“数据资产管理解决方案”全解析

索信达控股

一分钟跑出 AI 图像的生成平台

CODING DevOps

AI Cloud Studio 云端IDE

2天时间3个面试,百度进了3面!

王中阳Go

golang 职场 面经 求职面试 提高效率

支持神经滤镜Photoshop 2023 (ps 2023)Mac v24.5/24.6b中文激活

真大的脸盆

Mac Mac 软件 ps神经滤镜 photoshop神经滤镜

华秋硬创 | 全国科技工作者日,致敬每一位科技创新者!

华秋电子

云原生数据库厂商拓数派加入龙蜥社区,打造多样化的数据底座

OpenAnolis小助手

开源 操作系统 龙蜥社区 CLA 拓数派

速来!TDengine 六周年线上生日趴,“送”周边大礼包啦

爱倒腾的程序员

时序数据库 ​TDengine taosdata

SeaTunnel毕业!首个国人主导的数据集成项目成为Apache顶级项目

Apache SeaTunnel

大数据 开源 数据集成 国产开源 Apache SeaTunnel

软件测试/测试开发丨学习笔记之Allure2测试报告

测试人

程序员 软件测试 自动化测试 测试开发 Allure

OpenMLDB v0.8 新功能:离线引擎数据源支持 Amazon S3

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

解决哪些“基础”需求,才算是一个真正的大数据“基础设施“?_大数据_施尧_InfoQ精选文章