写点什么

十大最热门的大数据技术

  • 2016-03-18
  • 本文字数:707 字

    阅读完需:约 2 分钟

随着大数据分析市场的快速渗透到各行业务,哪些大数据技术是刚需?哪些技术有极大的潜在价值?

根据弗雷斯特研究公司发布的指数,这里给出最热的十个大数据技术:

  1. 预测分析:随着现在硬件和软件解决方案的成熟,许多公司利用大数据技术来收集海量数据、训练模型、优化模型,并发布预测模型来提高业务水平或者避免风险;
  2. NoSQL 数据库:非关系型数据库包括 Key-value 型(Redis)数据库、文档型(MonogoDB)数据库、图型(Neo4j)数据库;
  3. 搜索和知识发现:支持信息的自动抽取,可以从多数据源洞察结构化数据和非结构化数据;
  4. 流式分析:软件可以对多个高吞吐量的数据源进行实时的清洗、聚合和分析;
  5. 内存数据结构:通过动态随机内存访问(DRAM)、Flash 和 SSD 等分布式存储系统提供海量数据的低延时访问和处理;
  6. 分布式存储系统:分布式存储是指存储节点大于一个、数据保存多副本以及高性能的计算网络;
  7. 数据可视化:数据可视化技术是指对各类型数据源(包括 Hadoop 上的海量数据以及实时和接近实时的分布式数据)进行显示;
  8. 数据整合:通过亚马逊弹性 MR(EMR)、Hive、Pig、Spark、MapReduce、Couchbase、Hadoop 和 MongoDB 等软件进行业务数据整合;
  9. 数据预处理:数据整合是指对数据源进行清洗、裁剪,并共享多样化数据来加快数据分析;
  10. 数据校验:对分布式存储系统和数据库上的海量、高频率数据集进行数据校验,去除非法数据,补全缺失。

感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群InfoQ 好读者(已满),InfoQ 读者交流群(#2)InfoQ 好读者)。

2016-03-18 19:0012838
用户头像

发布了 43 篇内容, 共 30.3 次阅读, 收获喜欢 7 次。

关注

评论

发布
暂无评论
发现更多内容

阿里P8大牛的建议,工作1-5年的Java工程师如何让自己变得更值钱

Java架构之路

Java 编程 程序员 面试

你一定看得懂的Netty客户端启动源码分析!

Java 编程 Netty 架构师

Java引入第三方包的路径问题

谷鱼

路径

华为云IoT智简联接,开启物联世界新纪元

华为云开发者联盟

物联网

海量数据拉升背后的成本困扰:存算分离成美图降本增效新良方

华为云开发者联盟

大数据 华为云 海量数据

从全备中恢复单库或单表,小心有坑!

Simon

MySQL MySQL 运维

flutter 高效开发工具集

Daniel

架构师训练营第 1 期 第 1 周作业

李循律

环信和阿里云签署云原生合作,携手共建云通讯“新基建”

DT极客

智谱AI首席科学家唐杰团队荣获国际数据挖掘顶会时间检验应用科学奖

DT极客

支付平台架构技术实现之终端安全

博文视点Broadview

架构 安全攻防 安全 支付系统 风控

时空碰撞优化系列·一

誓约·追光者

hive 数据分析 Sparksql 计算效率 优化

恶补,一文了解 8 种常见的数据结构

Java架构师迁哥

一个线程池中的线程异常了,那么线程池会怎么处理这个线程?

Java架构师迁哥

华为云推UGO:一手抓结构迁移,一手抓SQL转换

华为云开发者联盟

技术译文|如何将 Pulsar 用作消息队列

Apache Pulsar

开源 云原生 pulsar Apache Pulsar 消息中间件

(2)skynet ubuntu下载与安装

休比

golang 表格编程降低圈复杂度

猴子胖胖

表格开发 Go 语言

新疆采风笔记:送行·出发·火车上

刘新吾

随笔 旅行 新疆

nginx 实现接口版本控制

程序员与厨子

php nginx laravel 版本控制

区块链用于支付手段只是开端

CECBC

区块链 金融

深度解析物联网设备的区块链技术

CECBC

区块链 智能合约 物联网

“大数据+区块链”的智慧城市建设!

CECBC

区块链 大数据

整合Elastic-Job(支持动态任务)

TaurusCode

springboot SpringCloud 分布式任务调度 Elastic-job

2020大厂面试一道高频Spring题,90%的Java开发者都拜倒在它脚下!

Java架构师迁哥

分布式系统实践解读丨详解高内聚低耦合

华为云开发者联盟

揭示智能边缘重大机遇 英特尔邀产学研推动产业智能升级

E科讯

Java 回调(Callback)接口学习使用

魏杰

腾讯架构师:亲手Debug之后,你就知道为何面试问源码了

小Q

Java tomcat 程序员 架构 调优

2020年程序员必备的面试重点+面试真题+个人软实力,你学废了吗?

Java架构师迁哥

添加字幕哪个视频剪辑软件比较简单?

奈奈的杂社

视频创作 视频剪辑 视频后期 自媒体 后期字幕

十大最热门的大数据技术_大数据_侠天_InfoQ精选文章