11 月 19 - 20 日 Apache Pulsar 社区年度盛会来啦,立即报名! 了解详情
写点什么

架构周报| 万亿级日志与行为数据存储查询技术剖析

  • 2017-03-01
  • 本文字数:1197 字

    阅读完需:约 4 分钟

经典案例

万亿级日志与行为数据存储查询技术剖析:近些年,大数据背后的价值也开始得到关注和重视,越来越多的企业开始保存和分析数据,希望从中挖掘大数据的价值。大数据产生的根本还是增量数据,单纯的用户数据不足以构成大数据,然而用户的行为或行为相关的日志的数据量,加之随着物联网的发力,产生的增量数据将不可预估,存储和查询增量数据尤为关键。所以,在笔者的工作经历中,本着数据无损、保证数据实时性等目标,寻找更优的大数据存储和查询方案。

Docker 引领测试革新:随着 Docker 技术被越来越多的人所认可,其应用的范围也越来越广泛。本文将从测试类型、Devops、自动化测试、测试场景、测试实践等方面介绍 Docker 对软件测试技术的影响。很多测试任务可以利用 Docker 进行改造,读者可以根据项目自身的特点,因地制宜的使用 Docker 进行测试能力的改造。

前沿趋势

Google 宣布攻破 SHA-1,从此 SHA-1 不再安全!:SHA-1 等加密散列函数可谓加密学家手中的瑞士军刀。无论是浏览器安全保护、代码库管理乃至检测存储介质的重复文件,散列技术都在其中发挥着重要作用。散列函数能够将大量数据压缩为体积更小的消息摘要。作为一项被广泛使用的加密方案,其最基本的要求就是在当前计算能力上无法找到摘要相同的两条消息。然而随着时间的推移,这一要求很可能在针对散列函数数学基础的攻击或者计算能力提升等因素的冲击之下不再具有保障。

高IO 型本地盘存储实例双十一期间,阿里如何将数据库性能提升100%、响应时间减少80%?2016 年的双十一阿里的交易额再次刷新历史记录,其中支付宝的支付峰值达到12 万笔 / 秒。抛开业务数字,阿里在技术上也是做足了功课,除了使用RocketMQ 消息中间件承受万亿级消息容量之外,还启用了上千个高I/O 型的本地盘存储实例。

大会动态

ArchSummit 全球架构师峰会 2017 深圳站我们将更加聚焦于架构师成长道路上的思维转变需求。在邀请国内外知名技术专家分享最前沿的技术干货的同时,我们也将更加关注业务架构,更加突出业务发展过程中的技术挑战的探讨,为架构师成长之路扫清障碍,最低折扣:7 折售票最后4 天,官网点击这里

人文管理

Linus Torvalds: 成功的项目源于 99% 的汗水与 1% 的创新:作为开源Linux 内核的创造者和仁慈独裁者,更不用说Git 分布式版本控制系统的发明者,Torvalds 已用结果证明了他的观点:“所有真正的工作并非说的如云如雨、不着边际的天花乱坠,而是在于细节。”

2017 年 2 月 15 日,在加利福尼亚州的开源领袖峰会上,由 Linux 基金会执行董事 Jim Zemlin 进行的一次采访中,Torvalds 讨论了他如何管理 Linux 内核的开发以及他对工作的态度。

勇于变敏捷:勇敢是指,即使你害怕,你也要去做那些需要做的事情。Gitte Klitgaard 谈到,在敏捷开发中最重要的事情是去审查代码并且敢于去更改那些不能正常工作的代码。你可以从一些能找出解决方案的小实验开始,如果它们并不能解决问题,你可以把它们停掉。

2017-03-01 18:002662

评论

发布
暂无评论
发现更多内容

mathtype的几个操作技巧

克比

APM 行业认知系列 - 十五

东风微鸣

DevOps APM Trace 可观察性

APM 行业认知系列 - 十六

东风微鸣

DevOps APM Trace 可观察性

四象齐备,百花含苞:5GtoC繁华图

脑极体

滴普技术荟-云原生基座OpenKube开放容器实践( 七):flannel-udp模式原理分析

滴普技术荟-云原生基座OpenKube开放容器实践(八):flannel-vxlan模式原理解析

Linux如何使用libudev获取USB设备VID及PID

夜猫西街

APM 行业认知系列 - 十二 - 十三

东风微鸣

APM Trace 可观察性

未来10年的预测与灰犀牛

hong

CNCF:2020年报(摘要)

行人23

cncf

APM 行业认知系列 - 九

东风微鸣

DevOps APM Trace 可观察性

如何根据「数据范围」调整自己用什么算法 ...

宫水三叶的刷题日记

Java 面试 LeetCode 刷题 数据结构与算法

滴普技术荟-云原生基座OpenKube开放容器实践(九):K8S的ServiceIP实现原理

作业-用例文档

让我思考一会儿

APM 行业认知系列 - 十 - 十一

东风微鸣

DevOps APM Trace 可观察性

用例(UC,Use Case)

🙃

产品经理 产品经理训练营

Linux批量kill进程

富富

awk kill进程

币掌柜量化交易机器人系统开发

从CMDB到服务目录

李小腾

云原生 研发效能 生产力 CMDB 配置管理

APM 行业认知系列 - 十七 - 完结篇

东风微鸣

APM Trace 可观察性

互联网小拼,这一生的故事,你要看看吗《打工人的那些事》

谙忆

APM 行业认知系列 - 八 - DevOps 的25个优点

东风微鸣

DevOps APM Trace 可观察性

0 Go语言从入门到精通

xcbeyond

28天写作 Go 语言

滴普技术荟-云原生基座OpenKube开放容器实践(五):linux配置跨主机容器通信

APM 行业认知系列 - 十四

东风微鸣

APM Trace 可观察性

Github Action 快速上手指南

Zhendong

Java GitHub

滴普技术荟-云原生基座OpenKube开放容器实践(六):理解linux虚拟网络设备tun

spring framework

sunpengjian

deepin20 安装英伟达闭源驱动的步骤详解

夜猫西街

架构周报| 万亿级日志与行为数据存储查询技术剖析_语言 & 开发_ArchSummit峰会_InfoQ精选文章