架构周报| 万亿级日志与行为数据存储查询技术剖析

  • ArchSummit峰会

2017 年 3 月 1 日

话题:语言 & 开发架构

经典案例

万亿级日志与行为数据存储查询技术剖析:近些年,大数据背后的价值也开始得到关注和重视,越来越多的企业开始保存和分析数据,希望从中挖掘大数据的价值。大数据产生的根本还是增量数据,单纯的用户数据不足以构成大数据,然而用户的行为或行为相关的日志的数据量,加之随着物联网的发力,产生的增量数据将不可预估,存储和查询增量数据尤为关键。所以,在笔者的工作经历中,本着数据无损、保证数据实时性等目标,寻找更优的大数据存储和查询方案。

Docker 引领测试革新:随着 Docker 技术被越来越多的人所认可,其应用的范围也越来越广泛。本文将从测试类型、Devops、自动化测试、测试场景、测试实践等方面介绍 Docker 对软件测试技术的影响。很多测试任务可以利用 Docker 进行改造,读者可以根据项目自身的特点,因地制宜的使用 Docker 进行测试能力的改造。

前沿趋势

Google 宣布攻破 SHA-1,从此 SHA-1 不再安全!:SHA-1 等加密散列函数可谓加密学家手中的瑞士军刀。无论是浏览器安全保护、代码库管理乃至检测存储介质的重复文件,散列技术都在其中发挥着重要作用。散列函数能够将大量数据压缩为体积更小的消息摘要。作为一项被广泛使用的加密方案,其最基本的要求就是在当前计算能力上无法找到摘要相同的两条消息。然而随着时间的推移,这一要求很可能在针对散列函数数学基础的攻击或者计算能力提升等因素的冲击之下不再具有保障。

高 IO 型本地盘存储实例双十一期间,阿里如何将数据库性能提升 100%、响应时间减少 80%?2016 年的双十一阿里的交易额再次刷新历史记录,其中支付宝的支付峰值达到 12 万笔 / 秒。抛开业务数字,阿里在技术上也是做足了功课,除了使用 RocketMQ 消息中间件承受万亿级消息容量之外,还启用了上千个高 I/O 型的本地盘存储实例。

大会动态

ArchSummit 全球架构师峰会 2017 深圳站我们将更加聚焦于架构师成长道路上的思维转变需求。在邀请国内外知名技术专家分享最前沿的技术干货的同时,我们也将更加关注业务架构,更加突出业务发展过程中的技术挑战的探讨,为架构师成长之路扫清障碍,最低折扣:7 折售票最后 4 天,官网点击这里

人文管理

Linus Torvalds: 成功的项目源于 99% 的汗水与 1% 的创新:作为开源 Linux 内核的创造者和仁慈独裁者,更不用说 Git 分布式版本控制系统的发明者,Torvalds 已用结果证明了他的观点:“所有真正的工作并非说的如云如雨、不着边际的天花乱坠,而是在于细节。”

2017 年 2 月 15 日,在加利福尼亚州的开源领袖峰会上,由 Linux 基金会执行董事 Jim Zemlin 进行的一次采访中,Torvalds 讨论了他如何管理 Linux 内核的开发以及他对工作的态度。

勇于变敏捷:勇敢是指,即使你害怕,你也要去做那些需要做的事情。Gitte Klitgaard 谈到,在敏捷开发中最重要的事情是去审查代码并且敢于去更改那些不能正常工作的代码。你可以从一些能找出解决方案的小实验开始,如果它们并不能解决问题,你可以把它们停掉。

语言 & 开发架构