20 个大数据必知领域之「Druid」

数据安全计算的技术架构

演讲嘉宾雷小平，腾讯数据平台中心负责人内容介绍在大数据时代为了能更大的发挥数据价值，数据交易是大家经常谈论的一个话题，但直接对数据进行买卖不但无法让数据价值最大化，也无法保障数据拥有方的数据安全。如何解决这些问题？腾讯的神盾沙箱将数据交易融入到数据计算的过程中，既能发挥数据价值，又降低了数据泄漏的风险。本次分享的是神盾沙箱在系统实践中沉淀出来的一些经验总结，希望跟听众共同来探讨过程中遇到的一些问题和思路。内容大纲 百万富翁的故事； 安全计算场景介绍； 安全计算的一些新方法； 未来的展望。

2019 年 1 月 2 日

架构师训练营第一周作业

系统中每个消费者都有一张卡，在管理中心注册缴费，卡内记着消费者的身份、余额。

2020 年 9 月 19 日

MongoDB + Spark 连接实战

2020 年 2 月 20 日

Uber 搭建基于 Kafka 的跨数据中心拷贝平台

演讲嘉宾徐宏亮，Uber Senior Software Engineer内容介绍Uber 拥有20+ Kafka 集群来处理系统和 App 的数据，其中一些数据需要跨数据中心拷贝。拷贝每天需要处理 PB 级的数据量，并且要保证拷贝中不会丢失数据，这带来了性能和运维各方面的挑战。在实现跨数据中心拷贝的过程中，Uber 经历了从 MirrorMaker 到 uReplicator 再到 Federated uReplicator 的迁移。在这个演讲中，我将分享 Uber 为什么要开发 uReplicator 和 Federated uReplicator，uReplicator/Federated uReplicator 的架构和技术细节，在开发过程中遇到的问题并且如何解决的。内容大纲 Uber 的跨数据中心 replication 用例 为什么 Uber 要开发 uReplicator uReplicator 架构 Federated uReplicator架构

2019 年 1 月 2 日

【第十五周】大作业一——同城快递系统设计

通达同城快递系统作业设计

2020 年 9 月 19 日

Pulsar 如何使用分层分片的架构来解决使用和运维的痛点

本次分享介绍 Pulsar 的特性，并深入分析 Pulsar 以分片为中心的分层架构，以及 Pulsar 如何在设计中考虑和解决用户使用和运维过程中的痛点。

2020 年度十大开源杰出贡献人物参评人介绍：史少锋

2020 年度十大开源杰出贡献人物参评人介绍。

Data Artisans：浴火重生的新一代大数据计算引擎 Flink

Apache Flink是一个年轻的新型处理引擎，是Spark的主要竞争对手，它设计理念先进，但是工程实现上相对落后。

2018 年 5 月 4 日

week11 总结

安全 高可用

2020 年 8 月 26 日

食堂就餐系统设计

系统中每个消费者都有一张卡，在管理中心注册缴费，卡内记着消费者的身份、余额。

2020 年 6 月 10 日

Clickhouse 在快手的大规模应用与架构改进

在 ArchSummit 北京 2019 大会上，李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲。

CAP 定理与 Doris 临时失效处理

CAP定理与Doris 临时失效处理

2020 年 7 月 15 日

ClickHouse 在头条的技术演进

本次分享介绍技术引擎 ClickHouse 在头条的演进。

七牛存储运维实践

演讲嘉宾林天智，七牛存储&直播运维 负责人内容介绍七牛原本的告警系统是通过zabbix来触发，然后有一个人工告警通知的团队来通知各个业务线告警，再由各自的运维团队处理告警。这个在规模小的时候没有问题，但是在机器规模变大的时候会遇到很多问题，告警数量爆增，信息流单项无法确认，缺乏历史记录等。需要针对这个来做改造，但是过程中会遇到大量告警如何迁移，如何保证不影响当前的正常工作等，中间运用到一些开源服务比如：prometheus,pushgateway,node_exporter等，以及一些自己开发的系统。最终存储运维相关的故障减少80%以上，以及不需要人工告警团队再继续通知。资源利用以及集群复制。当前存储的部署是基于物理机部署，对于资源利用很不充分，也不利于集群的复制（私有云），会从这些角度讲如何从物理集群迁移到容器集群。内容大纲 监控数据搜集； 告警收敛； 告警后续处理； 容器化方案。

2018 年 12 月 26 日

CAP 原理简介

现在越来越多的系统采用了分布式，分布式在设计之初就要考虑如何设计，CAP理论就是一个很好的参考方向。设计的时候根据业务场景和具体情况来设计来满足CP还是AP

2020 年 7 月 15 日

大型互联网应用建设常用技术方案与手段，主要解决哪些问题？

好的系统、优秀的架构不是设计出来的，而是不断演化出来的；技术的进化是伴随着业务的不断壮大。

2020 年 10 月 11 日

知名大厂如何搭建大数据平台？

今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。

2019 年 1 月 1 日

架构师训练营第八周作业

有两个单向链表（链表长度分别为 m，n），这两个单向链表有可能在某个元素合并，也可能不合并，如下图所示的这样。现在给定两个链表的头指针，在不修改链表的情况下，如何快速地判断这两个链表是否合并？如果合并，找到合并的元素，也就是图中的 x 元素。请用

2020 年 11 月 16 日

食堂就餐卡设计

系统中每个消费者都有一张卡，在管理中心注册缴费，卡内记着消费者的身份、余额。

2020 年 10 月 25 日

如何设计 Go 语言中的 channel

如果让你来设计Go中的channel，你会如何设计？

2020 年 9 月 25 日