写点什么

QClub 北京:腾讯云图沙龙之海量数据下的关键因子选取等

  • 2014-03-31
  • 本文字数:1870 字

    阅读完需:约 6 分钟

3 月 29 日下午,《第 70 期 QClub:腾讯云图沙龙之腾讯游戏云关键技术剖析》在北京车库咖啡举行。此次活动试图深入刨析将游戏云背后的关键技术,当然游戏云背后有大量的技术积累做支撑,远非几个小时的分享交流就能剖析清楚。未来几个月,QClub 还将与腾讯陆续举办腾讯云图沙龙,进一步解读腾讯云背后的关键技术,欢迎关注腾讯云技术专区

3 月 29 日活动当天选定了三个技术方向,腾讯云派出了孙小滨、李浩和李杰三位工程师分别就《海量数据下的关键因子选取》、《高可靠的移动推送服务》、《移动场景下的动态数据加速》话题进行了分享,来自小米、百度、腾讯、奇虎 360、中科院计算所等 120 余名听众参与了活动。

在 Q/A 和 OpenSpace 环节,大约一个多小时的过程中,孙小滨、李浩和李杰三位工程师回答了听众许多问题。

本次活动的 PPT 和视频近期将在 InfoQ 网站上发布。

分享一:《高可靠的移动推送服务》——腾讯云高级工程师 李浩

李浩重点介绍了腾讯信鸽推送服务的架构及在保证服务的可用性、数据持久性方面的实现方式。同时,还介绍了链接策略和省电、省流量的具体方法。

连接策略 多端口、双协议支持·应对移动网关代理的端口限制(80 8080 443 14000)

  • 支持 TCP、HTTP 两种协议

终端跑马、IP 直连·根据备选 IP 列表进行并发测速(IP+ 端口 + 协议)

  • 后端根据终端连接情况,定时更新终端的备选 IP 列表
  • 终端在连接空闲时上报测速数据,便于后端决策

后台重定向

应对终端转换地域但未及时跑马等情况,后台引导至最优接入点

  • 安全保证·通道安全、SDK 反加壳、频率打击

分享二:《海量数据下的关键因子选取》——腾讯云高级工程师 孙小滨

孙小滨首先介绍了 Data Plus 多维数据实时分析平台的特点:

  • 抽象为指标池、维度池,可以支持海量报表(抽几个指标和维度做组合查询)
  • 支持自定义指标和维度,方便用户自定义高级数据模型
  • 强大的 ETL 能力,支持多路的数据输入(TDW(复杂模型的 T+1 离线分析)、DCAgent、DataProxy(准实时分析)等)
  • 平行扩展,能够支持海量的指标和维度
  • 查询速度快,绝大多数请求可以 1s 内返回,即使对于非常复杂的查询,也能在 15s 内返回
  • 动态调整数据的层次结构,固化部分 View,整体运算代价小,存储消耗小。

接下来孙小滨介绍了 Rollup 与 Lattice,以及包含了查询层、计算流层、计算层、存储层的整体架构和流程。

分享三:《移动场景下的动态数据加速》——腾讯云高级工程师 李杰

李杰介绍了腾讯云在基础设施方面,尤其是网络、数据存储的优势:

  • 源站:开发商部署在腾讯云机房的云主机服务;
  • 测速服务器:跟源站同网络环境,用来做路由测速;
  • 就近接入集群:两百多个遍布全国的就近接入机房;
  • 加速接入名字服务:根据请求域名,解析提供同省、同网的就近接入点;
  • 业务数据分析:MTA 系统;
  • 监控统计:加速对比直接实时数据展现 (全国地图+时间曲线);

接下来李杰介绍了 SDK、ANS 和 OC 的架构和策略。

自由讨论

三个分享结束后,是茶歇和 OpenSpace。OpenSpace 是供参会者和讲师充分沟通的环节,不过在现场从茶歇开始,三位讲师就没有获得休息的机会,一直被参会者包围直到活动结束。许多参会者在微博上发表了评论:

歆无所恋:#Qclub 腾讯云图沙龙#比较感兴趣的是推荐及营收的交叉和级联分析,多源加速。

泊舟人:#QClub 腾讯云图沙龙#腾讯信鸽服务省电、省流量,是应为优化了处理逻辑…慢心跳

守住每一天:#QClub 腾讯云图沙龙# 大数据。进行 Topview 多维度,多指标,自定义,实时的分析,会对数据进行校对后提供给客户。数据架构的模型都相同,处理大数据的一个点就是:从已有结果集,再次计算。最关注的纬度为,年龄,手机,地域。 I’m at #车库咖啡#

李 - 庆芳:#QClub 腾讯云图沙龙#能分享下当前信鸽单机服务器多少内存可以支持多少长链接,在实际上又做了哪些内存方便的优化?在群发时如何处理瞬间高峰导致的系统波动?

__ 王秋实:#QClub 腾讯云图沙龙#移动 app 的服务端设计,运维,除了要关注传统 pc 服务后端的问题,还要考虑省电,网络不稳定情况下的链接等问题,另外手机上也更容易追踪用户行为。

关于本次活动的 PPT 和视频近期将在 InfoQ 网站上发布,本次活动的更多图片在这里。未来几个月,QClub 还会与腾讯联合组织腾讯云图沙龙,欢迎关注。如果您希望在腾讯云图沙龙上讨论一些技术话题或其他建议,请通过 @QClub 中国告诉我们,下期再见。

【下期活动预告】7 月 5 日,InfoQ 将在上海 IC 咖啡举行 QClub 技术沙龙——腾讯游戏云关键技术剖析,腾讯云工程师将带来“腾讯云移动加速 - 云端加速梦想”、“腾讯云应用加固 - 抗盗版神器”以及“信鸽 - 高可靠的移动推送服务”三场分享。免费报名

2014-03-31 03:442148
用户头像

发布了 45 篇内容, 共 16.0 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

【gRPC】Python调用Java的gRPC服务

遇见

Java Python gRPC

写一个开源的 macOS 程序可以赚多少钱?

子骅 luin

node.js redis GitHub 开源 赚钱

业务代码必须要做的事情

程序员劝退师

一文讲清楚 MySQL 事务隔离级别和实现原理,开发人员必备知识点

古时的风筝

MySQL 数据库 事务隔离级别 mysql事务 数据库事务

寻找伴侣最重要的是什么?

二爷

OKR实践中的痛点(1):老板的KR我的O,怎么办?

大叔杨

OKR Scrum 敏捷

近两年影响我的两个重要原则

Selina

一个创业者的途中思考

非著名程序员

创业 读书笔记 程序员 重新理解创业 思考

2020了,各家小程序发展的怎么样?

崔红保

小程序 uni-app

Linux 性能诊断:负载评估入门

RiboseYim

Linux 性能优化

【Vue3.0 Beta】尝鲜

德育处主任

CSS Java html5 Vue 大前端

浅谈汽车行业嵌入式软件发布的流程有多复杂

WB

程序员 软件

从流程、认知上做稳定的系统演进

Skysper

系统设计 质量管理

测试

Chonge

毕竟,一生很短,少有圆满

霍太稳@极客邦科技

创业 身心健康 个人成长

为什么你的创业公司应该运行在Kubernetes上

云原生

云原生 k8s

对话 CTO〡和 PingCAP CTO 黄东旭聊开源数据库新蓝海

ONES 王颖奇

数据库 分布式 开发者

【数据结构】双向链表插入操作的时间复杂度分析

遇见

数据结构 算法 时间复杂度

分享多年积累的 macOS 效率工具

张晓辉

macos

业务系统开发程序员常用linux知识

程序员劝退师

Linux

Flink初体验

数据社

大数据 flink 流计算

电子书:《Linux Perf Master》

RiboseYim

Linux 性能优化

用声音在一起,听荔枝CTO丁宁聊UGC声音互动平台的技术世界

ONES 王颖奇

内容 企业架构 互联网

uni-app黑魔法:小程序自定义组件运行到H5平台

崔红保

小程序 uni-app

翻译: Effective Go (1)

申屠鹏会

翻译 Go 语言

人们喜欢彼此制造困难让大家难过

Fenng

WebSphere Application Server运维实践 --从入门到监控

rafe

Java WAS perfservlet visualVM JMX

芋道 Spring Cloud Alibaba 介绍

艿艿

阿里巴巴 分布式 微服务 Spring Cloud Spring Boot

此为开卷

X.F

初入响应式编程(上)

CD826

spring 微服务 Spring Cloud 响应式编程 reactor

走出舒适区最好办法别走了,扩大它

乐少

QClub北京:腾讯云图沙龙之海量数据下的关键因子选取等_服务革新_包研_InfoQ精选文章