时隔16年Jeff Barr重返10.23-25 QCon上海站,带你看透AI如何重塑软件开发! 了解详情
写点什么

QClub 北京:腾讯云图沙龙之海量数据下的关键因子选取等

  • 2014-03-31
  • 本文字数:1870 字

    阅读完需:约 6 分钟

3 月 29 日下午,《第 70 期 QClub:腾讯云图沙龙之腾讯游戏云关键技术剖析》在北京车库咖啡举行。此次活动试图深入刨析将游戏云背后的关键技术,当然游戏云背后有大量的技术积累做支撑,远非几个小时的分享交流就能剖析清楚。未来几个月,QClub 还将与腾讯陆续举办腾讯云图沙龙,进一步解读腾讯云背后的关键技术,欢迎关注腾讯云技术专区

3 月 29 日活动当天选定了三个技术方向,腾讯云派出了孙小滨、李浩和李杰三位工程师分别就《海量数据下的关键因子选取》、《高可靠的移动推送服务》、《移动场景下的动态数据加速》话题进行了分享,来自小米、百度、腾讯、奇虎 360、中科院计算所等 120 余名听众参与了活动。

在 Q/A 和 OpenSpace 环节,大约一个多小时的过程中,孙小滨、李浩和李杰三位工程师回答了听众许多问题。

本次活动的 PPT 和视频近期将在 InfoQ 网站上发布。

分享一:《高可靠的移动推送服务》——腾讯云高级工程师 李浩

李浩重点介绍了腾讯信鸽推送服务的架构及在保证服务的可用性、数据持久性方面的实现方式。同时,还介绍了链接策略和省电、省流量的具体方法。

连接策略 多端口、双协议支持·应对移动网关代理的端口限制(80 8080 443 14000)

  • 支持 TCP、HTTP 两种协议

终端跑马、IP 直连·根据备选 IP 列表进行并发测速(IP+ 端口 + 协议)

  • 后端根据终端连接情况,定时更新终端的备选 IP 列表
  • 终端在连接空闲时上报测速数据,便于后端决策

后台重定向

应对终端转换地域但未及时跑马等情况,后台引导至最优接入点

  • 安全保证·通道安全、SDK 反加壳、频率打击

分享二:《海量数据下的关键因子选取》——腾讯云高级工程师 孙小滨

孙小滨首先介绍了 Data Plus 多维数据实时分析平台的特点:

  • 抽象为指标池、维度池,可以支持海量报表(抽几个指标和维度做组合查询)
  • 支持自定义指标和维度,方便用户自定义高级数据模型
  • 强大的 ETL 能力,支持多路的数据输入(TDW(复杂模型的 T+1 离线分析)、DCAgent、DataProxy(准实时分析)等)
  • 平行扩展,能够支持海量的指标和维度
  • 查询速度快,绝大多数请求可以 1s 内返回,即使对于非常复杂的查询,也能在 15s 内返回
  • 动态调整数据的层次结构,固化部分 View,整体运算代价小,存储消耗小。

接下来孙小滨介绍了 Rollup 与 Lattice,以及包含了查询层、计算流层、计算层、存储层的整体架构和流程。

分享三:《移动场景下的动态数据加速》——腾讯云高级工程师 李杰

李杰介绍了腾讯云在基础设施方面,尤其是网络、数据存储的优势:

  • 源站:开发商部署在腾讯云机房的云主机服务;
  • 测速服务器:跟源站同网络环境,用来做路由测速;
  • 就近接入集群:两百多个遍布全国的就近接入机房;
  • 加速接入名字服务:根据请求域名,解析提供同省、同网的就近接入点;
  • 业务数据分析:MTA 系统;
  • 监控统计:加速对比直接实时数据展现 (全国地图+时间曲线);

接下来李杰介绍了 SDK、ANS 和 OC 的架构和策略。

自由讨论

三个分享结束后,是茶歇和 OpenSpace。OpenSpace 是供参会者和讲师充分沟通的环节,不过在现场从茶歇开始,三位讲师就没有获得休息的机会,一直被参会者包围直到活动结束。许多参会者在微博上发表了评论:

歆无所恋:#Qclub 腾讯云图沙龙#比较感兴趣的是推荐及营收的交叉和级联分析,多源加速。

泊舟人:#QClub 腾讯云图沙龙#腾讯信鸽服务省电、省流量,是应为优化了处理逻辑…慢心跳

守住每一天:#QClub 腾讯云图沙龙# 大数据。进行 Topview 多维度,多指标,自定义,实时的分析,会对数据进行校对后提供给客户。数据架构的模型都相同,处理大数据的一个点就是:从已有结果集,再次计算。最关注的纬度为,年龄,手机,地域。 I’m at #车库咖啡#

李 - 庆芳:#QClub 腾讯云图沙龙#能分享下当前信鸽单机服务器多少内存可以支持多少长链接,在实际上又做了哪些内存方便的优化?在群发时如何处理瞬间高峰导致的系统波动?

__ 王秋实:#QClub 腾讯云图沙龙#移动 app 的服务端设计,运维,除了要关注传统 pc 服务后端的问题,还要考虑省电,网络不稳定情况下的链接等问题,另外手机上也更容易追踪用户行为。

关于本次活动的 PPT 和视频近期将在 InfoQ 网站上发布,本次活动的更多图片在这里。未来几个月,QClub 还会与腾讯联合组织腾讯云图沙龙,欢迎关注。如果您希望在腾讯云图沙龙上讨论一些技术话题或其他建议,请通过 @QClub 中国告诉我们,下期再见。

【下期活动预告】7 月 5 日,InfoQ 将在上海 IC 咖啡举行 QClub 技术沙龙——腾讯游戏云关键技术剖析,腾讯云工程师将带来“腾讯云移动加速 - 云端加速梦想”、“腾讯云应用加固 - 抗盗版神器”以及“信鸽 - 高可靠的移动推送服务”三场分享。免费报名

2014-03-31 03:442083
用户头像

发布了 45 篇内容, 共 15.7 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

苹果笔记本充不进电的解决方案

石云升

电脑故障 28天写作 3月日更

《Redis 核心技术与实战》学习笔记 05

escray

redis 学习 28天写作 3月日更 Redis 核心技术与实战

初识Golang之调用方法

Kylin

3月日更 Go 语言

一些人的某些目标

sadhu

生涯规划 职业规划 个人提升

Python PyAutoGUI 库

HoneyMoose

新年上班第一天生产环境分布式文件系统崩了!!

冰河

高可用 分布式存储 fastdfs 可扩展 无限扩容

Spark详细剖析

五分钟学大数据

大数据 spark 28天写作 3月日更

数据库备份真的很重要!很重要!很重要!

xiezhr

oracle sql MySQL 运维 数据备份

GitOps | 一种云原生的持续交付模型

xcbeyond

CI/CD gitops 3月日更

好想做个女孩子,编程第一步,女装身上穿

GitHub指北

正则表达式的使用与匹配原理解析

Guanngxu

正则表达式

源码分析-Netty: 高性能之道

程序员架构进阶

Netty RPC 源码剖析 28天写作 3月日更

分享18个常用的ECMAScript 6代码片段

devpoint

reduce URL参数解析 Form表单数据解析

Seldon使用(一):简介及入门

托内多

tensorflow kubeflow Kubernetes PyTorch seldon

一口气面了腾讯两个部门!

我是程序员小贱

3月日更

在离开新手村后,你该如何的走出呢?打造属于你的快与慢的能力。

叶小鍵

【LeetCode】矩阵置零Java题解

Albert

算法 LeetCode 28天写作 3月日更

所谓生产力

ES_her0

3月日更

还有高仿项目吗

GitHub指北

避免失控:谈谈人与人交往中的恶

boshi

职场 心理 七日更

《码农歌》

臧萌

加班

MongoDB中的null类型查询

Kylin

mongodb 3月日更 21天挑战 数据库查询 NoSql查询语法

(继续码字) 因果有顺序吗?是一种必要充分条件吗?

mtfelix

28天写作 bewriting 胡思乱想

配置引起事故复盘

风翱

3月日更

Wireshark数据包分析学习笔记Day17

穿过生命散发芬芳

Wireshark 数据包分析 3月日更

远程协助软件向日葵分析

lenka

3月日更

uni-app跨端开发H5、小程序、IOS、Android(四):了解uni-app项目结构

程序员潘Sir

html5 微信小程序 uni-app android iOS Developer

JVM - 类加载器

insight

3月日更

领域驱动设计101 - 通用语言

luojiahu

领域驱动设计 DDD

FISCO BCOS 开发环境节点搭建 | 联盟链开发(一)

李大狗

区块链 联盟链 FISCO BCOS 狗哥

架构 idea

型火🔥

架构 原则 架构之道

QClub北京:腾讯云图沙龙之海量数据下的关键因子选取等_服务革新_包研_InfoQ精选文章