50万奖金+官方证书,深圳国际金融科技大赛正式启动,点击报名 了解详情
写点什么

QClub 北京:腾讯云图沙龙之海量数据下的关键因子选取等

  • 2014-03-31
  • 本文字数:1870 字

    阅读完需:约 6 分钟

3 月 29 日下午,《第 70 期 QClub:腾讯云图沙龙之腾讯游戏云关键技术剖析》在北京车库咖啡举行。此次活动试图深入刨析将游戏云背后的关键技术,当然游戏云背后有大量的技术积累做支撑,远非几个小时的分享交流就能剖析清楚。未来几个月,QClub 还将与腾讯陆续举办腾讯云图沙龙,进一步解读腾讯云背后的关键技术,欢迎关注腾讯云技术专区

3 月 29 日活动当天选定了三个技术方向,腾讯云派出了孙小滨、李浩和李杰三位工程师分别就《海量数据下的关键因子选取》、《高可靠的移动推送服务》、《移动场景下的动态数据加速》话题进行了分享,来自小米、百度、腾讯、奇虎 360、中科院计算所等 120 余名听众参与了活动。

在 Q/A 和 OpenSpace 环节,大约一个多小时的过程中,孙小滨、李浩和李杰三位工程师回答了听众许多问题。

本次活动的 PPT 和视频近期将在 InfoQ 网站上发布。

分享一:《高可靠的移动推送服务》——腾讯云高级工程师 李浩

李浩重点介绍了腾讯信鸽推送服务的架构及在保证服务的可用性、数据持久性方面的实现方式。同时,还介绍了链接策略和省电、省流量的具体方法。

连接策略 多端口、双协议支持·应对移动网关代理的端口限制(80 8080 443 14000)

  • 支持 TCP、HTTP 两种协议

终端跑马、IP 直连·根据备选 IP 列表进行并发测速(IP+ 端口 + 协议)

  • 后端根据终端连接情况,定时更新终端的备选 IP 列表
  • 终端在连接空闲时上报测速数据,便于后端决策

后台重定向

应对终端转换地域但未及时跑马等情况,后台引导至最优接入点

  • 安全保证·通道安全、SDK 反加壳、频率打击

分享二:《海量数据下的关键因子选取》——腾讯云高级工程师 孙小滨

孙小滨首先介绍了 Data Plus 多维数据实时分析平台的特点:

  • 抽象为指标池、维度池,可以支持海量报表(抽几个指标和维度做组合查询)
  • 支持自定义指标和维度,方便用户自定义高级数据模型
  • 强大的 ETL 能力,支持多路的数据输入(TDW(复杂模型的 T+1 离线分析)、DCAgent、DataProxy(准实时分析)等)
  • 平行扩展,能够支持海量的指标和维度
  • 查询速度快,绝大多数请求可以 1s 内返回,即使对于非常复杂的查询,也能在 15s 内返回
  • 动态调整数据的层次结构,固化部分 View,整体运算代价小,存储消耗小。

接下来孙小滨介绍了 Rollup 与 Lattice,以及包含了查询层、计算流层、计算层、存储层的整体架构和流程。

分享三:《移动场景下的动态数据加速》——腾讯云高级工程师 李杰

李杰介绍了腾讯云在基础设施方面,尤其是网络、数据存储的优势:

  • 源站:开发商部署在腾讯云机房的云主机服务;
  • 测速服务器:跟源站同网络环境,用来做路由测速;
  • 就近接入集群:两百多个遍布全国的就近接入机房;
  • 加速接入名字服务:根据请求域名,解析提供同省、同网的就近接入点;
  • 业务数据分析:MTA 系统;
  • 监控统计:加速对比直接实时数据展现 (全国地图+时间曲线);

接下来李杰介绍了 SDK、ANS 和 OC 的架构和策略。

自由讨论

三个分享结束后,是茶歇和 OpenSpace。OpenSpace 是供参会者和讲师充分沟通的环节,不过在现场从茶歇开始,三位讲师就没有获得休息的机会,一直被参会者包围直到活动结束。许多参会者在微博上发表了评论:

歆无所恋:#Qclub 腾讯云图沙龙#比较感兴趣的是推荐及营收的交叉和级联分析,多源加速。

泊舟人:#QClub 腾讯云图沙龙#腾讯信鸽服务省电、省流量,是应为优化了处理逻辑…慢心跳

守住每一天:#QClub 腾讯云图沙龙# 大数据。进行 Topview 多维度,多指标,自定义,实时的分析,会对数据进行校对后提供给客户。数据架构的模型都相同,处理大数据的一个点就是:从已有结果集,再次计算。最关注的纬度为,年龄,手机,地域。 I’m at #车库咖啡#

李 - 庆芳:#QClub 腾讯云图沙龙#能分享下当前信鸽单机服务器多少内存可以支持多少长链接,在实际上又做了哪些内存方便的优化?在群发时如何处理瞬间高峰导致的系统波动?

__ 王秋实:#QClub 腾讯云图沙龙#移动 app 的服务端设计,运维,除了要关注传统 pc 服务后端的问题,还要考虑省电,网络不稳定情况下的链接等问题,另外手机上也更容易追踪用户行为。

关于本次活动的 PPT 和视频近期将在 InfoQ 网站上发布,本次活动的更多图片在这里。未来几个月,QClub 还会与腾讯联合组织腾讯云图沙龙,欢迎关注。如果您希望在腾讯云图沙龙上讨论一些技术话题或其他建议,请通过 @QClub 中国告诉我们,下期再见。

【下期活动预告】7 月 5 日,InfoQ 将在上海 IC 咖啡举行 QClub 技术沙龙——腾讯游戏云关键技术剖析,腾讯云工程师将带来“腾讯云移动加速 - 云端加速梦想”、“腾讯云应用加固 - 抗盗版神器”以及“信鸽 - 高可靠的移动推送服务”三场分享。免费报名

2014-03-31 03:442119
用户头像

发布了 45 篇内容, 共 15.9 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

【Java从0到架构师】学习记录,BAT大厂面试基础题集合

Java 程序员 后端

Tomcat目录结构,java基础教程第三版

Java 程序员 后端

VIVO一面竟然翻车,含泪整理了这些Java面经,看完我悟了

Java 程序员 后端

YYDS,瞬间秒杀全网,这套Java面试笔记可以解决90,kafka基础架构消费模式

Java 程序员 后端

【 大厂必考之JVM】01,kafka原理和面试笔试题目

Java 程序员 后端

【Java 多线程 3】线程池2,linux内核编程进阶篇pdf

Java 程序员 后端

【Java 强化】代码规范,springcloud视频

Java 程序员 后端

VBA常用语法,操作系统原理与linux实践教程申丰山

Java 程序员 后端

Zookeeper原理篇-Zookeeper启动流程分析,从底层开始带你了解并发编程

Java 程序员 后端

“996”为什么还没实行(1),java零基础教程视频

Java 程序员 后端

《黑马程序员》通讯录管理系统实战,终于搞明白了

Java 程序员 后端

「源码解析」 消息队列Kombu基本架构综述,透过根源从而探究红黑树的本质

Java 程序员 后端

ThreadLocal内存泄漏分析与解决方案,java语言程序设计基础篇答案第六章

Java 程序员 后端

Zookeeper(从7个方面来了解Zookeeper基础概念),java新技术网站

Java 程序员 后端

《零基础》MySQL 连接的使用(二十),开发多年HashMap原理不知道

Java 程序员 后端

volatile 和原子类的异同,画个图理解一下,面试官让我下周来上班

Java 程序员 后端

Zookeeper系列-我保证!样样聚到!没有一句废话,今日头条面试经历

Java 程序员 后端

《重构 改善既有代码的设计 3》代码的可理解性应该是我们虔诚追求的目标

Java 程序员 后端

《项目开发团队分配管理软件》,nginx面试题阿里

Java 程序员 后端

「Java」手把手理解CAS实现原理,学习linux编程

Java 程序员 后端

「并发原理专题」AQS的技术体系之CLH,java基础重点知识点

Java 程序员 后端

【95 后 Java 程序员的大厂梦】三年开发经验,springboot开源项目讲解

Java 程序员 后端

tomcat优化——并发和Tomcat线程数,mysql集群原理详解

Java 程序员 后端

vivo官网商城开发团队:同城双活与异地多活架构分析,java面试问项目流程

Java 程序员 后端

Web开发基础:JavaScript常用类、面向对象和BOM,java中锁的实现原理

Java 程序员 后端

this与super关键字(阿里巴巴面试竟然问道这个了…,ubuntulinux操作系统实用教程

Java 程序员 后端

uniapp props、$ref、$emit,如何保证高可用

Java 程序员 后端

“996”为什么还没实行,mybatis从入门到精通电子书

Java 程序员 后端

XML简介,kafka教程尚谷

Java 程序员 后端

「Java」几种典型的内存溢出案例,linux视频教程迅雷下载

Java 程序员 后端

【Java8 新特性 5】Java8 stream的详细用法,java开发面试视频

Java 程序员 后端

QClub北京:腾讯云图沙龙之海量数据下的关键因子选取等_服务革新_包研_InfoQ精选文章