AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

QClub 北京:腾讯云图沙龙之海量数据下的关键因子选取等

  • 2014-03-31
  • 本文字数:1870 字

    阅读完需:约 6 分钟

3 月 29 日下午,《第 70 期 QClub:腾讯云图沙龙之腾讯游戏云关键技术剖析》在北京车库咖啡举行。此次活动试图深入刨析将游戏云背后的关键技术,当然游戏云背后有大量的技术积累做支撑,远非几个小时的分享交流就能剖析清楚。未来几个月,QClub 还将与腾讯陆续举办腾讯云图沙龙,进一步解读腾讯云背后的关键技术,欢迎关注腾讯云技术专区

3 月 29 日活动当天选定了三个技术方向,腾讯云派出了孙小滨、李浩和李杰三位工程师分别就《海量数据下的关键因子选取》、《高可靠的移动推送服务》、《移动场景下的动态数据加速》话题进行了分享,来自小米、百度、腾讯、奇虎 360、中科院计算所等 120 余名听众参与了活动。

在 Q/A 和 OpenSpace 环节,大约一个多小时的过程中,孙小滨、李浩和李杰三位工程师回答了听众许多问题。

本次活动的 PPT 和视频近期将在 InfoQ 网站上发布。

分享一:《高可靠的移动推送服务》——腾讯云高级工程师 李浩

李浩重点介绍了腾讯信鸽推送服务的架构及在保证服务的可用性、数据持久性方面的实现方式。同时,还介绍了链接策略和省电、省流量的具体方法。

连接策略 多端口、双协议支持·应对移动网关代理的端口限制(80 8080 443 14000)

  • 支持 TCP、HTTP 两种协议

终端跑马、IP 直连·根据备选 IP 列表进行并发测速(IP+ 端口 + 协议)

  • 后端根据终端连接情况,定时更新终端的备选 IP 列表
  • 终端在连接空闲时上报测速数据,便于后端决策

后台重定向

应对终端转换地域但未及时跑马等情况,后台引导至最优接入点

  • 安全保证·通道安全、SDK 反加壳、频率打击

分享二:《海量数据下的关键因子选取》——腾讯云高级工程师 孙小滨

孙小滨首先介绍了 Data Plus 多维数据实时分析平台的特点:

  • 抽象为指标池、维度池,可以支持海量报表(抽几个指标和维度做组合查询)
  • 支持自定义指标和维度,方便用户自定义高级数据模型
  • 强大的 ETL 能力,支持多路的数据输入(TDW(复杂模型的 T+1 离线分析)、DCAgent、DataProxy(准实时分析)等)
  • 平行扩展,能够支持海量的指标和维度
  • 查询速度快,绝大多数请求可以 1s 内返回,即使对于非常复杂的查询,也能在 15s 内返回
  • 动态调整数据的层次结构,固化部分 View,整体运算代价小,存储消耗小。

接下来孙小滨介绍了 Rollup 与 Lattice,以及包含了查询层、计算流层、计算层、存储层的整体架构和流程。

分享三:《移动场景下的动态数据加速》——腾讯云高级工程师 李杰

李杰介绍了腾讯云在基础设施方面,尤其是网络、数据存储的优势:

  • 源站:开发商部署在腾讯云机房的云主机服务;
  • 测速服务器:跟源站同网络环境,用来做路由测速;
  • 就近接入集群:两百多个遍布全国的就近接入机房;
  • 加速接入名字服务:根据请求域名,解析提供同省、同网的就近接入点;
  • 业务数据分析:MTA 系统;
  • 监控统计:加速对比直接实时数据展现 (全国地图+时间曲线);

接下来李杰介绍了 SDK、ANS 和 OC 的架构和策略。

自由讨论

三个分享结束后,是茶歇和 OpenSpace。OpenSpace 是供参会者和讲师充分沟通的环节,不过在现场从茶歇开始,三位讲师就没有获得休息的机会,一直被参会者包围直到活动结束。许多参会者在微博上发表了评论:

歆无所恋:#Qclub 腾讯云图沙龙#比较感兴趣的是推荐及营收的交叉和级联分析,多源加速。

泊舟人:#QClub 腾讯云图沙龙#腾讯信鸽服务省电、省流量,是应为优化了处理逻辑…慢心跳

守住每一天:#QClub 腾讯云图沙龙# 大数据。进行 Topview 多维度,多指标,自定义,实时的分析,会对数据进行校对后提供给客户。数据架构的模型都相同,处理大数据的一个点就是:从已有结果集,再次计算。最关注的纬度为,年龄,手机,地域。 I’m at #车库咖啡#

李 - 庆芳:#QClub 腾讯云图沙龙#能分享下当前信鸽单机服务器多少内存可以支持多少长链接,在实际上又做了哪些内存方便的优化?在群发时如何处理瞬间高峰导致的系统波动?

__ 王秋实:#QClub 腾讯云图沙龙#移动 app 的服务端设计,运维,除了要关注传统 pc 服务后端的问题,还要考虑省电,网络不稳定情况下的链接等问题,另外手机上也更容易追踪用户行为。

关于本次活动的 PPT 和视频近期将在 InfoQ 网站上发布,本次活动的更多图片在这里。未来几个月,QClub 还会与腾讯联合组织腾讯云图沙龙,欢迎关注。如果您希望在腾讯云图沙龙上讨论一些技术话题或其他建议,请通过 @QClub 中国告诉我们,下期再见。

【下期活动预告】7 月 5 日,InfoQ 将在上海 IC 咖啡举行 QClub 技术沙龙——腾讯游戏云关键技术剖析,腾讯云工程师将带来“腾讯云移动加速 - 云端加速梦想”、“腾讯云应用加固 - 抗盗版神器”以及“信鸽 - 高可靠的移动推送服务”三场分享。免费报名

2014-03-31 03:441949
用户头像

发布了 45 篇内容, 共 15.2 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

接口测试工具简介!

Liam

测试 自动化测试 测试工具 测试自动化 测试管理工具

不会吧不会吧!听说还有人在手动迁移Vault密钥?

Jianmu

自动化 数据迁移 密钥 建木CI vault

在线文本列表补集计算工具

入门小站

工具

抢先预约 | 阿里云无影云应用线上发布会预约开启

阿里云弹性计算

无影云电脑 云应用

腾讯云发布全新非关系型数据库KeeWiDB 搭载全自研存储引擎

科技热闻

三、云原生安全关键要素

穿过生命散发芬芳

云原生安全 5月月更

小白福利!教你用低代码实现一个简单的HarmonyOS页面跳转功能

HarmonyOS开发者

HarmonyOS 低代码开发

Dubbo3 落地实践及 Mesh 解决方案

阿里巴巴中间件

阿里云 开源 云原生 dubbo 中间件

直播预告丨Hello HarmonyOS进阶课程第三课——游戏开发实践

HarmonyOS开发者

游戏开发 HarmonyOS

OpenHarmony浏览器上新,在Dayu200开发板上终于能优雅地浏览网页

离北况归

浏览器 OpenHarmony Openharmony啃论文俱乐部 PIMF OpenHarmony应用安装

柏拉图会成为元宇宙风险标吗?PlatoFarm的机会很大

小哈区块

HIVE3 深度剖析 (下篇)

明哥的IT随笔

大数据 hive

企评家,企业数据分析评价提供投资信息支撑

企评家

李俊刚:我是如何在OpenHarmony完成ap6275s WiFi驱动的HDF适配工作的?

OpenHarmony开发者

OpenHarmony WiFi驱动

JavaWeb 数据库操作

Emperor_LawD

sql javaWeb 5月月更

明明已部署EDR,服务器为什么还是被入侵了?

青藤云安全

安全攻防 网络安全 主机安全

一文彻悟容器网络通信

阿里巴巴中间件

阿里云 容器 云原生 中间件

6 月亚马逊云科技培训与认证课程,精彩不容错过!

亚马逊云科技 (Amazon Web Services)

架构师 培训 认证

linux中vi,vim操作技巧

入门小站

Linux

服务网格接口 SMI 规范解读

Flomesh

云原生 服务网格 SMI OpenServiceMesh

Cocos 常用功能介绍

空城机

Cocos 5月月更

在线TSV转YAML工具

入门小站

工具

企评家|广州白云国际机场股份有限公司成长性报告简述

企评家

工业质检如何以“智”取胜?15分钟上手工业零部件检测全流程方案

百度开发者中心

企评家 | 白银有色集团股份有限公司成长性评价简介

企评家

HDD·耀星领航出海峰会:华为游戏中心联运服务加速游戏出海获量增长

最新动态

Redis「5」事件处理模型与键过期策略

Samson

学习笔记 Redis 核心技术与实战 5月月更

Spark离线开发框架设计与实现

百度开发者中心

漏洞扫描器并非100%靠谱,那么容器镜像安全又当如何保证?

青藤云安全

网络安全 安全管理 漏洞修复

FinClip+系列 | VUE前端开发框架核心原理

Speedoooo

Vue 前端框架 移动开发 移动端开发 小程序容器

【JavaScript】数值转换为数值

恒山其若陋兮

5月月更

QClub北京:腾讯云图沙龙之海量数据下的关键因子选取等_服务革新_包研_InfoQ精选文章