最新发布《数智时代的AI人才粮仓模型解读白皮书(2024版)》,立即领取! 了解详情
写点什么

QClub 北京:腾讯云图沙龙之海量数据下的关键因子选取等

  • 2014-03-31
  • 本文字数:1870 字

    阅读完需:约 6 分钟

3 月 29 日下午,《第 70 期 QClub:腾讯云图沙龙之腾讯游戏云关键技术剖析》在北京车库咖啡举行。此次活动试图深入刨析将游戏云背后的关键技术,当然游戏云背后有大量的技术积累做支撑,远非几个小时的分享交流就能剖析清楚。未来几个月,QClub 还将与腾讯陆续举办腾讯云图沙龙,进一步解读腾讯云背后的关键技术,欢迎关注腾讯云技术专区

3 月 29 日活动当天选定了三个技术方向,腾讯云派出了孙小滨、李浩和李杰三位工程师分别就《海量数据下的关键因子选取》、《高可靠的移动推送服务》、《移动场景下的动态数据加速》话题进行了分享,来自小米、百度、腾讯、奇虎 360、中科院计算所等 120 余名听众参与了活动。

在 Q/A 和 OpenSpace 环节,大约一个多小时的过程中,孙小滨、李浩和李杰三位工程师回答了听众许多问题。

本次活动的 PPT 和视频近期将在 InfoQ 网站上发布。

分享一:《高可靠的移动推送服务》——腾讯云高级工程师 李浩

李浩重点介绍了腾讯信鸽推送服务的架构及在保证服务的可用性、数据持久性方面的实现方式。同时,还介绍了链接策略和省电、省流量的具体方法。

连接策略 多端口、双协议支持·应对移动网关代理的端口限制(80 8080 443 14000)

  • 支持 TCP、HTTP 两种协议

终端跑马、IP 直连·根据备选 IP 列表进行并发测速(IP+ 端口 + 协议)

  • 后端根据终端连接情况,定时更新终端的备选 IP 列表
  • 终端在连接空闲时上报测速数据,便于后端决策

后台重定向

应对终端转换地域但未及时跑马等情况,后台引导至最优接入点

  • 安全保证·通道安全、SDK 反加壳、频率打击

分享二:《海量数据下的关键因子选取》——腾讯云高级工程师 孙小滨

孙小滨首先介绍了 Data Plus 多维数据实时分析平台的特点:

  • 抽象为指标池、维度池,可以支持海量报表(抽几个指标和维度做组合查询)
  • 支持自定义指标和维度,方便用户自定义高级数据模型
  • 强大的 ETL 能力,支持多路的数据输入(TDW(复杂模型的 T+1 离线分析)、DCAgent、DataProxy(准实时分析)等)
  • 平行扩展,能够支持海量的指标和维度
  • 查询速度快,绝大多数请求可以 1s 内返回,即使对于非常复杂的查询,也能在 15s 内返回
  • 动态调整数据的层次结构,固化部分 View,整体运算代价小,存储消耗小。

接下来孙小滨介绍了 Rollup 与 Lattice,以及包含了查询层、计算流层、计算层、存储层的整体架构和流程。

分享三:《移动场景下的动态数据加速》——腾讯云高级工程师 李杰

李杰介绍了腾讯云在基础设施方面,尤其是网络、数据存储的优势:

  • 源站:开发商部署在腾讯云机房的云主机服务;
  • 测速服务器:跟源站同网络环境,用来做路由测速;
  • 就近接入集群:两百多个遍布全国的就近接入机房;
  • 加速接入名字服务:根据请求域名,解析提供同省、同网的就近接入点;
  • 业务数据分析:MTA 系统;
  • 监控统计:加速对比直接实时数据展现 (全国地图+时间曲线);

接下来李杰介绍了 SDK、ANS 和 OC 的架构和策略。

自由讨论

三个分享结束后,是茶歇和 OpenSpace。OpenSpace 是供参会者和讲师充分沟通的环节,不过在现场从茶歇开始,三位讲师就没有获得休息的机会,一直被参会者包围直到活动结束。许多参会者在微博上发表了评论:

歆无所恋:#Qclub 腾讯云图沙龙#比较感兴趣的是推荐及营收的交叉和级联分析,多源加速。

泊舟人:#QClub 腾讯云图沙龙#腾讯信鸽服务省电、省流量,是应为优化了处理逻辑…慢心跳

守住每一天:#QClub 腾讯云图沙龙# 大数据。进行 Topview 多维度,多指标,自定义,实时的分析,会对数据进行校对后提供给客户。数据架构的模型都相同,处理大数据的一个点就是:从已有结果集,再次计算。最关注的纬度为,年龄,手机,地域。 I’m at #车库咖啡#

李 - 庆芳:#QClub 腾讯云图沙龙#能分享下当前信鸽单机服务器多少内存可以支持多少长链接,在实际上又做了哪些内存方便的优化?在群发时如何处理瞬间高峰导致的系统波动?

__ 王秋实:#QClub 腾讯云图沙龙#移动 app 的服务端设计,运维,除了要关注传统 pc 服务后端的问题,还要考虑省电,网络不稳定情况下的链接等问题,另外手机上也更容易追踪用户行为。

关于本次活动的 PPT 和视频近期将在 InfoQ 网站上发布,本次活动的更多图片在这里。未来几个月,QClub 还会与腾讯联合组织腾讯云图沙龙,欢迎关注。如果您希望在腾讯云图沙龙上讨论一些技术话题或其他建议,请通过 @QClub 中国告诉我们,下期再见。

【下期活动预告】7 月 5 日,InfoQ 将在上海 IC 咖啡举行 QClub 技术沙龙——腾讯游戏云关键技术剖析,腾讯云工程师将带来“腾讯云移动加速 - 云端加速梦想”、“腾讯云应用加固 - 抗盗版神器”以及“信鸽 - 高可靠的移动推送服务”三场分享。免费报名

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2014-03-31 03:441557
用户头像

发布了 45 篇内容, 共 13.6 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

软件测试中的维恩图详解

测吧(北京)科技有限公司

测试

软件测试 | JMeter函数和变量

测吧(北京)科技有限公司

测试

MoE 系列(五)|Envoy Go 扩展之内存安全

SOFAStack

golang 开发者 后端 网关 C++

已膜拜,GitHub大佬的微服务资源库太强了,每份学习手册都优质详细

做梦都在改BUG

Java Kubernetes 微服务 Spring Cloud Spring Boot

【堡垒机】云堡垒机可以安装在外部数据库上吗?

行云管家

数据库 IT运维 云堡垒机 运维安全

共探Serverless架构的资源平衡管理,腾讯云2023年第二期TechoDay活动圆满落幕

科技热闻

软件测试/测试开发丨Web自动化 option 常用操作headless无头浏览器

测试人

程序员 软件测试 自动化测试 测试开发

万众瞩目的Nautilus Chain即将上线主网,生态正式起航

鳄鱼视界

图解Redis和Zookeeper分布式锁 | 京东云技术团队

京东科技开发者

redis zookeeper 分布式锁 zookeeper分布式锁 企业号 5 月 PK 榜

基于AIGC的京东购物助手的技术方案设想 | 京东云技术团队

京东科技开发者

人工智能 智能客服 AIGC 企业号 5 月 PK 榜

复盘的价值是什么?

老张

复盘 复盘归因

借生态力量助力人工智能发展 英特尔这些年做了哪些事?

E科讯

ClickHouse进阶|如何自研一款企业级高性能网关组件?

字节跳动数据平台

数据库 字节跳动 Clickhouse 企业网关

景区共享电动车投放:助力打造智慧景区

共享电单车厂家

共享电单车投放 校园共享电单车 景区共享电动车 共享电动车合作 共享电单车厂家

巅峰对谈:迈向 AGI 时代,除了优秀的大模型,还需要什么?丨Fabarta&蓝驰创投

Fabarta

人工智能 图数据库 AI大模型 AGI 图智能

Java高并发难题一网打尽,全网最全的高并发设计文档

做梦都在改BUG

Java 架构 系统设计 高并发

ShareSDK Android端合规指南

MobTech袤博科技

Cornerstone永久激活版 SVN管理工具Mac版

魔仙苹果mac堡

mac软件下载 SVN管理工具 cornerstone 4 破解版 cornerstone 4许可 cornerstone 4下载

可视化探索开源项目的 contributor 关系

NebulaGraph

开源

烂怂if-else代码优化方案 | 京东云技术团队

京东科技开发者

Java 代码优化 if-else 企业号 5 月 PK 榜

起猛了!从Github大佬白嫖的分布式进阶宝典,啃完感觉能吊锤面试官

做梦都在改BUG

Java 架构 分布式

C端用户体验度量实战篇-京东快递小程序体验度量全面升级 | 京东云技术团队

京东科技开发者

用户体验 用户体验设计 企业号 5 月 PK 榜 京东小程序

被性能优化撂倒无数次后的顿悟!465页调优笔记助力大厂面试之旅

做梦都在改BUG

Java 性能优化 性能调优

火山引擎DataLeap:如何构建一套完整、易用的数据标准体系

字节跳动数据平台

大数据 数据治理 数据标准 数据研发

软件测试 | 测试贯穿整个项目流程

测吧(北京)科技有限公司

测试

完美!啃透P9大佬这份完整版的《并发编程宝典》,成为Offer收割机

做梦都在改BUG

Java 并发编程 高并发

Wallys/Qualcomm network chip/ipq9574/ipq9554/wireless connectivity solutions.

Cindy-wallys

ipq9554 ipq9574

【云计算】云存储是什么意思?与本地存储有什么区别?

行云管家

云计算 云存储 云管理 云支出

直播预告 | 博睿学院:算法平台底座-数据湖应用

博睿数据

数据湖 可观测性 智能运维 博睿数据 博睿学院

网络性能问题排查思路

蓝胖子的编程梦

TCP 网络 问题排查 问题定位 问题解析

软件测试 |JMeter怎样引用函数和变量

测吧(北京)科技有限公司

测试

QClub北京:腾讯云图沙龙之海量数据下的关键因子选取等_服务革新_包研_InfoQ精选文章