写点什么

数据库 +AI 是如何预测未来的?

  • 2019-10-29
  • 本文字数:1274 字

    阅读完需:约 4 分钟

数据库+AI是如何预测未来的?

我们生活中很多数据是有时间维度的。比如说天气或者股票价格。对于这种带有时序的数据,有一种基于时间序列的预测模型—Prophet。


这里是项目的地址,需要的小伙伴可以去上面一看究竟。而我主要做的是通过该模型来预测腾讯云数据库存储量变化的未来趋势。下来就来看看 Prophet 的强大之处吧。


前面说到 Prophet 是基于时间序列的模型,所以说时间是里面最重要的一个维度(如果您需要预测自己的数据,那么必须是 pandas 固定的时间格式)。现在就开始直接看下结果吧。



纵轴是腾讯云某类型数据库的购买总量,可以看到随着时间的增长,数据库的购买总量还是在不断增长的。而 Prophet 所要做的就是根据数据的历史表现来估计数据未来的走势。


实验中我选取了 2018 年 1 月到 6 月的数据作为测试集。黑点为真实值,蓝色区域为模型预测的估计值,可以看到随着时间的推移,总体估计容量的趋势是增长的,但是随着时间的推移,不确定性区域越来越大(图中蓝色区域),也可以认为是随着时间的推移,不确定性越来越大。下面来看看真实值与模型预测值是否准确:



图中 6 月份以后的数值是对模型的测试集,红色区域就是模型未见过的数值与估计值的相对情况。可以明显的看到,该模型估计还是相当准确的呀。可能有很多小伙伴要问了,为啥 4 月末会出现一个阶段式的跳跃呢?就是我们腾讯云的一个大客户拼多多最近有比较大的手笔。


当然该模型不仅仅可以估计进几个月,也可以估计更长的时间,但是随着时间的推移,可能就更不准确了。


重点来了!!!这东西就是预测一个容量那么简单么?当然不是了。。主要分两大方面:


1.可以为我们自己提供服务:


(1)可以为我们提供潜在客户的估计。(比如明显可以看到某个公司近几个月飞速购买数据库服务,但是该公司不是我们的大客户。所以很难通过简单的容量排行榜找到他。但是 Prophet 可以估计出谁可能在后面变成大客户,这样就可以告诉架构师谁是我们的潜在客户。)


(2)还可以通过对我们数据库的总量或者单个客户的数据库总量进行估计,告诉大概什么时候客户需要扩容了,让我们对自己的服务有更好的准备。


2.也可以为我们的客户服务:


(1)客户可以通过对自习所选的维度进行分析,相当于一个 saas 服务。


(2)客户还可以对自己所买的 CVM 相关的用量进行分析,以便选择最合理的配置。


最后简单说下模型内部结构。


Prophet 是一个累加回归模型(additiveregressionmodel)模型的整体构建如下:


y(t) = g(t)+s(t)+h(t)+et
复制代码


主要有三部分组成:growth(增长趋势)、seasonality(季节趋势)以及 holidays(节假日对预测值的影响)。其中 g(t)表示增长函数,用来拟合时间序列中预测值的非周期变化。用分段线性或逻辑增长曲线拟合的趋势成分。Prophet 会从数据中找出转折点,自动检测趋势变化 s(t)用来表示周期性变化,比如每周、每年中的季节等。用傅里叶级数建模的季节成分,以年为单位。用虚拟变量表示的季节成分,以周为单位 h(t)表示时间序列中那些潜在的具有非固定周期的节假日对预测值造成的影响。et 为噪声项。


本文转载自公众号云加社区(ID:QcloudCommunity)。


原文链接:


https://mp.weixin.qq.com/s/NLVo9IF6Kfu1X7Pz-RvwdQ


2019-10-29 19:22919

评论

发布
暂无评论
发现更多内容

如何定义SpringBoot项目配置文件中密码的加密

热爱java的分享家

Java 架构 程序人生 编程语言 经验分享

更改Apollo数据库为oracle

小鲍侃java

11月日更

.NET6 引入Autofac

面向对象的猫

.net6 快速上手.net6

武林大会之国产数据库风云榜-2021年11月

墨天轮

数据库 opengauss oceanbase 国产数据库

AI界的革命!终于可以自动标注了!

百度大脑

人工智能 百度

flutter 开发中 vscode 插件推荐 2

坚果

flutter vscode 11月日更

​Qt全球峰会2021中国站深入解读最新Qt 6.2长周期版本,助力企业数字化转型

教你用SQL进行数据分析

华为云开发者联盟

Python sql 数据分析 数据 BI 分析工具

DOM操作造成的页面卡顿问题及解决

CRMEB

技术分享| 如何使用FFmpeg命令处理音视频

anyRTC开发者

音视频 WebRTC ffmpeg 视频通话

【等保】等保3.0是什么意思?有等保3.0吗?

行云管家

网络安全 等保 等级保护 等保2.0

动态模型之动态增减【FunTester测试框架】

FunTester

性能测试 接口测试 测试框架 FunTester 动态模型

如何提高C# StringBuilder的性能

编程宝库

一文读懂Hive数据存储格式

五分钟学大数据

11月日更

请说说RPC的一个请求的流程是怎么样的?

热爱java的分享家

Java 架构 程序人生 编程语言 经验分享

一文让你彻底搞懂Spring状态及原理,实现订单与物流解耦

热爱java的分享家

Java 架构 程序人生 编程语言 经验分享

指令重排序导致的可见性问题

博文视点Broadview

腾讯北大合作的稀疏大模型训练加速方案HET入选国际顶会VLDB

科技热闻

Python爬虫采集,中介网互联网网站排行榜, 样本数量:58341

梦想橡皮擦

11月日更

Python量化数据仓库搭建系列1:数据库安装与操作

恒生LIGHT云社区

量化投资

uniapp+若依 开发租房小程序

詹Sir

大前端

想一个问题,在高并发中,如何部署奇数个节点?

热爱java的分享家

Java 架构 程序人生 编程语言 经验分享

云原生时代需要什么样的存储系统

青云技术社区

云计算 云原生 存储

一周信创舆情观察(11.8~11.14)

统小信uos

元数据管理在数据仓库的实践应用

大数据技术指南

11月日更

SpringBoot+WebSocket实时监控异常

热爱java的分享家

Java spring 架构 程序人生 编程语言

ApplePay应用内购(inapp)支付流程图

try catch

支付 applepay 苹果支付

【混合云小知识】混合云四种形式简单说明

行云管家

云计算 公有云 私有云 混合云 云管理

鱼龙混杂的低代码市场,企业选型需关注哪些重点?

优秀

低代码 企业数字化转型

【高并发】从源码角度深度解析线程池是如何实现优雅退出的

冰河

Java 并发编程 多线程 高并发 异步编程

HarmonyOS本地模拟器重磅来袭|HDC2021技术分论坛

HarmonyOS开发者

HarmonyOS

数据库+AI是如何预测未来的?_数据库_邵宗文_InfoQ精选文章