写点什么

一站式图应用平台

  • 2020-03-22
  • 本文字数:1935 字

    阅读完需:约 6 分钟

一站式图应用平台

一、图简介

图是什么?


图是一种将实体以及实体之间的关系,抽象表达为图技术上的顶点(V)和边(E)。例如账号(pin)之间的关系,pin 与 pin 之间是朋友、亲属、密友还是本人这些的关系都可以通过如下一张图形象的展示出来:



通过图相关的技术可以解决传统数据库无法或者很难解决的一些问题。

二、应用场景

图的应用场景很多,以下举例几个场景:


1、路径规划:在使用导航软件时,用户在选择一个开始地点和目的地之后导航软件会给出各种如路程最短,不走高速,时长最短等方案,而这些结果的计算都是基于图算法两点路径算法结合相应数据定制改良综合而得到的。



2、社区发现:在好友关系中,根据社区之间联系或紧密,利用图 louvain 算法或者其他算法对用户进行分群从而达到精准营销,个性化服务等。


3、金融贷后催收:利用图算法找出符合条件的失联人的联系人,从而提高催收失联修复的覆盖率、有效联系率,助力不良资产的回收。


上面只是几个简单应用场景,图技术还被用于很多其他的场景如:社交网络,通信网络,城市计算等等。

三、图灵平台是什么?

图灵平台是集图数据库和图计算于一身,提供图建模到图可视化一体化的通用一站式图应用平台,致力于服务业务,快速构建基于图技术的应用项目,提升效率,节约成本。



根据上图可看出图灵在架构上可以分为以下几层:


1、图服务层


图灵提供了一整套灵活图可视化解决方案,前端采用模块化的组件方式,可根据项目的配置,灵活的设置前端样式以及最终的可视化效果,并提供灵活在线写 gremlin 的方式,根据用户灵活的需求自主定制分析语句,并可根据需要灵活选择两种输出结果:


  • 图可视化

  • Json 格式


2、图接口层


图灵提供标准的几种类型的输出接口


  • 点查询类型

  • 路径查询类型

  • 图查询

  • 定制化查询


3、图引擎层


图引擎层有分为图数据库和图计算引擎,通过这两部分一站式解决 OLTP 和 OLAP 类型的需求。


  • 图数据库


图数据库致力于间接 OLTP 的在线查询分析类型的需求,其具备以下几个特点:


i. 分布式:支持百亿顶点千亿边级别的数据存储


ii. 元数据管理


iii. 图索引:支持模糊匹配查询


iv. 事务管理


v. 版本管理:支持数据多版本


  • 图计算引擎(Joygraph)


图计算引擎 Joygraph 是一个性能高远超 GraphX 的高效的计算引擎,致力于解决海量数据下的 OLAP 类型的离线数据分析需求,可在百亿顶点千亿边的数据下,高效运行图上的各类常规图算法,并可根据业务场景灵活的定制图算法。并实现了以下特性:


i. 增量图计算


ii. 顶点为中心的编程模型


iii. 图分区


iv. Push/pull 双模式自适应


v. Numa-aware


vi. 内置算法包


vii. 定制算法…


4、存储层


在数据存储上,图灵支持分布式存储系统,关系型数据库和其他类型的存储。

四、图灵如何实现一站式

1、图应用


在图应用方面,图灵在功能上设计了一套建模流程,通过这套流程可以无需写一行程序代码的情况下的生成图应用项目,通过界面的简单操作便可完成上线。以下是建模流程:



  • Schema 设计:图形化的简易操作即可抽象刻画顶点与边的关系,达到顶点与边的关系一目了然。



  • ER 设计:将数据源的表加载至页面,通过简易的操作将数据库中表转换为图需要的数据格式。



  • 数据映射:通过前端拖拽式的操作,将数据源与 schema 设计中的顶点、边、属性进行手动或者自动映射。

  • 数据加载:在数据加载设计了全自动化的入库流程,打通内部相关平台,实时精确监控入库的各个流程,高效入库,百亿数据可在几小时内完成。

  • 图可视化:提供强大的图可视化功能具体包括:


i. 多布局:支持力导引布局,上下布局,左右布局


ii. 图保存:在图探索中可随时保持当前查询结果,保障关闭浏览器之后,下次打开可在上次的结果上继续操作


iii. 图下载:可将当前结果直接转换为图片形式存储


iv. 自定义查询


v. 外链:可直接将图灵项目内嵌至其他系统


vi. 声明式/命令式扩展


vii. 多节点路径


viii. 路径下载:可将搜索出的路径以 excel 形式下载使用


ix. 在线写 Gremlin


x. 数据批量隐藏恢复


xi. 无限前进后退操作


xii. 图结果定位:名称结果定位/属性定位…



2、图计算


  • 提供可视化的数据计算流程服务,通过界面化的拖拽生成计算服务,集流程与调度一体,实时监控算法各个步骤。

  • 图灵平台图计算模块内置了丰富的算法组件,组件即服务,具体如下:


i. PageRank


ii. 连通子图


iii. 连通路径


iv. K-Core


v. 最短路径


vi. 标签传播


vii. 三角计数


viii. 关系预测…


五、项目支撑和成果

图灵系统发布至今已经陆续接入了许多项目,并得到了多方认可。已上线和即将上线项目达十余个,下面是具体已上线项目情况:


  • Idmapping(百亿级)

  • 失联修复项目(百亿级)

  • 企业征信(10 亿级)

  • 数仓知识图谱

  • 智能实验室项目…


随着图灵平台项目的陆续接入,个性需求多样化,图灵平台会根据需求不断完善改进,丰富图灵平台功能,优化操作,争取打造一个更加便捷易用的一站式图应用平台。有合作意向的团队可联系本文作者哦!


2020-03-22 21:04964

评论

发布
暂无评论
发现更多内容

实战丨证券 HTAP 混合业务场景的难点问题应对

TiDB 社区干货传送门

Domino 流计算快速上手 - 2. 聚集

YMatrix 超融合数据库

数据库 数据仓库 流计算 超融合数据库

V7.5.3安装tidb ipv6集群(redhat 7.9)

TiDB 社区干货传送门

管理与运维 安装 & 部署 7.x 实践

HarmonyOS :自定义组件 @BuilderParam 中 this 作用域填坑小记

李小轰

HarmonyOS NEXT

HarmonyOS UI动态化:探索自定义组件的创建与实时更新技术

李小轰

HarmonyOS NEXT

50万奖金池等你来战! 第二届OpenHarmony创新应用挑战赛再度起航

科技热闻

HarmonyOS :面向对象式网络请求库,我发布的第一个鸿蒙三方库

李小轰

HarmonyOS NEXT

汽车摆臂行业数字化转型方案及MES系统具体功能介绍

万界星空科技

汽车 mes 汽车零部件mes 汽车摆臂行业 汽车摆臂mes

HarmonyOS :扩展修饰器,实现节流、防抖、权限申请

李小轰

HarmonyOS NEXT

记一起 TiFlash 副本同步被卡住的问题

TiDB 社区干货传送门

管理与运维 7.x 实践

必看!淘宝商品详情数据接口调用,助力商城上货实战全流程(仅供参考)

tbapi

淘宝商品详情接口 商品上货接口

HarmonyOS :自定义弹窗(CustomDialog)的解耦实践

李小轰

HarmonyOS NEXT

探索HarmonyOS:一键掌握Router与NavPathStatck的传参和页面回调技巧

李小轰

HarmonyOS NEXT

TIDB 利用follower 角色实现读写分离

TiDB 社区干货传送门

HarmonyOS :ArkUI `动态组件` 与`组件工厂` 的最佳封装策略

李小轰

HarmonyOS NEXT

基于 AutoFlow 快速搭建基于 TiDB 向量能力的本地知识库问答机器人

TiDB 社区干货传送门

8.x 实践

GreatSQL内存消耗异常排查攻略:从系统到应用层面的深入分析

GreatSQL

HarmonyOS :适配折叠屏展开与收起,实现单屏与双屏UI的无缝切换

李小轰

HarmonyOS NEXT

【解锁】华为云全栈可观测平台——9月10月新功能特性

平平无奇爱好科技

TiDB 无统计信息时执行计划如何生成

TiDB 社区干货传送门

管理与运维 TiDB 源码解读

淘宝天猫API接口:解锁商品详情与关键字搜索的无限可能

代码忍者

API 接口 pinduoduo API

租用 4090 算力云电脑,这些性能指标需关注!

Finovy Cloud

云桌面 显卡 云电脑

华为云软件开发生产线(CodeArts)10月新功能特性

平平无奇爱好科技

小红书详情API接口的获取与应用

科普小能手

API Python JSON 小红书API接口 小红书笔记接口 小红书API

ClkLog埋点系统基于ClickHouse的百万日活测试报告

ClkLog

测试 数据采集 sdk 用户分析 开源软件

内存分配 Allocstall 导致 SQL 抖动的分析

TiDB 社区干货传送门

管理与运维 故障排查/诊断

亚洲唯一!华为云入选Gartner®云应用平台魔力象限

平平无奇爱好科技

HarmonyOS :基于 emitter 封装了一个便捷的 EventBus 事件通知

李小轰

HarmonyOS NEXT

TiDB 优化器丨执行计划和 SQL 算子解读最佳实践

TiDB 社区干货传送门

一站式图应用平台_文化 & 方法_京东数字科技产业AI中心_InfoQ精选文章