【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

数据迁移同步平台 CloudCanal 免费社区版正式发布

  • 2021-08-06
  • 本文字数:1476 字

    阅读完需:约 5 分钟

数据迁移同步平台CloudCanal免费社区版正式发布

近日,CloudCanal 社区版正式发布。据悉,这次社区版的发布花了近 2 年时间准备,将免费开放并持续维护。同时,官方透露 CloudCanal 内核未来会开源,相关工作正在准备阶段。


CloudCanal是一款由ClouGence公司发行的集结构迁移、数据全量迁移/校验/订正、增量实时同步为一体的数据迁移同步平台。产品包含完整的产品化能力,助力企业打破数据孤岛、完成数据互融互通,从而更好的使用数据。其核心团队成员来自阿里巴巴中间件和数据库团队,长期从事分布式数据库、数据库中间件、应用中间件工作。

功能介绍

支持的源和目标

CloudCanal 是一款多源多端数据迁移同步工具,当前支持的数据源主要如下(2021 年 8 月 1 日版本,数据源持续添加中):


源端:MySQL、Oracle、PostgreSQL、Greenplum、Kafka


目标端:MySQL、Oracle、PostgreSQL、Greenplum、Kafka、RabbitMQ、RocketMQ、Tidb、ClickHouse、ElasticSearch、Hive、阿里云 ADB

功能矩阵

CloudCanal 针对数据源提供的标准能力如下:


  • 数据源管理:产品化添加阿里云数据源;产品化添加自建数据源;修改内网网 Host 地址;修改数据源在 CloudCanal 平台存储的账号密码;针对阿里云数据源自动添加机器白名单;删除数据源,数据源多维筛选搜索。

  • 机器管理:集群化管理,机器生命周期控制,机器系统信息实时监控,白屏化机器日志查看(针对 CloudCanal 的 Sidecar 组件),产品化添加 ECS,产品化添加自建机器,集群搜索;

  • 监控管理:监控大盘查看整体任务创建情况、机器使用情况;白屏化全局异常事件搜集,支持按照任务搜索并且查看异常堆栈;异常事件搜索;告警发送日志。

  • 系统管理:用户管理(支持用户搜索);状态机管理(支持查看任务状态机详情和状态);异步任务管理(支持查看异步任务详情、状态、失败时异常堆栈);支持全局操作审计、条件过滤。

  • 任务管理:支持卡片、列表两种任务展示方式;任务迁移同步进度、状态查看;任务生命周期控制(任务启动、删除、批量操作);任务详情查看(同步的源、目标查看,运行机器查看,任务各同步阶段状态,统计信息查看);清除位点(从当前时间点开始同步)。

  • 重置位点:设置位点的开始时间;任务实时监控数据查看(实时 RPS、任务引擎监控、资源监控等);任务参数修改(支持任务内核参数调整、生效);支持查看任务订阅情况,并且支持多维筛选;支持白屏化查看任务关键日志;任务监控报警(支持设定延迟阈值进行钉钉、短信、电话报警);支持新增、删除订阅(新订阅的表会自动进行全量同步);支持异常跳过策略参数配置;支持参数化配置并行度、批处理大小、内存队列大小等关键配置。

  • 可视化任务创建:支持可视化配置源、目标以及任务运行机器;支持创建结构迁移、全量迁移、实时增量、校验任务、订正任务等任务类型;支持创建任务规格选择;支持库、表、列订阅裁剪;支持整库迁移;支持库树形批量筛选;支持表过滤条件设置、表批量设置过滤条件;支持丰富的筛选条件批量设置订阅;支持按照列搜索并批量设置过滤条件;支持列映射;支持无主键表设置自定义主键;支持虚拟列设置;支持增量 ACTION 过滤。

技术架构

CloudCanal 主体上分为三个主要部分:

  • 控制台:完成 CloudCanal 的主要产品化能力

  • Sidecar: 主要负责任务进程和控制台程序之间的信息交互并且保证任务进程高可用

  • 任务内核:任务内核进程,负责具体同步任务的执行



附上 CloudCanal 社区版下载地址:


OSS 下载地址:https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/2021_07_31/cloudcanal.7z


安装教程:https://www.askcug.com/topic/75/cloudcanal%E7%A4%BE%E5%8C%BA%E7%89%88docker%E7%89%88%E5%AE%89%E8%A3%85-linux-macos/2


官方社区地址:https://www.askcug.com

2021-08-06 15:118312
用户头像
罗燕珊 InfoQ中文站编辑

发布了 415 篇内容, 共 239.9 次阅读, 收获喜欢 757 次。

关注

评论

发布
暂无评论
发现更多内容

产品解读 | 新一代湖仓集存储,多模型统一架构,高效挖掘数据价值

星环科技

大数据 信创 科技 大模型

AppLink让你的电商运营财务管理自动化

RestCloud

零代码 APPlink 自动化集成

一分钟了解Wireshark的数据包

小齐写代码

“研学测”好帮手,三步带你安装体验TDH社区开发版

星环科技

大数据 信创 科技 大模型

国内首个图计算标准发布,悦数图数据库通过测试

悦数图数据库

图谱

苹果电脑mac上好用10款系统优化软件

南屿

苹果mac系统优化 Mac卸载软件

macOS数据转换工具 Easy Data Transform for mac v1.46.2激活版

南屿

Excel CSV编程文件转换 数据转换工具 Easy Data Transform

第三届“新科技 星力量” 科技实践案例评选【获奖名单】揭晓

星环科技

大数据 科技 大模型 获奖

星环科技基于第五代英特尔®至强®可扩展处理器的分布式向量数据库解决方案重磅发布

星环科技

大数据 信创 科技 大模型

技术解读 | KunDB助力头部金融机构关键系统的Oracle国产替代

星环科技

oracle 大数据 科技 大模型

聚道云软件连接器1月新增应用/产品更新合集

聚道云软件连接器

功能更新

Footprint 的卓越资金流数据揭示加密货币的神秘叙事

Footprint Analytics

区块链 数据分析 加密货币

探索技术的无限可能-云原生计算2023年度奖项

字节跳动云原生计算

大数据 云原生

全面升级!Apache HugeGraph 1.2.0版本发布

百度安全

实现钉钉与宁波银行对接,助力企业实现财务智能化

聚道云软件连接器

案例分享

10个问题,教你如何使用一个事半功倍的代码托管平台

华为云PaaS服务小智

华为云 代码托管

Mac母带制作工具Steinberg WaveLab 12 Pro下载安装

南屿

Steinberg 母带处理软件 WaveLab 12

数据中心AIOps智能运维标杆 浪潮信息InManage全新升级

财见

指标平台详解(下):第三代指标平台实现了哪些突破?

Aloudata

BI ETL 指标中台; 指标中台

软件测试学习笔记丨Flask定义接口路由和视图函数

测试人

软件测试

JetBrains软件怎么设置中文,jetbrains全家桶汉化教程

南屿

编程开发 jetbrains rider破解版 JetBrains全家桶

2024年前端会流行什么技术和框架了?

互联网工科生

软件开发 低代码 前端框架 JNPF

软件测试学习笔记丨性能测试体系

测试人

软件测试

百度安全入选2023年移动互联网APP产品安全漏洞治理十大优秀案例

百度安全

彰显科技硬实力!天翼云论文在国际顶刊JoCCASA发表!

天翼云开发者社区

云计算 混合云 论文

(保姆级)服务器-Zabbix6.0使用Python脚本实现带图片的邮箱的报警

不在线第一只蜗牛

Python 运维 服务器

亚马逊云科技在中国推出数字孪生服务Amazon IoT TwinMaker

财见

利用 Token Explorer 信号驾驭市场波动

Footprint Analytics

区块链 加密货币 Token 代币

Python 变量?对象?引用?赋值?一个例子解释清楚

EquatorCoco

Python 前端 变量 对象 开发语言

【第七在线】数字化转型:智能商品计划管理的核心要素

第七在线

数据迁移同步平台CloudCanal免费社区版正式发布_开源_罗燕珊_InfoQ精选文章