2月5-7日QCon全球软件开发大会携手100+位大咖讲师落定北京,点击查看完整日程>> 了解详情
写点什么

数据迁移同步平台 CloudCanal 免费社区版正式发布

  • 2021-08-06
  • 本文字数:1476 字

    阅读完需:约 5 分钟

数据迁移同步平台CloudCanal免费社区版正式发布

近日,CloudCanal 社区版正式发布。据悉,这次社区版的发布花了近 2 年时间准备,将免费开放并持续维护。同时,官方透露 CloudCanal 内核未来会开源,相关工作正在准备阶段。


CloudCanal是一款由ClouGence公司发行的集结构迁移、数据全量迁移/校验/订正、增量实时同步为一体的数据迁移同步平台。产品包含完整的产品化能力,助力企业打破数据孤岛、完成数据互融互通,从而更好的使用数据。其核心团队成员来自阿里巴巴中间件和数据库团队,长期从事分布式数据库、数据库中间件、应用中间件工作。

功能介绍

支持的源和目标

CloudCanal 是一款多源多端数据迁移同步工具,当前支持的数据源主要如下(2021 年 8 月 1 日版本,数据源持续添加中):


源端:MySQL、Oracle、PostgreSQL、Greenplum、Kafka


目标端:MySQL、Oracle、PostgreSQL、Greenplum、Kafka、RabbitMQ、RocketMQ、Tidb、ClickHouse、ElasticSearch、Hive、阿里云 ADB

功能矩阵

CloudCanal 针对数据源提供的标准能力如下:


  • 数据源管理:产品化添加阿里云数据源;产品化添加自建数据源;修改内网网 Host 地址;修改数据源在 CloudCanal 平台存储的账号密码;针对阿里云数据源自动添加机器白名单;删除数据源,数据源多维筛选搜索。

  • 机器管理:集群化管理,机器生命周期控制,机器系统信息实时监控,白屏化机器日志查看(针对 CloudCanal 的 Sidecar 组件),产品化添加 ECS,产品化添加自建机器,集群搜索;

  • 监控管理:监控大盘查看整体任务创建情况、机器使用情况;白屏化全局异常事件搜集,支持按照任务搜索并且查看异常堆栈;异常事件搜索;告警发送日志。

  • 系统管理:用户管理(支持用户搜索);状态机管理(支持查看任务状态机详情和状态);异步任务管理(支持查看异步任务详情、状态、失败时异常堆栈);支持全局操作审计、条件过滤。

  • 任务管理:支持卡片、列表两种任务展示方式;任务迁移同步进度、状态查看;任务生命周期控制(任务启动、删除、批量操作);任务详情查看(同步的源、目标查看,运行机器查看,任务各同步阶段状态,统计信息查看);清除位点(从当前时间点开始同步)。

  • 重置位点:设置位点的开始时间;任务实时监控数据查看(实时 RPS、任务引擎监控、资源监控等);任务参数修改(支持任务内核参数调整、生效);支持查看任务订阅情况,并且支持多维筛选;支持白屏化查看任务关键日志;任务监控报警(支持设定延迟阈值进行钉钉、短信、电话报警);支持新增、删除订阅(新订阅的表会自动进行全量同步);支持异常跳过策略参数配置;支持参数化配置并行度、批处理大小、内存队列大小等关键配置。

  • 可视化任务创建:支持可视化配置源、目标以及任务运行机器;支持创建结构迁移、全量迁移、实时增量、校验任务、订正任务等任务类型;支持创建任务规格选择;支持库、表、列订阅裁剪;支持整库迁移;支持库树形批量筛选;支持表过滤条件设置、表批量设置过滤条件;支持丰富的筛选条件批量设置订阅;支持按照列搜索并批量设置过滤条件;支持列映射;支持无主键表设置自定义主键;支持虚拟列设置;支持增量 ACTION 过滤。

技术架构

CloudCanal 主体上分为三个主要部分:

  • 控制台:完成 CloudCanal 的主要产品化能力

  • Sidecar: 主要负责任务进程和控制台程序之间的信息交互并且保证任务进程高可用

  • 任务内核:任务内核进程,负责具体同步任务的执行



附上 CloudCanal 社区版下载地址:


OSS 下载地址:https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/2021_07_31/cloudcanal.7z


安装教程:https://www.askcug.com/topic/75/cloudcanal%E7%A4%BE%E5%8C%BA%E7%89%88docker%E7%89%88%E5%AE%89%E8%A3%85-linux-macos/2


官方社区地址:https://www.askcug.com

2021-08-06 15:115143
用户头像
罗燕珊 InfoQ中文站编辑

发布了 339 篇内容, 共 159.2 次阅读, 收获喜欢 652 次。

关注

评论

发布
暂无评论
发现更多内容

智汇华云 | ArcherOS Stack利旧FC-SAN存储

华云数据

存储

产品经理岗位横向对比

BlueSky

招投标挖坑、防坑指南

浪潮云

tob 招标 投标

“数据库网络故障”愁坏了头,五种方法带你解难题

华为云开发者联盟

数据库 数据 GaussDB 网络故障 丢包

成年人最渴望的奖励就是成功 Jan 20, 2021

王泰

28天写作

产品经理-第一周作业

LLL777

时间是最大的变量

石君

时间 28天写作

两万字长文总结,梳理 Java 入门进阶那些事

程序员小跃

Java redis 架构 后端 面向对象编程

产品经理训练营第一章作业

阿波

项目管理全史(持续更新)

Ian哥

28天写作

详解MySQL执行事务的语法和流程

华为云开发者联盟

MySQL 数据库 事务 服务器 SQL语法

透过现象看本质:Java类动态加载和热替换

华为云开发者联盟

Java JVM 插件 类加载器 热替换

第一周作业

William.F🍭

Soul 网关实践 05|sofa服务&SpringCloud服务接入网关

哼干嘛

uni-app的发展和应用

anyRTC开发者

uni-app 音视频 WebRTC sdk 安卓

第一章作业(2021-1-19)

邓嘉华

花一分钟体验大数据任务调度系统 - Apache DolphinScheduler 第一个官方 Docker 镜像

代立冬

大数据 workflow 任务编排

如何成为分享高手(上)

熊斌

个人成长 28天写作

【总结】产品经理训练营 | 01 认识产品经理

阿席达卡。

张小龙关于微信十年的产品思考 | 视频号 28 天 (13)

赵新龙

28天写作

产品经理岗位招聘分析

Nemo

送你一个造梦机器,然后入眠「幻想短篇 12/28」

道伟

28天写作

交易所APP系统软件开发案例

系统开发

邱岳产品训练营-第一周作业

callme24k

第一周作业

岛乾坤

金融互联网产品经理

Shine man

绩效管理,上下同心者胜(四 完结篇)

一笑

管理 绩效 28天写作

[讨论]几个能有效应对 35 岁危机的办法

穿甲兵

C2C场外交易系统APP开发|C2C场外交易软件开发

系统开发

教育行业产品经理应当具备的能力

阿J正传

区块链产品经理

IVY

区块链

数据迁移同步平台CloudCanal免费社区版正式发布_开源_罗燕珊_InfoQ精选文章