写点什么

数据迁移同步平台 CloudCanal 免费社区版正式发布

  • 2021-08-06
  • 本文字数:1476 字

    阅读完需:约 5 分钟

数据迁移同步平台CloudCanal免费社区版正式发布

近日,CloudCanal 社区版正式发布。据悉,这次社区版的发布花了近 2 年时间准备,将免费开放并持续维护。同时,官方透露 CloudCanal 内核未来会开源,相关工作正在准备阶段。


CloudCanal是一款由ClouGence公司发行的集结构迁移、数据全量迁移/校验/订正、增量实时同步为一体的数据迁移同步平台。产品包含完整的产品化能力,助力企业打破数据孤岛、完成数据互融互通,从而更好的使用数据。其核心团队成员来自阿里巴巴中间件和数据库团队,长期从事分布式数据库、数据库中间件、应用中间件工作。

功能介绍

支持的源和目标

CloudCanal 是一款多源多端数据迁移同步工具,当前支持的数据源主要如下(2021 年 8 月 1 日版本,数据源持续添加中):


源端:MySQL、Oracle、PostgreSQL、Greenplum、Kafka


目标端:MySQL、Oracle、PostgreSQL、Greenplum、Kafka、RabbitMQ、RocketMQ、Tidb、ClickHouse、ElasticSearch、Hive、阿里云 ADB

功能矩阵

CloudCanal 针对数据源提供的标准能力如下:


  • 数据源管理:产品化添加阿里云数据源;产品化添加自建数据源;修改内网网 Host 地址;修改数据源在 CloudCanal 平台存储的账号密码;针对阿里云数据源自动添加机器白名单;删除数据源,数据源多维筛选搜索。

  • 机器管理:集群化管理,机器生命周期控制,机器系统信息实时监控,白屏化机器日志查看(针对 CloudCanal 的 Sidecar 组件),产品化添加 ECS,产品化添加自建机器,集群搜索;

  • 监控管理:监控大盘查看整体任务创建情况、机器使用情况;白屏化全局异常事件搜集,支持按照任务搜索并且查看异常堆栈;异常事件搜索;告警发送日志。

  • 系统管理:用户管理(支持用户搜索);状态机管理(支持查看任务状态机详情和状态);异步任务管理(支持查看异步任务详情、状态、失败时异常堆栈);支持全局操作审计、条件过滤。

  • 任务管理:支持卡片、列表两种任务展示方式;任务迁移同步进度、状态查看;任务生命周期控制(任务启动、删除、批量操作);任务详情查看(同步的源、目标查看,运行机器查看,任务各同步阶段状态,统计信息查看);清除位点(从当前时间点开始同步)。

  • 重置位点:设置位点的开始时间;任务实时监控数据查看(实时 RPS、任务引擎监控、资源监控等);任务参数修改(支持任务内核参数调整、生效);支持查看任务订阅情况,并且支持多维筛选;支持白屏化查看任务关键日志;任务监控报警(支持设定延迟阈值进行钉钉、短信、电话报警);支持新增、删除订阅(新订阅的表会自动进行全量同步);支持异常跳过策略参数配置;支持参数化配置并行度、批处理大小、内存队列大小等关键配置。

  • 可视化任务创建:支持可视化配置源、目标以及任务运行机器;支持创建结构迁移、全量迁移、实时增量、校验任务、订正任务等任务类型;支持创建任务规格选择;支持库、表、列订阅裁剪;支持整库迁移;支持库树形批量筛选;支持表过滤条件设置、表批量设置过滤条件;支持丰富的筛选条件批量设置订阅;支持按照列搜索并批量设置过滤条件;支持列映射;支持无主键表设置自定义主键;支持虚拟列设置;支持增量 ACTION 过滤。

技术架构

CloudCanal 主体上分为三个主要部分:

  • 控制台:完成 CloudCanal 的主要产品化能力

  • Sidecar: 主要负责任务进程和控制台程序之间的信息交互并且保证任务进程高可用

  • 任务内核:任务内核进程,负责具体同步任务的执行



附上 CloudCanal 社区版下载地址:


OSS 下载地址:https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/2021_07_31/cloudcanal.7z


安装教程:https://www.askcug.com/topic/75/cloudcanal%E7%A4%BE%E5%8C%BA%E7%89%88docker%E7%89%88%E5%AE%89%E8%A3%85-linux-macos/2


官方社区地址:https://www.askcug.com

2021-08-06 15:119867
用户头像
罗燕珊 AI practitioner | Tech media

发布了 534 篇内容, 共 395.2 次阅读, 收获喜欢 844 次。

关注

评论

发布
暂无评论
发现更多内容

极致性能!阿里巴巴Java性能优化实录Github首次开源

Java永远的神

JVM 设计模式 多线程 java程序员 Java性能优化

万字长文!对比分析了多款存储方案,KeeWiDB最终选择自己来

腾讯云数据库

nosql 存储 NoSQL 数据库 腾讯云数据库 KeeWiDB

集合:元素之间不允许重复

乔乔

11月月更

一文熟悉 Go 的分支结构(if - else-if - else、switch)

陈明勇

Go golang Switch if 11月月更

面向大规模队列,百万并发的多优先级消费系统设计

阿里云CloudImagine

阿里云 队列 消费系统

824页23种设计模式全解析,搞定设计模式各种难题

小小怪下士

Java 程序员 设计模式

信息论与编码:线性分组码与性能参数

timerring

数据通信 11月月更 线性分组码

涨薪50%,从小厂逆袭,坐上美团L8技术专家(面经+心得)

钟奕礼

Java Java 面试 java编程 程序员 java

GitHub标星1.6W+的570页JVM垃圾回收文档,助我boss直聘狂拿offer

小二,上酒上酒

Java JVM 垃圾回收 性能调优

python小知识-hook函数

AIWeker

Python python小知识 11月月更

先到先得!阿里淘系内传322页Java并发编程核心讲义学习笔记

钟奕礼

Java java程序员 java面试 java编程

极客时间运维进阶训练营第五周作业

好吃不贵

架构实战营-模块5课后作业

Mr.M

列表常用方法(二)

乔乔

11月月更

字典:反映对应关系的映射类型

乔乔

11月月更

Note.js框架中的cluster集群和断言测试的实战剖析

恒山其若陋兮

前端 11月月更

华为云会议,云上办公更轻松高效

路过的憨憨

从零开始读源码,阿里最新JDK源码剖析笔记在架构师社区火了

程序员小毕

Java 程序员 后端 jdk源码 架构师

腾讯云大神亲码“redis深度笔记”,不讲一句废话,全是精华

钟奕礼

Java java程序员 java面试 java编程

列表常用方法(一)

乔乔

11月月更

进军东南亚市场,腾讯云数据库TDSQL助力印尼BNC银行数字化转型

腾讯云数据库

金融行业 tdsql 腾讯云数据库 BNC

CDH5部署三部曲之一:准备工作

程序员欣宸

大数据 CDH 11月月更

python数据分析-pandas基础3-数据对齐

AIWeker

Python Python数据分析 11月月更

图神经网络之预训练大模型结合:ERNIESage在链接预测任务应用

汀丶人工智能

图神经网络 图学习 11月月更

最近面试Java开发的感受:就以平时项目经验面试,通过估计很难

钟奕礼

Java java面试 java编程 程序员 java

华为云桌面Workspace云上办公,方便得很!

路过的憨憨

一个三年Java程序员的面试总结!绝对会对你有所帮助

钟奕礼

Java java面试 java编程 程序员 java

元组:轻量级列表

乔乔

11月月更

在child_process域和错误的冒泡和捕获实践【Note.js】

恒山其若陋兮

前端 11月月更

python数据分析-pandas基础(4)-数据映射apply

AIWeker

Python Python数据分析 11月月更

今年Java技术岗面试太难了,收藏93套BATJ等公司面试题集,已看哭

钟奕礼

java面试 java编程 Java‘’ 程序员‘

数据迁移同步平台CloudCanal免费社区版正式发布_开源_罗燕珊_InfoQ精选文章