限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

数据迁移同步平台 CloudCanal 免费社区版正式发布

  • 2021-08-06
  • 本文字数:1476 字

    阅读完需:约 5 分钟

数据迁移同步平台CloudCanal免费社区版正式发布

近日,CloudCanal 社区版正式发布。据悉,这次社区版的发布花了近 2 年时间准备,将免费开放并持续维护。同时,官方透露 CloudCanal 内核未来会开源,相关工作正在准备阶段。


CloudCanal是一款由ClouGence公司发行的集结构迁移、数据全量迁移/校验/订正、增量实时同步为一体的数据迁移同步平台。产品包含完整的产品化能力,助力企业打破数据孤岛、完成数据互融互通,从而更好的使用数据。其核心团队成员来自阿里巴巴中间件和数据库团队,长期从事分布式数据库、数据库中间件、应用中间件工作。

功能介绍

支持的源和目标

CloudCanal 是一款多源多端数据迁移同步工具,当前支持的数据源主要如下(2021 年 8 月 1 日版本,数据源持续添加中):


源端:MySQL、Oracle、PostgreSQL、Greenplum、Kafka


目标端:MySQL、Oracle、PostgreSQL、Greenplum、Kafka、RabbitMQ、RocketMQ、Tidb、ClickHouse、ElasticSearch、Hive、阿里云 ADB

功能矩阵

CloudCanal 针对数据源提供的标准能力如下:


  • 数据源管理:产品化添加阿里云数据源;产品化添加自建数据源;修改内网网 Host 地址;修改数据源在 CloudCanal 平台存储的账号密码;针对阿里云数据源自动添加机器白名单;删除数据源,数据源多维筛选搜索。

  • 机器管理:集群化管理,机器生命周期控制,机器系统信息实时监控,白屏化机器日志查看(针对 CloudCanal 的 Sidecar 组件),产品化添加 ECS,产品化添加自建机器,集群搜索;

  • 监控管理:监控大盘查看整体任务创建情况、机器使用情况;白屏化全局异常事件搜集,支持按照任务搜索并且查看异常堆栈;异常事件搜索;告警发送日志。

  • 系统管理:用户管理(支持用户搜索);状态机管理(支持查看任务状态机详情和状态);异步任务管理(支持查看异步任务详情、状态、失败时异常堆栈);支持全局操作审计、条件过滤。

  • 任务管理:支持卡片、列表两种任务展示方式;任务迁移同步进度、状态查看;任务生命周期控制(任务启动、删除、批量操作);任务详情查看(同步的源、目标查看,运行机器查看,任务各同步阶段状态,统计信息查看);清除位点(从当前时间点开始同步)。

  • 重置位点:设置位点的开始时间;任务实时监控数据查看(实时 RPS、任务引擎监控、资源监控等);任务参数修改(支持任务内核参数调整、生效);支持查看任务订阅情况,并且支持多维筛选;支持白屏化查看任务关键日志;任务监控报警(支持设定延迟阈值进行钉钉、短信、电话报警);支持新增、删除订阅(新订阅的表会自动进行全量同步);支持异常跳过策略参数配置;支持参数化配置并行度、批处理大小、内存队列大小等关键配置。

  • 可视化任务创建:支持可视化配置源、目标以及任务运行机器;支持创建结构迁移、全量迁移、实时增量、校验任务、订正任务等任务类型;支持创建任务规格选择;支持库、表、列订阅裁剪;支持整库迁移;支持库树形批量筛选;支持表过滤条件设置、表批量设置过滤条件;支持丰富的筛选条件批量设置订阅;支持按照列搜索并批量设置过滤条件;支持列映射;支持无主键表设置自定义主键;支持虚拟列设置;支持增量 ACTION 过滤。

技术架构

CloudCanal 主体上分为三个主要部分:

  • 控制台:完成 CloudCanal 的主要产品化能力

  • Sidecar: 主要负责任务进程和控制台程序之间的信息交互并且保证任务进程高可用

  • 任务内核:任务内核进程,负责具体同步任务的执行



附上 CloudCanal 社区版下载地址:


OSS 下载地址:https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/2021_07_31/cloudcanal.7z


安装教程:https://www.askcug.com/topic/75/cloudcanal%E7%A4%BE%E5%8C%BA%E7%89%88docker%E7%89%88%E5%AE%89%E8%A3%85-linux-macos/2


官方社区地址:https://www.askcug.com

2021-08-06 15:119932
用户头像
罗燕珊 AI practitioner | Tech media

发布了 540 篇内容, 共 404.9 次阅读, 收获喜欢 849 次。

关注

评论

发布
暂无评论
发现更多内容

【Spring 学习笔记(三)】Spring Bean 属性注入

倔强的牛角

spring Java EE 6月月更

测试的核心竞争力是什么?

老张

软件测试 核心竞争力

【技能树共建】Python 三元表达式

梦想橡皮擦

6月月更

bootstrap深入学习

恒山其若陋兮

6月月更

如何在项目中直接使用Hystrix?

编号94530

Java spring Hystrix 熔断器

Flutter:创建透明/半透明的应用栏

坚果

6月月更

拒绝八股文!这篇图解动态路由分分钟爱了

wljslmz

网络工程师 网络技术 动态路由 6月月更 路由协议

spring event 介绍

Nick

Java spring springboot 6月月更 spring event

java可变参数(详解+代码样例)

写代码两年半

面试 javase 可变参数 6月月更

Android 音视频——NuPlayer的渲染模块

程思扬

音视频 安卓 音视频开发

透过华为军团看科技之变(二):机场轨道

脑极体

linux驱动开发_文件系统本地挂载

DS小龙哥

6月月更

【愚公系列】2022年06月 二十三种设计模式(二十二)-模板方法模式(Template Method Pattern)

愚公搬代码

6月月更

【高并发】高并发环境下如何防止Tomcat内存溢出?看完我懂了!!

冰河

并发编程 多线程 高并发 异步编程 6月月更

【LeetCode】独特的电子邮件地址Java题解

Albert

LeetCode 6月月更

JS语言基础

Jason199

js 6月月更

数据库每日一题---第2天:查找重复的电子邮箱

知心宝贝

数据库 算法 前端 后端 6月月更

Redis篇之协议与序列化

邱学喆

redis协议 序列化操作 luttuce

Flutter 使用 Redux 的中间件实现异步状态管理

岛上码农

flutter 安卓开发 ios 开发 跨平台应用 6月月更

如何在 WordPress 中嵌入 iFrame

海拥(haiyong.site)

WordPress 6月月更

Discourse 支持中文用户名

HoneyMoose

网页设计制作要注意哪些问题

源字节1号

每日一题 | LeetCode 242 有效的字母异位词

武师叔

哈希表 Leet Code 6月月更

Fork Join框架

急需上岸的小谢

6月月更

vue基本语法使用

小恺

6月月更

《非暴力沟通》:如何温柔地沟通?

郭明

读书笔记

SDN系统方法 | 3. 基本架构

俞凡

架构 网络 sdn SDN系统方法

leetcode 77. Combinations 组合(中等)

okokabcd

LeetCode 搜索 算法与数据结构

创业 2 年值得分享的事情

琚致远

创业 apache 社区

SAP Restful ABAP Programming 编程模型的 Action 实现和云端调试介绍

汪子熙

云计算 云原生 SAP abap 6月月更

5分钟了解CDN的功能及原理

穿过生命散发芬芳

CDN 6月月更

数据迁移同步平台CloudCanal免费社区版正式发布_开源_罗燕珊_InfoQ精选文章