点击看第四范式、百度、Zilliz、火山引擎公司的AI基础设施变革之路>> 了解详情
写点什么

AWS 数据库迁移服务:将 Oracle 数据库迁移到 MySQL

作者:Deepak Vohra

  • 2022 年 9 月 22 日
    北京
  • 本文字数:7033 字

    阅读完需:约 23 分钟

AWS数据库迁移服务:将Oracle数据库迁移到MySQL

AWS数据库迁移服务(DMS)是在 AWS 上进行数据库迁移的服务。目标数据库必须是 AWS 支持的数据库之一,例如由 AWS关系数据库服务(RDS)托管的数据库、Amazon DynamoDBAmazon Redshift。源数据库可以是 AWS 上的数据库、本地数据库或其他云平台(如Oracle数据库云服务)上的数据库。源数据库在迁移过程中不需要停机。

为什么要迁移数据库

你可能会因为以下一个或多个原因而迁移数据库。


  • 同构迁移——迁移到不同平台但相同类型的数据库引擎。同构迁移可以用于对数据库进行备份。

  • 异构迁移——迁移到不同的数据库引擎,如 Oracle 数据库迁移到 MySQL 数据库。如果我们需要利用另一个数据库的功能(例如源数据库不支持某些数据类型),就需要进行异构迁移。商业数据库可以迁移到开源数据库,反之亦然。关系数据库可以迁移到 NoSQL 数据库。

  • 数据复制——将数据持续地复制到不同的目标数据库,用于测试和开发以及实现数据库的区域分布。

  • 数据库整合——可以将多个源数据库迁移到单个数据库进行整合。

  • 平台迁移——本地机器上的数据可以被迁移到云数据库服务。基于云的数据库即服务(Database-as-a-Service,DBaaS)提供了很多好处:不需要 DBA 的全托管服务、具有故障转移能力的高可用性、可伸缩性以及与其他云服务集成(实现自动化监控和日志记录)。在本文中,我们将把 Oracle 数据库迁移到 MySQL 数据库。如果你更喜欢开源 MySQL 数据库而不是商业 Oracle 数据库,那就可能需要进行迁移。MySQL 和 Oracle 数据库是完全不同的,你可能会出于一个或多个原因而迁移到 MySQL,例如不同的数据类型支持、操作系统支持和部署规模。


进行迁移唯一的先决条件是 AWS 帐户,可以在这里创建。

第 1 步:在 RDS 上创建 Oracle 和 MySQL DB 实例

因为我们分别将 Oracle 和 MySQL RDS DB 实例作为 DMS 迁移的源和目标,因此需要创建两个 RDS 实例,一个用于 Oracle 数据库,另一个用于 MySQL。在创建 RDS 实例之前,我们需要创建新的 VPC(虚拟私有云)、新的 DB 子网组和安全组(可选)。我们也可以使用默认的 VPC 安全组。如果 AWS 帐户的 VPC 最大数量有限制,请在创建 RDS 实例前删除部分不使用的 VPC。在创建 RDS 实例时,将公开访问选项设置为“是”,因为我们需要在执行 DMS 迁移之前直接访问这些实例,运行一些命令,并在迁移完成后验证迁移的数据。由于 RDS 默认情况下不创建数据库,所以我们需要选择附加配置,并为每个 RDS 实例指定初始数据库名称。MySQL RDS 实例数据库名称为 mysqldb,Oracle RDS 实例数据库名称为 orcl。某些保留关键字,如 MySQL RDS 实例的“mysql”不能用在配置中(如数据库名称、数据库实例标识符、主用户名、主密码)。Oracle 和 MySQL 的源和目标 RDS 实例如图 1 所示。


图 1. RDS 数据库实例


如果安全组没有满足需求的入站/出站规则,可能需要修改它们。单击 RDS 控制台中每个数据库实例的安全组链接。检查安全组的“Type”为“All traffic”、“Protocol”为“All”、“Port Range”为“All”、“Source”为“Anywhere”(0.0.0.0/0),如果不是,单击“Edit inbound rules”按钮并修改设置,然后单击“Save rules”。类似地,出站规则也应该允许所有流量。把每个 DB 实例的主用户名和主密码记录下来。

第 2 步:为 DMS 准备 Oracle 和 MySQL 数据库

为了能够使用 RDS 上的 Oracle DB 作为 DMS 源,我们需要在 DB 实例上配置一些东西。我们可以在命令行中连接到 Oracle 实例来进行配置。要在命令行中连接到 RDS DB 实例,我们需要获取 RDS 实例的端点。RDS 上的 DB 实例的端点可以从 RDS 控制台获得。


安装Oracle Instant客户端。使用下面的 sqlplus 命令连接到 Oracle DB 实例,其中 HOST、SID 和 PORT 对于不同的用户来说是不一样的。HOST 就是端点移除端口后缀后剩下的部分。


sqlplus admin@(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=orcl.crbmlbxmp8qi.us-east-1.rds.amazonaws.com)(PORT=1521))(CONNECT_DATA=(SID=ORCL)))
复制代码


SQL*Plus 命令行连接到 RDS 上的 Oracle DB,并启用 DMS 数据库级别的补充日志。


exec rdsadmin.rdsadmin_util.alter_supplemental_logging('ADD');
复制代码


PL/SQL 过程执行完毕。


使用下面的命令启用数据库级别的 PRIMARY KEY 日志。


exec rdsadmin.rdsadmin_util.alter_supplemental_logging('ADD','PRIMARY KEY');
复制代码


由于源数据库是 Oracle,要复制正在进行的变更,需要打开补充日志。我们需要确保存档日志在服务器上保留足够长的时间(通常是 24 小时)。要在 RDS 数据库上设置存档日志保留期限,可以使用下面的命令。


exec rdsadmin.rdsadmin_util.set_configuration('archivelog retention hours',24);
复制代码


在迁移数据库时,表和数据也会被迁移。为数据库迁移专门创建一个新的 Schema。为新用户授予 CREATE SESSION 和 CREATE TABLE 权限。


CREATE USER dms_user IDENTIFIED BY dms_user_pwDEFAULT TABLESPACE usersQUOTA unlimited ON users;
GRANT CREATE SESSION, CREATE TABLE TO dms_user;
复制代码


在 Oracle 数据库中创建一张叫作 wlslog 的数据库表。


CREATE TABLE dms_user.wlslog(time_stamp VARCHAR2(255) PRIMARY KEY,category VARCHAR2(255),type VARCHAR2(255),servername VARCHAR2(255), code VARCHAR2(255),msg VARCHAR2(255));INSERT INTO dms_user.wlslog(time_stamp,category,type,servername,code,msg) VALUES('Apr-8-2014-7:06:16-PM-PDT','Notice','WebLogicServer','AdminServer','BEA-000365','Server state changed to STANDBY');INSERT INTO dms_user.wlslog(time_stamp,category,type,servername,code,msg) VALUES('Apr-8-2014-7:06:17-PM-PDT','Notice','WebLogicServer','AdminServer','BEA-000365','Server state changed to STARTING');INSERT INTO dms_user.wlslog(time_stamp,category,type,servername,code,msg) VALUES('Apr-8-2014-7:06:18-PM-PDT','Notice','WebLogicServer','AdminServer','BEA-000365','Server state changed to ADMIN');INSERT INTO dms_user.wlslog(time_stamp,category,type,servername,code,msg) VALUES('Apr-8-2014-7:06:19-PM-PDT','Notice','WebLogicServer','AdminServer','BEA-000365','Server state changed to RESUMING');INSERT INTO dms_user.wlslog(time_stamp,category,type,servername,code,msg) VALUES('Apr-8-2014-7:06:20-PM-PDT','Notice','WebLogicServer','AdminServer','BEA-000361','Started WebLogic AdminServer');INSERT INTO dms_user.wlslog(time_stamp,category,type,servername,code,msg) VALUES('Apr-8-2014-7:06:21-PM-PDT','Notice','WebLogicServer','AdminServer','BEA-000365','Server state changed to RUNNING');INSERT INTO dms_user.wlslog(time_stamp,category,type,servername,code,msg) VALUES('Apr-8-2014-7:06:22-PM-PDT','Notice','WebLogicServer','AdminServer','BEA-000360','Server started in RUNNING mode');
复制代码


若要为没有 PRIMARY KEY 日志的表添加补充日志,或者如果未设置数据库级别的 PRIMARY KEY 日志,可以为表添加补充日志。


alter table dms_user.wlslog add supplemental log data (ALL) columns;
复制代码


我们还可以直接在 CREATE TABLE 语句中启用补充日志。


CREATE TABLE dms_user.wlslog(time_stamp VARCHAR2(255) PRIMARY KEY,category VARCHAR2(255),type VARCHAR2(255),servername VARCHAR2(255), code VARCHAR2(255),msg VARCHAR2(255),supplemental log data(ALL) columns);
复制代码

第 3 步:创建复制实例

在本小节中,我们将创建一个复制实例,将 RDS 上的 Oracle DB 实例迁移到 MySQL DB 实例。在 AWS 控制台中选择 DMS 服务。单击创建复制实例,如图 2 所示。


图 2. 创建复制实例


打开“Create replication instance”向导,在“Name”字段中指定复制实例名(ora-mysql-repl)。选择一个 Instance class,我们选择了 dms.t3.medium。在“引擎版本”下拉框中选择 AWS DMS 版本(3.4.7)。选择“Allocated storage”(50GiB)。选择运行复制实例的 Amazon VPC。将“Multi-AZ”下拉框改为“Single-AZ”,我们只使用单个可用分区。选择“Publicly accessible”选项。


在“Advanced security and network configuration”中选择“复制子网组”。保持“Availability zone”默认值“No preference”不变。选择默认的 VPC 安全组。选择 KMS 密钥作为默认值(aws/dms)。点击“Create”。创建的复制实例如图 3 所示。


图 3. 复制实例

第 4 步:创建端点

接下来是配置端点,它们是源和目标数据库的端点。选择左边栏中的“端点”,单击“Create endpoint”。源和目标端点是分别创建的。在“DMS->Endpoints->创建端点向导”中,选择“Endpoint type”为“Source endpoint”,单击“Select RDS DB”复选框,从下拉菜单中选择 orcl RDS 实例。在“Endpoint configuration”中指定端点标识符 orcl。“Source engine”应该为 Oracle,因为我们选择了 Oracle 数据库 RDS 引擎。在“Access to endpoint database“中选择“Provide access information manually”选项。“Server name”和“Port”应该会自动添加。为 ADMIN 用户指定密码,用户名必须为大写,因为 Oracle 数据库是区分大小写的。“Secure Socket Layer (SSL) mode”设置为 none。“SID/Service name”应该自动填充为在 Oracle RDS 实例中配置的值(ORCL)。在“Test endpoint connection (optional) ”中单击 Run test。复制实例 ora-mysql-repl 被用于端点连接。“Status”为“successful”表示连接建立成功。单击“Create endpoint”,源数据库的端点就创建好了,如图 4 所示。


图 4. 源端点


要创建目标端点,请再次单击“Create endpoint”,启动创建端点向导。这一次,选择“Target endpoint”作为“Endpoint type”。单击“Select RDS DB”复选框并选择 mysqldb 实例。在“Endpoint configuration”中应该会自动添加“Endpoint identifier”。“Target engine”被设置为 MySQL。对于“Access to endpoint database”,选择“Provide access information manually”。“Server name”和“Port”应该会自动添加好。为 admin 用户指定密码。用户名必须用小写字母指定,因为 MySQL 使用小写字母。“Secure Socket Layer (SSL) mode”设置为 none。在“Test endpoint connection (optional) ”中单击 Run test。复制实例 ora-mysql-repl 被用于端点连接。“Status”为“successful”表示连接建立成功。单击“Create endpoint”,目标数据库的端点就创建好了,如图 5 所示。


图 5. 目标端点

第 5 步:创建任务

接下来,我们需要创建一个迁移任务,但在此之前,我们需要像前面所说的那样创建一个复制实例。在左边栏中选择“Database migration tasks”。在 DMS->Database migration tasks 表中单击“Create task”。在“Create database migration task”向导的“Task configuration”中指定一个“Task identifier”(orcl-to-mysql)。在“Replication instance”下拉框中选择前面创建的复制实例。在源数据库端点中选择为 Oracle 数据库 RDS 实例创建的 orcl 端点。对于目标数据库端点,选择前面创建的 mysqldb 端点。对于“Migration type”,选择“Migrate existing data and replicate ongoing changes”。


我们必须至少为一个任务配置一个选择规则,否则创建任务就会失败。在“Table mappings”中单击“Selection rules”下拉框。单击“Add new selection rule”按钮。在规则详细信息中配置“Where”选择规则。在“Schema”下拉框中选择“Enter Schema”。指定“Source name”为 DMS_USER,“Source table name”为 WLSLOG。模式名/表名/视图名/列名必须是大写的,因为 Oracle 数据库是区分大小写的。%是模式/表名的通配符,表示所有的模式/表。对于 Action 字段,我们可以通过选择 Include 或 Exclude 来包含或排除对象。排除操作在包含操作之后处理。将“Action”选为“Include”。源过滤器限制了可以添加的从源到目标的记录数量和类型。选择规则配置如图 6 所示。


图 6. 选择规则


你可以使用转换规则来修改或转换部分或所有选定对象的模式、表或列名。我们可以单击“Add transformation rule”按钮来添加一个转换规则。假设我们要转换表名。在“Rule target”下拉框中选择“Table”。在“Source name”中选择“Enter schema”。将 Schema 指定为 DMS_USER。指定“Source table name”为 WLSLOG。在 Action 下拉框中选择一个可用的操作,例如添加/移除/替换前缀/后缀等。选择 Action 为“Make lowercase”,因为 MySQL 以小写形式存储 Schema/表名。表名的转换规则如图 7 所示。


图 7. 将表名转为小写的转换规则


类似地,添加另一个转换规则将 Schema 名转为小写,如图 8 所示。


图 8. 将 Schema 名称转为小写的转换规则


在“Task settings->Advanced task settings->Control table settings”中将“Create control table in target using schema”设置为“mysqldb”。如果选择了“Enable premigration assessment run”复选框,可能会执行预迁移评估。在“Migration task startup configuration”中选择“Manually later”。另一个选项是“Automatically on create”,这个选项只在未启用预迁移时才可用。随后,单击“Create task”。


一个新任务就添加好了。任务状态最开始时是“创建”,在创建好以后 Status 变为“Ready”,如图 9 所示。


图 9. 任务状态变为 Ready

第 6 步:运行任务

要运行迁移任务,请选择表中带有复选框的任务,并单击 Actions 下拉框中的 Restart/Resume。任务的 Status 应该会变为 Starting。在启动之后,Status 会变为 Running,当迁移完成时,Status 将变为 Load complete,如图 10 所示。Table statistics 选项卡应该会列出迁移的表。


图 10. 任务执行完毕

第 7 步:查询迁移的数据库 Schema

使用 MySQL 客户端列出迁移的数据库和表。首先,连接到 MySQL RDS 实例。要连接到 MySQL DB,可以从它的配置信息中获取端点,然后使用 MySQL 客户端的命令行连接 MySQL。在出现提示时输入密码:


mysql -h mysqldb.crbmlbxmp8qi.us-east-1.rds.amazonaws.com -P 3306 -u admin  –p
复制代码


使用 SHOW SCHEMAS 命令列出所有 Schema,其中包含了 dms_user 的 Schema。


~$ mysql -h mysqldb.crbmlbxmp8qi.us-east-1.rds.amazonaws.com -P 3306 -u admin -p Enter password: MySQL [(none)]> SHOW SCHEMAS;+--------------------+| Database           |+--------------------+| dms_user           || information_schema || mysql              || mysqldb            || performance_schema || sys                |+--------------------+6 rows in set (0.078 sec)
复制代码


使用 use dms_user 命令选择 dms_user 数据库。使用 show tables 命令列出表,可以看到之前在 Oracle 数据库中创建的 wlslog 表已被迁移。


MySQL [(none)]> use dms_user;Reading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -A
Database changedMySQL [dms_user]> SHOW TABLES;+--------------------+| Tables_in_dms_user |+--------------------+| wlslog |+--------------------+1 row in set (0.078 sec)
复制代码


迁移的 wlslog 表中包含了数据,如查询结果所示。


MySQL [dms_user]> SELECT * FROM wlslog;+---------------------------+----------+----------------+-------------+------------+----------------------------------+| TIME_STAMP                | CATEGORY | TYPE           | SERVERNAME  | CODE       | MSG                              |+---------------------------+----------+----------------+-------------+------------+----------------------------------+| Apr-8-2014-7:06:16-PM-PDT | Notice   | WebLogicServer | AdminServer | BEA-000365 | Server state changed to STANDBY  || Apr-8-2014-7:06:17-PM-PDT | Notice   | WebLogicServer | AdminServer | BEA-000365 | Server state changed to STARTING || Apr-8-2014-7:06:18-PM-PDT | Notice   | WebLogicServer | AdminServer | BEA-000365 | Server state changed to ADMIN    || Apr-8-2014-7:06:19-PM-PDT | Notice   | WebLogicServer | AdminServer | BEA-000365 | Server state changed to RESUMING || Apr-8-2014-7:06:20-PM-PDT | Notice   | WebLogicServer | AdminServer | BEA-000361 | Started WebLogic AdminServer     || Apr-8-2014-7:06:21-PM-PDT | Notice   | WebLogicServer | AdminServer | BEA-000365 | Server state changed to RUNNING  || Apr-8-2014-7:06:22-PM-PDT | Notice   | WebLogicServer | AdminServer | BEA-000360 | Server started in RUNNING mode   |+---------------------------+----------+----------------+-------------+------------+----------------------------------+7 rows in set (0.078 sec)
MySQL [dms_user]>
复制代码


默认情况下,迁移进程不会主动轮询源数据库来获取数据变更。如果对源数据库做了修改,例如将数据添加到表中或创建了新表,必须再次运行迁移任务。我们有时候可能需要修改迁移任务,例如添加/删除选择规则或修改其他任务设置。任务在未运行时可以被修改。我们可以单击“Modify”来修改任务。


作者简介:

Deepak Vohra 是 Oracle 认证 Java 程序员和 Oracle 认证 Web 组件开发人员,出版了 20 多本书。


原文链接

How to Migrate an Oracle Database to MySQL Using AWS Database Migration Service


相关阅读:

亚马逊云科技宣布 Lambda 分级定价

Stack Overflow 2022 报告:亚马逊云科技的软件开发“武器库”

TLS 1.2 成为亚马逊云科技最低 TLS 协议级别

2022 年 9 月 22 日 08:002

评论

发布
暂无评论
发现更多内容

「望繁信科技」完成过亿元A+轮融资,全面加速流程智能产品建设

望繁信科技

开源一夏 | 在STM32L051上使用RT-Thread (一、无线温湿度传感器 之 新建项目)

矜辰所致

开源 RT-Thread 8月月更 STM32L051

PMP考试经验分享

索隆

项目管理 pmp 考试经验

如何开发一款基于 vite+vue3 的在线表格系统(下)

葡萄城技术团队

Vue 前端 vite

EMAS Serverless到底有多便利?

hum建应用专家

云计算 Serverless emas

为什么要学习网络协议?网络协议应该怎么学?

互联网架构师小马

软件测试100天上岸1-测试就是找茬游戏

和牛

测试 8月月更

满足你对 Api 的所有幻想

Liam

Postman API API接口管理 开放api API接口工具

洞见商业新机,云原生数据库GaussDB让企业决策更科学

华为云开发者联盟

数据库 后端 华为云

如何区分透明LED显示屏种类及应用领域

Dylan

LED显示屏 led显示屏厂家

SpringBoot中的Controller详解

互联网架构师小马

GitHub破百万访问的阿里神作:并发实现原理JDK源码笔记

冉然学Java

Java 编程 jdk 源码刨析 JDK 1.5

兆骑科创国内外创新创业服务平台,创业大赛,企业落地孵化

兆骑科创凤阁

Alibaba最新发布的Spring Boot项目实战文档,Github标星78k

Java面试那些事儿

Java Java 面试 java程序员 Java工程师 spring-boot

种草 Vue3 中几个好玩的插件和配置

江南一点雨

Java Vue

一文搞懂堆外内存(模拟内存泄漏)

互联网架构师小马

微信官方kbone,Web端同构的福音

Geek_99967b

小程序

渲染与云渲染——渲染行业的新趋势

Finovy Cloud

云渲染 GPU算力

八月最新首发!这份Dubbo 3.0 分布式实战笔记由阿里巴巴P8亲自撰写真是大厂offer收割机

了不起的程序猿

Java 分布式 dubbo java程序员 java编程

画一手好的架构图是码农进阶的开始

阿里技术

经验分享 构架

如何编写有效的常见问题解答页面?

Geek_da0866

阿里资深架构师熬夜纯手写的238页微服务容器化开发实战笔记

互联网架构师小马

秒验丨Android客户端集成指南

MobTech袤博科技

android Android Studio Gradle

2022上半年PMP考试通过率得多低,才能换来一次免费补考机会

索隆

泄露了,Alibaba697页的MySQL应用实战与性能调优手册,太强了

冉然学Java

Java MySQL 编程 性能优化 构架

拿下阿里三面是后,面试官问我:你是怎么学习Redis的?

互联网架构师小马

阿里大神整理的Java核心知识点和面试官常问到的知识点,压压惊

互联网架构师小马

Linux C/C++后台开发高级架构师进阶指南-剑指腾讯T9

C++后台开发

后台开发 后端开发 linux开发 Linux服务器开发 C/C++开发

参与openEuler社区不到1年,我成为了Maintainer……

openEuler

开源 成长 openEuler 开源社区 开发者说

AWS数据库迁移服务:将Oracle数据库迁移到MySQL_云计算_InfoQ精选文章