Oracle GoldenGate (OGG) 是一种基于日志的结构化数据复制软件，它能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。在Oracle 11g环境中，OGG提供了强大的数据集成和迁移功能，帮助企业轻松应对各种数据管理挑战。

1. OGG简介

1.1 OGG基本概念

OGG能够通过解析源数据库在线日志或归档日志获得数据的增删改变化，从而实现数据的实时同步。它支持多种数据库系统，包括Oracle、MySQL、SQL Server等，同时也能将数据同步至大数据系统，如HDFS、HBase、Kafka等。

1.2 OGG应用场景

  • 高可用容灾：实现数据库的实时备份，确保数据安全。
  • 数据库迁移、升级：支持跨版本、异构数据库、零宕机时间、亚秒级恢复。
  • 实时数据集成：支持异构数据库、多源数据库的数据集成。

2. OGG基本架构

OGG架构分为源端OGG和目标端OGG两部分。

2.1 源端OGG

  • 管理进程(MGR)：负责协调和监控OGG进程。
  • 抽取进程(Extract)：从源数据库中捕获数据变更。
  • 转换进程(Trans)：将捕获的数据转换为目标数据库可识别的格式。
  • 传输进程(Pump)：将转换后的数据传输到目标端。

2.2 目标端OGG

  • 管理进程(MGR)：与源端MGR协同工作。
  • 检查点日志表(Checkpoint)：记录数据同步状态。
  • 回放线程(Replicat)：将数据应用到目标数据库。

3. OGG迁移方案

3.1 环境准备

  • 硬件与网络：确保源Oracle数据库和目标数据库之间的网络连接稳定。
  • 软件安装：安装Oracle GoldenGate for Oracle和Oracle GoldenGate for目标数据库。
  • 依赖项：确保所有必要的依赖项已安装，如JDK、ODBC驱动等。

3.2 源端OGG配置

  • Oracle数据库配置：启用补充日志记录，创建OGG用户并授权。
  • OGG用户创建：创建用于OGG操作的用户，并设置密码。
  • 管理进程(MGR)配置：配置MGR进程，确保其正常运行。
  • 表级补全日志(trandata)配置：配置补全日志，以便Extract进程捕获数据变更。
  • 抽取进程(extract)配置：配置Extract进程，指定要捕获的数据。
  • 传输进程(pump)配置：配置Pump进程，指定传输目标。
  • 异构mapping文件(defgen)生成：生成目标数据库的mapping文件。

3.3 目标端OGG配置

  • 目标端数据库配置：配置目标数据库，确保其正常运行。
  • 管理进程(MGR)配置：配置MGR进程，确保其与源端MGR协同工作。
  • 检查点日志表(checkpoint)配置：配置检查点日志表，记录数据同步状态。
  • 回放线程(replicat)配置：配置Replicat线程，将数据应用到目标数据库。

3.4 全量同步配置

  • 源端OGG全量抽取进程(extract)配置：配置Extract进程，捕获全量数据。
  • 目标端OGG全量回放进程(replicat)配置：配置Replicat进程，将全量数据应用到目标数据库。

4. 数据校验

4.1 数据校验方法

  • 列数量校验：比较源端和目标端表的列数量是否一致。
  • 行数校验：比较源端和目标端表的行数是否一致。
  • 字段数据校验：比较源端和目标端表的字段数据是否一致。

4.2 数据校验注意事项

  • LOB字段：受限于查询语句对大字段的操作支持，LOB字段无法进行数据校验。
  • 超过2000的varchar2字段：受限于查询语句对大字段的操作支持，超过2000的varchar2字段无法进行数据校验。

5. 迁移问题处理

5.1 MySQL

  • 数据类型：MySQL对某些数据类型有特定的，如字符集、存储引擎等。
  • 索引：MySQL对索引的大小和数量有。

5.2 全量与增量衔接

  • 时间窗口：在全量同步完成后，设置一个时间窗口，确保增量同步的完整性。
  • 同步策略：根据实际情况，选择合适的同步策略，如全量同步+增量同步、增量同步等。

5.3 OGG版本选择

  • 兼容性：选择与源端和目标端数据库兼容的OGG版本。
  • 功能需求：根据实际需求，选择具有相应功能的OGG版本。

5.4 无主键表处理

  • 临时主键：为无主键表创建临时主键，以便进行数据校验。
  • 删除临时主键：在全量同步完成后，删除临时主键。

5.5 OGG安全规则

  • 用户权限：设置OGG用户的权限，确保数据安全。
  • 访问控制：配置访问控制策略，对OGG服务的访问。

5.6 数据抽取方式

  • 全量抽取：从源数据库中抽取全量数据。
  • 增量抽取：从源数据库中抽取增量数据。

6. OGG参考资料

通过以上介绍，相信您已经对Oracle 11g OGG有了更深入的了解。在实际应用中，根据企业需求选择合适的OGG迁移方案，并注意数据校验、问题处理等方面，将有助于您轻松掌握高效的数据集成与迁移解决方案。