Cloud Data Migration

云厂商数据迁移方案 | Cloud Data Migration Solution

This skill helps cloud architects design comprehensive data migration plans between cloud vendors, focusing on databases, big data, and data lake scenarios.

本技能帮助云架构师设计云厂商间的综合数据迁移方案，聚焦数据库、大数据和数据湖场景。

When to Use / 使用场景

• User needs to migrate databases between cloud vendors / 用户需要在云厂商之间迁移数据库
• User wants to migrate big data platforms (Hadoop, Spark, etc.) / 用户想要迁移大数据平台（Hadoop、Spark等）
• User needs to migrate data lakes / 用户需要迁移数据湖
• User asks for migration tools and strategies / 用户询问迁移工具和策略
• User needs migration risk assessment / 用户需要迁移风险评估
• User wants POC (Proof of Concept) guidance / 用户需要POC指导

Input Parameters / 输入参数

用户需要提供以下信息 / User needs to provide:

Required Parameters / 必需参数

• 源端云厂商 (Source Cloud Vendor): AWS, Azure, GCP, 阿里云, 华为云, 腾讯云, 火山引擎
• 源端产品名称 (Source Product Name): 具体的产品名称（如 RDS MySQL, S3, BigQuery等）
• 目标云厂商 (Target Cloud Vendor): AWS, Azure, GCP, 阿里云, 华为云, 腾讯云, 火山引擎

Optional Parameters / 可选参数

• 目标端产品名称 (Target Product Name): 如果用户已确定目标产品，提供具体名称
• 数据规模 (Data Volume): 数据量大小（如 1TB, 100TB, 1PB）
• 迁移时间窗口 (Migration Window): 允许的停机时间（如 4小时, 周末, 无停机）
• 业务场景 (Business Scenario): OLTP, OLAP, 混合负载, 实时分析等
• 合规要求 (Compliance Requirements): 数据主权、加密、审计等要求
• 预算约束 (Budget Constraints): 预算范围

Migration Workflow / 迁移工作流程

Step 1: Parse User Input / 解析用户输入

从用户查询中提取关键信息：

输入示例: "将AWS RDS MySQL迁移到阿里云"
- 源端: AWS
- 源产品: RDS MySQL
- 目标端: 阿里云
- 目标产品: 未指定（需要推荐）

输入示例: "把华为云DWS迁移到AWS Redshift"
- 源端: 华为云
- 源产品: DWS
- 目标端: AWS
- 目标产品: Redshift（已指定）

Step 2: Product Mapping / 产品映射

2.1 如果目标产品已指定 / If Target Product Specified

验证目标产品是否适合源产品迁移：

• 检查兼容性（版本、功能、性能）
• 确认迁移路径可行性
• 识别潜在的功能差异

2.2 如果目标产品未指定 / If Target Product Not Specified

根据以下维度推荐目标产品：

• 功能对等性 (Feature Parity): 目标产品功能覆盖度
• 性能匹配 (Performance Match): 性能指标对比
• 成本效益 (Cost Efficiency): 性价比分析
• 生态集成 (Ecosystem Integration): 与目标云其他服务集成度
• 迁移复杂度 (Migration Complexity): 迁移难度评估

Step 3: Migration Strategy Selection / 迁移策略选择

根据数据特征和业务需求选择迁移策略：

Step 4: Tool Selection / 工具选择

优先选择云厂商自带工具，其次考虑开源方案：

选择优先级 / Selection Priority:

1. 源端云厂商原生迁移工具
2. 目标端云厂商原生迁移工具
3. 第三方云厂商工具
4. 开源工具方案

Step 5: Generate Migration Plan / 生成迁移方案

输出完整的迁移方案文档，包含：

1. 产品选型建议
2. 迁移工具清单
3. 迁移评估报告
4. POC方案
5. 风险分析
6. 实施步骤
7. 回滚方案

Product Categories / 产品类别

1. 关系型数据库 / Relational Databases

2. NoSQL数据库 / NoSQL Databases

3. 数据仓库 / Data Warehouses

4. 大数据平台 / Big Data Platforms

5. 对象存储 / Object Storage

6. 数据湖 / Data Lakes

Migration Tools Reference / 迁移工具参考

云厂商原生工具 / Cloud Native Tools

AWS 迁移工具

Azure 迁移工具

GCP 迁移工具

阿里云迁移工具

华为云迁移工具

腾讯云迁移工具

火山引擎迁移工具

开源工具 / Open Source Tools

Migration Assessment Framework / 迁移评估框架

1. 技术评估 / Technical Assessment

1.1 源端分析 / Source Analysis

□ 数据库版本和配置
□ 数据量和增长率
□ 表结构和schema复杂度
□ 存储过程、触发器、函数
□ 索引和约束
□ 字符集和排序规则
□ 时区设置
□ 连接数和并发量
□ QPS/TPS指标
□ 峰值负载特征

1.2 依赖分析 / Dependency Analysis

□ 应用连接方式（直连/连接池）
□ 数据库链路（主从、级联）
□ ETL作业依赖
□ 报表和数据仓库依赖
□ 备份和归档策略
□ 监控和告警配置

1.3 兼容性评估 / Compatibility Assessment

□ SQL方言差异
□ 数据类型映射
□ 函数和运算符兼容性
□ 存储过程转换复杂度
□ 特定功能替代方案（如Oracle RAC→PG）

2. 业务评估 / Business Assessment

2.1 停机时间要求 / Downtime Requirements

□ 允许的停机窗口
□ 业务高峰期和低峰期
□ 数据一致性要求（强一致/最终一致）
□ 回滚时间要求

2.2 合规要求 / Compliance Requirements

□ 数据主权要求
□ 加密要求（传输加密、静态加密）
□ 审计日志要求
□ 数据保留策略
□ 行业标准（HIPAA, PCI-DSS, GDPR等）

3. 成本评估 / Cost Assessment

3.1 迁移成本 / Migration Costs

□ 工具许可费用
□ 网络传输费用
□ 临时资源费用
□ 人力投入成本
□ 培训和认证成本

3.2 运营成本 / Operational Costs

□ 目标端产品费用
□ 存储和计算费用
□ 网络费用
□ 运维人力成本
□ 三年TCO对比

POC Plan Template / POC方案模板

POC Scope / POC范围

1. 数据规模: 选择代表性数据集（建议10-100GB）
2. 功能验证: 核心CRUD操作、复杂查询、事务
3. 性能测试: 基准测试、压力测试、并发测试
4. 工具验证: 迁移工具功能、稳定性、易用性

POC Timeline / POC时间线

Week 1: 环境准备和工具部署
Week 2: 小规模数据迁移测试
Week 3: 全量功能验证和性能测试
Week 4: 问题修复和优化，输出POC报告

POC Success Criteria / POC成功标准

□ 数据完整性: 100%数据准确迁移
□ 性能指标: 目标端性能达到源端90%以上
□ 功能兼容: 核心功能100%可用
□ 迁移时间: 在业务允许的时间窗口内完成
□ 工具稳定性: 无重大故障，可监控可告警

Risk Management / 风险管理

一、数据层风险 / Data Layer Risks

1.1 数据一致性风险

1.2 数据丢失风险

二、架构层风险 / Architecture Risks

2.1 性能风险

2.2 高可用风险

三、应用层风险 / Application Layer Risks

3.1 兼容性风险

3.2 连接风险

四、运维层风险 / Operations Risks

4.1 监控告警风险

4.2 安全合规风险

五、项目层风险 / Project Risks

5.1 进度风险

5.2 沟通风险

风险矩阵 / Risk Matrix

影响程度
    高 |  数据丢失    业务中断    安全泄露
       |  合规违规    成本超支    架构失败
       |
    中 |  性能下降    兼容性问题  进度延迟
       |  工具故障    人员技能    监控盲区
       |
    低 |  文档缺失    沟通不畅    配置错误
       |  依赖延迟    范围蔓延    告警失效
       +--------------------------------
         低          中          高
                  发生概率

风险应对策略 / Risk Response Strategies

规避 (Avoid)

• 选择成熟的迁移工具和方案
• 避开业务高峰期进行迁移
• 充分测试后再生产实施

转移 (Transfer)

• 购买云厂商技术支持服务
• 引入专业迁移服务商
• 购买数据安全保险

减轻 (Mitigate)

• 建立多重备份机制
• 实施分阶段迁移
• 加强监控和告警

接受 (Accept)

• 低概率低影响的风险
• 建立应急预算
• 准备应急响应预案

Pre-Migration Checklist / 迁移前检查清单

一、环境准备检查 / Environment Preparation

1.1 源端环境检查

□ 确认源数据库版本和补丁级别
□ 检查源数据库运行状态（无告警、无故障）
□ 验证binlog/log归档已开启且格式正确
□ 确认binlog/log保留期足够（建议≥7天）
□ 检查源端存储空间（避免迁移期间撑满）
□ 验证源端网络带宽和稳定性
□ 确认源端防火墙允许迁移工具访问
□ 检查源端CPU/内存使用率（避免迁移时资源争用）

1.2 目标端环境检查

□ 目标云账号已开通并完成实名认证
□ 目标产品已购买/创建，状态正常
□ 目标端VPC网络已配置，与源端网络互通
□ 目标端安全组/防火墙规则已配置
□ 目标端存储空间充足（建议预留50%增长空间）
□ 目标端参数已优化（缓冲区、连接数等）
□ 目标端监控告警已配置
□ 目标端备份策略已配置

1.3 迁移工具检查

□ 迁移工具已安装/开通，版本最新
□ 迁移工具许可证有效（如需要）
□ 源端和目标端连接已测试通过
□ 迁移工具账号权限已配置（最小权限原则）
□ 迁移工具日志路径已配置，磁盘空间充足
□ 迁移工具监控告警已配置

二、数据检查 / Data Verification

2.1 数据完整性检查

□ 统计源端数据总量（表数量、行数、存储大小）
□ 识别大表（单表>10GB或>1000万行）
□ 识别大对象字段（BLOB/CLOB/JSON等）
□ 检查是否有分区表，记录分区策略
□ 检查是否有外键约束，记录依赖关系
□ 检查是否有触发器，记录触发逻辑
□ 检查是否有存储过程/函数，统计数量
□ 检查是否有视图，记录视图定义
□ 检查是否有自定义类型
□ 检查是否有定时任务/事件

2.2 数据质量检查

□ 检查是否有损坏的表（CHECK TABLE）
□ 检查是否有孤立记录
□ 检查主键重复或空值
□ 检查外键完整性
□ 检查数据一致性（校验和）
□ 检查字符集一致性
□ 检查时区设置一致性

三、应用检查 / Application Verification

3.1 应用连接检查

□ 统计应用连接数峰值和平均值
□ 识别所有连接源（应用服务器、BI工具、ETL等）
□ 检查连接池配置（大小、超时设置）
□ 验证应用使用的数据库账号和权限
□ 检查应用是否有硬编码连接信息
□ 确认应用重连机制

3.2 SQL兼容性检查

□ 收集应用SQL样本（慢查询、高频查询）
□ 检查是否有特定数据库方言SQL
□ 检查是否有存储过程调用
□ 检查是否有自定义函数调用
□ 检查是否有特定Hint或优化器指令
□ 验证SQL在目标端的执行计划

四、业务检查 / Business Verification

4.1 时间窗口确认

□ 确认业务低峰期时间段
□ 确认允许的停机时间上限
□ 确认迁移时间窗口（开始和结束时间）
□ 确认回滚决策时间点
□ 确认业务验证时间

4.2 相关方确认

□ 业务方已知晓迁移计划并同意
□ DBA团队已准备好支持
□ 应用团队已准备好支持
□ 网络团队已准备好支持
□ 安全团队已审核迁移方案
□ 客服/运维团队已准备好应对咨询

五、备份检查 / Backup Verification

□ 源端全量备份已完成，备份文件可用
□ 备份文件已验证可恢复
□ 备份文件存储在安全位置（跨地域）
□ 目标端测试数据已备份（如需要回滚）
□ 配置文件已备份（参数文件、用户权限等）
□ 应用配置已备份（连接串等）

六、应急预案检查 / Contingency Plan

□ 回滚方案已制定并文档化
□ 回滚操作步骤已验证
□ 紧急联系人清单已更新
□ 升级路径已明确
□ 应急资源已预留（计算、存储、网络）
□ 故障演练已完成（如可能）

Post-Migration Validation / 迁移后验证指南

一、数据验证 / Data Validation

1.1 数据量验证

-- 表数量对比
SELECT COUNT(*) FROM information_schema.tables 
WHERE table_schema = 'your_database';

-- 各表行数对比（抽样）
SELECT table_name, table_rows 
FROM information_schema.tables 
WHERE table_schema = 'your_database';

-- 存储大小对比
SELECT table_schema, 
       ROUND(SUM(data_length+index_length)/1024/1024/1024, 2) AS total_gb
FROM information_schema.tables 
WHERE table_schema = 'your_database';

1.2 数据一致性验证

# 使用pt-table-checksum进行校验
pt-table-checksum \
  --host=source_host \
  --user=checksum_user \
  --password='xxx' \
  --databases=your_database \
  --replicate=percona.checksums

# 查看差异
pt-table-sync --print --execute \
  h=source_host,u=user,p=pass,D=db,t=table \
  h=target_host,u=user,p=pass,D=db,t=table

1.3 数据抽样验证

-- 随机抽样对比
SELECT * FROM table_name 
WHERE id IN (
  SELECT FLOOR(RAND() * (SELECT MAX(id) FROM table_name))
  UNION SELECT FLOOR(RAND() * (SELECT MAX(id) FROM table_name))
  UNION SELECT FLOOR(RAND() * (SELECT MAX(id) FROM table_name))
);

-- 边界值检查
SELECT * FROM table_name ORDER BY id ASC LIMIT 10;
SELECT * FROM table_name ORDER BY id DESC LIMIT 10;

二、功能验证 / Functional Validation

2.1 数据库对象验证

□ 所有表已创建，结构正确
□ 所有索引已创建
□ 所有外键约束已创建
□ 所有触发器已创建且启用
□ 所有存储过程/函数已创建
□ 所有视图已创建且可查询
□ 所有用户和权限已配置

2.2 业务功能验证

□ 核心业务流程测试通过
□ 插入操作正常
□ 更新操作正常
□ 删除操作正常
□ 查询操作正常
□ 事务提交/回滚正常
□ 批量操作正常
□ 定时任务/事件正常

三、性能验证 / Performance Validation

3.1 基准测试

# Sysbench性能测试
sysbench oltp_read_write \
  --mysql-host=target_host \
  --mysql-user=user \
  --mysql-password=pass \
  --mysql-db=database \
  --tables=10 \
  --table-size=100000 \
  --threads=16 \
  --time=300 \
  run

3.2 关键SQL验证

□ 慢查询在目标端执行时间对比
□ 高频查询执行计划对比
□ 复杂JOIN查询性能对比
□ 聚合查询性能对比
□ 存储过程执行时间对比

3.3 并发测试

□ 连接数达到峰值时稳定性
□ 并发写入性能
□ 读写混合场景性能
□ 长连接稳定性

四、监控验证 / Monitoring Validation

□ 数据库状态监控正常
□ 性能指标采集正常（QPS/TPS/延迟）
□ 告警规则生效
□ 告警通知渠道正常
□ 日志收集正常
□ 备份任务正常执行
□ 监控大屏数据正常

Troubleshooting Guide / 故障排查指南

一、连接问题 / Connection Issues

1.1 无法连接源数据库

1.2 无法连接目标数据库

二、同步问题 / Synchronization Issues

2.1 全量迁移失败

2.2 增量同步延迟

2.3 同步中断

三、性能问题 / Performance Issues

3.1 迁移后性能下降

3.2 资源使用过高

四、数据问题 / Data Issues

4.1 数据不一致

4.2 数据丢失

Best Practices / 最佳实践

一、迁移策略最佳实践

1. 分阶段迁移

   • 先迁移非核心业务验证流程
   • 再迁移核心业务，降低风险
   • 最后迁移关键业务，确保稳定

2. 双跑验证

   • 迁移后保持双写一段时间
   • 对比两端数据一致性
   • 逐步切流，可控回滚

3. 灰度切换

   • 先切换部分读流量
   • 验证无问题后切换写流量
   • 最后全量切换

二、性能优化最佳实践

1. 迁移前优化

   • 清理无用数据和索引
   • 归档历史数据
   • 优化大表结构

2. 迁移中优化

   • 分批迁移大表
   • 调整批量大小
   • 并行迁移多个表

3. 迁移后优化

   • 重建索引和统计信息
   • 优化数据库参数
   • 启用查询缓存

三、安全最佳实践

1. 数据加密

   • 传输加密（TLS/SSL）
   • 存储加密（TDE）
   • 敏感字段加密

2. 访问控制

   • 最小权限原则
   • 临时账号及时回收
   • 操作审计日志

3. 数据脱敏

   • 测试环境脱敏
   • 日志脱敏
   • 监控脱敏

四、运维最佳实践

1. 监控覆盖

   • 迁移前建立监控基线
   • 迁移中加强监控频率
   • 迁移后持续监控

2. 文档完善

   • 架构文档更新
   • 运维手册更新
   • 应急预案更新

3. 知识传递

   • 团队培训
   • 操作手册
   • 经验总结

Output Template / 输出模板

# 云数据迁移方案 | Cloud Data Migration Plan

## 1. 迁移概览 (Migration Overview)

| 项目 | 详情 |
|-----|------|
| 源端云厂商 | [Source Cloud] |
| 源端产品 | [Source Product] |
| 目标云厂商 | [Target Cloud] |
| 目标产品 | [Target Product] |
| 数据类型 | [Database/Big Data/Data Lake] |
| 预估数据量 | [Volume] |
| 迁移策略 | [Offline/Online/Dual-Write/CDC] |

## 2. 产品选型建议 (Product Recommendation)

### 2.1 推荐方案
**目标产品**: [Product Name]
**选型理由**:
- 功能覆盖度: [X]%
- 性能匹配度: [X]%
- 成本对比: [分析]
- 生态集成: [分析]

### 2.2 备选方案
[如有备选，列出对比]

## 3. 迁移工具清单 (Migration Tools)

### 3.1 主要工具
| 工具名称 | 类型 | 用途 | 费用 |
|---------|------|------|------|
| [Tool 1] | 云原生/开源 | [用途] | [费用] |
| [Tool 2] | 云原生/开源 | [用途] | [费用] |

### 3.2 辅助工具
[监控、校验、回滚工具]

## 4. 迁移评估报告 (Migration Assessment)

### 4.1 技术评估
- 复杂度: [高/中/低]
- 风险等级: [高/中/低]
- 预估工时: [X人天]

### 4.2 兼容性分析
[SQL差异、数据类型映射、功能替代方案]

### 4.3 成本评估
- 迁移成本: [金额]
- 运营成本对比: [源端 vs 目标端]
- 三年TCO: [分析]

## 5. POC方案 (POC Plan)

### 5.1 POC范围
[数据范围、功能范围、测试场景]

### 5.2 POC时间线
[详细时间安排]

### 5.3 成功标准
[量化指标]

## 6. 迁移实施步骤 (Implementation Steps)

### Phase 1: 准备阶段
1. [步骤1]
2. [步骤2]

### Phase 2: 迁移执行
1. [步骤1]
2. [步骤2]

### Phase 3: 验证切换
1. [步骤1]
2. [步骤2]

## 7. 风险与应对 (Risks & Mitigation)

| 风险 | 影响 | 概率 | 应对措施 |
|-----|------|------|---------|
| [风险1] | [高/中/低] | [高/中/低] | [措施] |

## 8. 回滚方案 (Rollback Plan)

[详细回滚步骤和触发条件]

## 9. 注意事项 (Key Considerations)

- [注意点1]
- [注意点2]

## 10. 相关资源 (Resources)

- [官方文档链接]
- [最佳实践指南]
- [工具文档]

Important Notes / 重要说明

1. 工具选择优先级: 始终优先推荐云厂商原生工具，其次考虑开源方案
2. 数据安全: 所有迁移方案必须包含数据加密和完整性校验
3. 业务连续性: 关键业务必须提供在线迁移或双写方案
4. 成本控制: 提供详细的成本对比和优化建议
5. 文档完整: 确保所有步骤可执行、可验证、可回滚