|
6.4 数据迁移的实现
数据迁移的实现可以分为三个阶段：数据迁移前的准备、数据迁移的实施和数据迁移后的校验。
由于数据迁移的特点，大量的工作都需要在准备阶段完成，充分而周到的准备工作是完成数据迁移的主要基础。具体而言，要进行待迁移数据源的详细说明，包括数据的存放方式、数据量、数据的时间跨度，建立新旧系统数据库的数据字典，对旧系统的历史数据进行质量分析，新旧系统数据结构的差异分析；新旧系统代码数据的差异分析；建立新老系统数据库表的映射关系，对无法映射字段的处理方法，开发、部属ETL 工具，编写数据转换的测试计划和校验程序，制定数据转换的应急措施。
其中，数据迁移的实施是实现数据迁移的三个阶段中最重要的环节。它要求制定数据转换的详细实施步骤流程；准备数据迁移环境；业务上的准备，结束未处理完的业务事项，或将其告一段落；对数据迁移涉及的技术都得到测试；最后实施数据迁移。
数据迁移后的校验是对迁移工作的检查，数据校验的结果是判断新系统能否正式启用的重要依据。可以通过质量检查工具或编写检查程序进行数据校验，通过试运行新系统的功能模块，特别是查询、报表功能，检查数据的准确性。
6.3.1 数据迁移的技术准备
数据转换与迁移通常包括多项工作：旧系统数据字典整理、旧系统数据质量分析、新系统数据字典整理、新旧系统数据差异分析、建立新旧系统数据之间的影射关系、开发部署数据转换与迁移程序、制定数据转换与迁移过程中的应急方案、实施旧系统数据到新系统的转换与迁移工作、检查转换与迁移后数据的完整性与正确性。
数据转换与迁移程序，即ETL 的过程大致可以分为抽取、转换、装载三个步骤。数据抽取、转换是根据新旧系统数据库的映射关系进行的，而数据差异分析是建立映射关系的前提，这其中还包括对代码数据的差异分析。转换步骤一般还要包含数据清洗的过程，数据清洗主要是针对源数据库中，对出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行相应的清洗操作，在清洗之前需要进行数据质量分析，以找出存在问题的数据，否则数据清洗将无从谈起。数据装载是通过装载工具或自行编写的SQL 程序将抽取、转换后的结果数据加载到目标数据库中。
对数据的检查
数据格式检查：检查数据的格式是否一致和可用，目标数据要求为number 型。
数据长度检查：检查数据的有效长度。对于char 类型的字段转换到varchar 类型中，需要特别关注。
区间范围检查：检查数据是否包含在定义的最大值和最小值的区间中；例如年龄为300，或录入日期在4000-1-1。
空值、默认值检查：检查新旧系统定义的空值、默认值是否相同，不同数据库系统对空值的定义可能不同，需要特别关注。
完整性检查：检查数据的关联完整性。如记录引用的代码值是否存在，特别需要注意的是有些系统在使用一段时间后，为了提高效率而去掉了外键约束。
一致性检查：检查逻辑上是否存在违反一致性的数据，特别是存在分别提交操作的系统。
6.4.2 数据迁移工具的选择
数据迁移程序的开发、部署主要有两种选择，即自主开发程序或购买成熟的产品。这两种选择都有各自不同的特点，选择时还要根据具体情况进行分析。纵观目前国内一些大型项目，在数据迁移时多是采用相对成熟的ETL 产品。可以看到这些项目有一些共同特点，主要包括：迁移时有大量的历史数据、允许的宕机时间很短、面对大量的客户或用户、存在第三方系统接入、一旦失败所产生的影响面将很广。同时也应该看到，自主开发程序也被广泛地采用。
相关的ETL 产品
上一篇:(连载)网络存储导论第七章：同步容灾性能分析
下一篇:(连载)网络存储导论第五章：分级存储应用案例
|
精品推荐