“集群式”桥梁结构健康监测项目海量数据管理策略研究

“集群式”桥梁结构健康监测项目海量数据管理策略研究
车功健，李红万
摘要：在桥梁健康监测项目中，通过实时采集安装在大桥上的传感器数据，所采集的数据量随着时间的推移将会是海量的，如何对海量数据进行管理，具有重要意义。本文通过对Oracle分区表技术、数据备份、数据压缩和双机热备技术的分析探讨，为该系统中的海量数据管理提供一种经济、可行的解决方案。
关键字：结构健康监测系统；分区表；数据备份；数据压缩；双机热备
1 概述
“集群式”桥梁结构健康监测系统由传感器子系统、数据采集与传输子系统、数据处理与控制系统和结构健康评估系统组成，通过采集安装在大桥各关键位置的传感器输出数据，并对这些数据进行处理、分析和评估，为桥梁日常养护提供针对性建议。
该“集群式”桥梁结构健康监测系统由四座桥组成。安装在这四座桥上的传感器种类和数量见下表1。

如上表：加速度计、倾角仪、位移计和应变计采用50Hz采样率；风速仪、GPS采用20Hz采样率；其它传感器采用1Hz采样率。
对桥梁的处理、分析和评估是建立在高质量的监测数据基础上的，所以对数据进行有效地管理显得尤为重要。下面我们针对数据管理过程中的常见问题对其进行分析研究。
2 存在问题及对策
湖北沪蓉西高速“集群式”桥梁结构健康监测系统是实时、连续不间断地采集传感器输出数据，并将采集数据存储在Oracle数据库中，同时，数据处理软件会从数据库中提取数据进行分析处理。
根据上表传感器数量及采样频率，可计算出：每天数据量约为16G，每年采集的数据将会是海量的。面对海量数据，如何进行管理，尤为重要。因为当数据库中数据量达到一定程度时，再对数据库进行存储和检索操作时，软件响应速度会变慢，操作时间变长，影响系统性能；更严重会导致数据库服务器宕机，系统崩溃。因此，解决海量数据存储、检索效率问题刻不容缓。针对这一问题，我们在该系统中制定了相应的数据管理策略，包括使用分区表技术、数据压缩技术、数据备份技术和双机热备技术，前三项主要用于解决数据库中海量数据管理问题，最后一项用于解决数据库服务器宕机问题。在实际运用中，通过这几项技术，能够极大地提高系统响应速度和系统性能。
3 数据管理策略
3.1 数据管理硬件环境
该项目中用于数据管理的硬件设备包括：数据库服务器2台（主、从服务器）、备份服务器1台、磁盘阵列1台、磁带库1台、光纤交换机2台。Oracle数据库软件分别安装在2台数据库服务器上，存储数据存放在磁盘阵列上；通过备份服务器对监测数据进行备份，将监测数据备份到磁带中。数据管理硬件结构图见下图1。

3.2 数据管理策略
（1）分区表
ORACLE的分区（Partitioning Option）是一种处理超大型表、索引等的技术。分区是一种“分而治之”的技术，通过将大表和索引分成可以管理的小块，从而避免了对每个表作为一个大的、单独的对象进行管理，为大量数据提供了可伸缩的性能。
Oracle分区方法有：范围分区、列表分区、哈希分区和复合分区。
在该系统中，我们采用范围分区方法，根据数据记录的时间标签（主键）进行范围分区，每天建立一个分区表。在系统中使用分区技术，有以下好处：
(1) 改善系统检索性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索速度；
(2) 增强可用性：如果表的某个分区出现故障，表在其他分区的数据仍然可用；
(3) 均衡I/O：可以把表的不同分区分配到不同的磁盘来平衡I/O改善性能；
(4) 维护方便：如果表的某个分区出现故障，需要修复数据，只修复该分区即可；
(5) 对应用透明：当需要往数据库中存储数据时，Oracle管理系统会根据数据的时间标签，选择应存储的分区；若根据时间标签从数据库中检索数据时，Oracle管理系统会根据时间标签，选择应检索的分区，如果检索项不是时间标签，则应指明检索数据所在分区表名。
（2）数据备份
数据备份是数据高可用性的一种方法，将系统在线数据备份或转储到其它存储介质上，其目的是在系统数据出现问题的时候，能够快速准确地恢复数据。通常，一套完整的备份系统包含备份软件、磁带机/磁带库和备份服务器。
Oracle备份大致可分为两类：物理备份和逻辑备份（导入/导出），而物理备份又可以根据数据库的工作模式分为非归档模式和归档模式，通常前者称为冷备份，后者称为热备份。
(1) Cold Backup（冷备份）：主要指在关闭数据库的状态下进行的数据库完全备份。
(2) Hot Backup（热备份）：指在数据库处于运行状态下，对数据文件和控制文件进行备份，要使用热备份必须将数据库运行在(Archive Log)归档方式下。
(3) Export（逻辑备份）：这是最简单的备份方法，可按数据库中某个表、某个用户或整个数据库来导出，并且支持全部、累计、增量三种方式。使用这种方法，数据库必须处于打开状态，而且如果数据库不是在restrict状态，将不能保证导出数据的一致性。
对数据进行备份需要制定合理的备份策略，需要考虑影响备份策略的各种因素，需考虑的因素如下：
(1) 需要备份的内容：数据文件、参数文件等；
(2) 备份方式：全备份、差量备份、增量备份；
(3) 备份周期：每天一次、每周一次或者每月一次等；
(4) 备份介质：磁带库、光盘等其它存储介质；
在该系统中，我们采用全备份+增量备份的备份方式，每天进行一次备份操作，将实时监测数据文件和重要的参数文件备份到磁带库中。在系统投入运行时，进行一次全备份，以后采用增量备份。通过Veritas Netbackup备份软件进行备份管理。当磁盘阵列中数据量达到一定量（假设为N天数据量），每增加一天数据量，则将最早一天分区表中的数据及分区信息删除，释放磁盘空间，提高系统性能。需要查看被删除的数据时，通过磁带库中备份的数据进行恢复即可。
（3）数据压缩
数据压缩是指在不丢失信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率的一种技术方法。
Oracle11g的压缩使用了“基于数据块的批次压缩技术”，也就是说数据的压缩不是在执行DML语句的时候实时发生的，一开始当一个数据块空的时候，插入的数据并不被压缩，所以这个时候对于性能是没有影响的，数据块压缩的动作是在数据块即将满的时候才发生，这样就保证了大部分DML语句的效率。并且，在数据块将要满的时候才发生的压缩技术保证了最大的压缩率，因为实际上压缩是基于数据块里相同的数据的。
在该系统中利用Oracle 11g的压缩特性，使用数据压缩技术，具有以下好处：
(1) 节省磁盘空间：使用数据压缩技术，可以节省大量的磁盘空间。
(2) 提高系统性能：因为数据存储在更少的数据块中，全表扫描和索引区间扫描能够使用更少的快提取行；
(3) 减少网络负载：因为数据仅在Oracle内压缩和解压缩，所以外部网络仅需传输压缩的数据块；
（4）双机热备
双机热备是指当一台服务器在工作时（称为主机），另一台服务器处于备用状态（称为备机），当主机由于某种原因出现故障，如死机、主机断电、病毒发作、硬盘损坏等，不能继续提供服务时，从机能在规定的时间内接替主机的服务，继续提供服务，从而达到不宕机的目的。
双机热备系统采用“心跳”方法保证主系统与备用系统的联系。所谓“心跳”，指的是主从系统之间相互按照一定的时间间隔发送通讯信号，表明各自系统当前的运行状态，一旦备用系统无法接收到主系统的“心跳”信号，则高可用性管理软件（双机软件）认为主系统发生故障，立即令主机停止工作，并将系统资源转移到备用系统上，备用系统将替代主机发挥作用，以保证系统运行不间断。
在该系统中，我们采用基于共享的存储设备的双机热备模式，将2台IBM System X3850服务器组成集群，并通过光纤交换机组成SAN存储网络，操作系统和应用程序分别安装在两台服务器的本地磁盘上，而整个网络数据通过磁盘阵列进行集中管理。两台服务器之间通过RoseHA软件进行管理。两台服务器将以一个虚拟的IP地址对外提供服务，客户端通过虚拟IP地址和服务器进行通讯。正常运行时，虚拟地址及网络服务由主服务器提供。当主服务器出现故障时，RoseHA会将虚拟地址和相关服务转移到备用服务器的网卡上，继续提供网络服务。在客户端看来没有任何故障发生。
正常工作时，相关服务会运行在主服务器上，当主服务器发生故障时，RoseHA软件将相关服务转移到备份服务器上，下图2是RoseHA工作界面。

图2 RoseHA工作界面图
4 结论
在“集群式”桥梁结构健康监测系统中，我们通过使用分区表、数据备份、数据压缩和双机热备技术，不仅提高系统从数据库中检索数据的速度、提高系统的可靠性和系统性能，而且还具有数据容灾功能，当有灾难发生时，我们还能从备份文件中恢复数据，保证系统的正常运转。
参考文献
[1] 雷忠琴. ORACLE数据库备份和恢复分析[J].贵州教育学院学报（自然科学）.2007:18(4)
[2] 李东武.医院信息系统双机热备和数据备份的设计与实现[J].中国医疗设备.2008:23(7)
[3] 李峰，曹中，刘正伟.双机热备技术在财务系统中的应用[J].现代电子技术，2009:(3)
[4] 杨文俊.利用磁盘阵列和Rose HA双机软件对OA系统、财务系统双机热备[J].中国高新技术企业，2010:(6)
[5] 杨志彬.Oracle表分区管理[J].福建电脑，2007:(8)

月期刊咨询网--如何发表论文、论文发表、评职称评审、教育论文、价格版面费、省级以上刊物、核心期刊、会议论文、教学会计、正规格式范文、专业技术职务任职资格、硕士研究生论文发表网。月期刊网并非杂志社！本站是从事期刊征稿、论文发表的**代理机构，若想投递杂志社，请直接登陆该杂志社官网。月期刊网和国内数百家期刊杂志社有良好的合作关系，代理期刊均系经过国家出版总署认可的正规期刊，选择空间更广，可以帮您推荐期刊、发表论文，使得您论文发表速度更快、价格更低、通过率更高。