- 1.2.4 ETL 技术应用及研究现状10-11
- 1.2.5 时间序列分析方法应用及研究现状11
- 1.3 本文主要研究内容及组织结构11-14
- 1.3.1 本文主要研究内容11-12
- 1.3.2 全文组织结构12-14
- 第二章 系统架构概述14-16
- 2.1 系统架构14-16
- 2.1.1 系统架构14
- 2.1.2 系统架构图14
- 2.1.3 功能特点14-16
- 第三章 核心技术概述16-34
- 3.1 数据仓库16-22
- 3.1.1 数据仓库技术背景16-17
- 3.1.2 数据仓库基本原理17-22
- 3.1.3 数据仓库工具22
- 3.2 OLAP（联机分析处理）22-29
- 3.2.1 OLAP 技术背景及OLAP 定义22-23
- 3.2.2 OLAP 基本原理23-26
- 3.2.3 OLAP 分类26-28
- 3.2.4 OLAP 系统体系结构28-29
- 3.2.5 主流OLAP 工具29
- 3.3 数据挖掘(DATA MINING)29-32
- 3.3.1 数据挖掘技术背景及数据挖掘定义29-30
- 3.3.2 数据挖掘算法分类30
- 3.3.3 数据挖掘体系结构30-31
- 3.3.4 DM 和OLAP 区别联系31
- 3.3.5 主流数据挖掘工具31-32
- 3.4 ETL 技术（数据抽取、转换、清洗和装载）32-34
- 3.4.1 数据质量与ETL32-33
- 3.4.2 ETL 的性能指标33
- 3.4.3 主流ETL 工具33-34
- 第四章 核心技术应用、研究与实现34-54
- 4.1 相关工作概述34
- 4.2 应用、研究与实现34-54
- 4.2.1 系统架构实现图34-35
- 4.2.2 建立气象数
本论文致力于对课题中相关核心技术进行应用、研究与实现,主要工作包括:(1)应用数据仓库相关理论,以Access气象历史观测数据作为数据源,建立SQL Server气象数据仓库,作为后续工作的测试平台。(2)重点研究了构建数据仓库的核心技术ETL。初步探索了ETL工具开发中的各环节,编写sql存储过程脚本,实现了一个简单的ETL过程;研究并实现了一种数据清洗算法---“相似重复记录检测”。(3)应用OLAP(联机分析处理)技术,实现了对气象数据仓库降水量主题数据的多维分析展现。(4)重点研究了时间序列分析算法,作为数据挖掘外挂算法对一组测试数据实现分析与预测。myeducs.cn
。采用偏最小二乘法(partial least square,PLS)提取历史数据主成份,计算各历史样本对主成份的累积贡献率(accumulative contribution rate,ACR),并绘制T2椭圆,从而识别出历史样本贡献率过大的异常数据。用最小二乘支持向量机拟合历史数据变化趋势,从而实现缺失数据的填补。 |
