# 多源数据接入功能使用指南

## 功能概述

全域数据感知中心 - 多源数据接入功能为智慧农业系统提供了完整的数据接入、校验、质量控制能力。

## 核心功能

### 1. 多源数据接入方式

#### 1.1 手动上传数据
- **支持格式**: CSV, JSON, XML, GeoJSON, Excel (.xlsx)
- **数据类型**: 气象数据、卫星遥感影像、土壤监测数据、作物生长数据等
- **自动校验**: 上传时自动进行格式适配和质量校验
- **实时预览**: 查看上传数据的统计信息和样本数据

**操作步骤**:
1. 点击"手动上传数据"按钮
2. 选择数据类型和格式
3. 拖拽或点击上传文件
4. 系统自动校验数据质量
5. 预览数据并确认导入

#### 1.2 API自动对接
- **支持协议**: RESTful API, WebSocket, FTP
- **认证方式**: 
  - 无需认证
  - API Key
  - Bearer Token
  - Basic Auth
  - OAuth 2.0
- **自动同步**: 按设定频率自动拉取数据
- **连接测试**: 配置完成后可测试连接状态

**配置示例**:
```json
{
  "name": "国家气象局API",
  "type": "气象数据",
  "provider": "中国气象局",
  "accessMethod": "API对接",
  "apiEndpoint": "https://api.weather.gov.cn/v1/data",
  "updateFrequency": "每小时",
  "authentication": {
    "method": "apikey",
    "key": "YOUR_API_KEY",
    "header": "X-API-Key"
  },
  "dataFields": ["温度", "湿度", "气压", "降水量", "风速", "风向"]
}
```

### 2. 数据质量校验

#### 2.1 气象数据校验规则
- **温度范围**: -30°C ~ 50°C
- **湿度范围**: 0% ~ 100%
- **降水量范围**: 0 ~ 500 mm
- **风速范围**: 0 ~ 50 m/s

#### 2.2 卫星遥感数据校验规则
- **NDVI范围**: -1.0 ~ 1.0
- **影像分辨率**: ≤ 1米, ≤ 5米, ≤ 10米, ≤ 30米
- **云量覆盖率**: 建议 ≤ 20%

#### 2.3 通用质量控制规则
- **数据完整性检查**: 检测缺失字段和空值
- **时间戳连续性校验**: 确保时间序列数据的连续性
- **异常值检测**: 自动标记超出3倍标准差的数据
- **重复数据检测**: 基于时间戳和关键字段去重
- **数据时效性**: 
  - 实时数据 (5分钟内)
  - 1小时内
  - 24小时内
  - 7天内
  - 无时效要求

#### 2.4 自动处理策略
- ✓ 缺失值自动填充（线性插值）
- ✓ 异常值自动剔除
- ✓ 超时数据自动丢弃
- ✓ 质量问题告警通知

### 3. 数据预览与质量分析

#### 3.1 质量评分指标
- **完整性**: 数据记录完整度 (目标: ≥95%)
- **准确性**: 数据准确性评分 (目标: ≥95%)
- **时效性**: 数据更新及时性 (目标: ≥90%)
- **一致性**: 数据一致性检测 (目标: ≥95%)

#### 3.2 数据统计信息
- 总记录数
- 字段数
- 有效记录数
- 缺失值数量
- 异常值数量
- 重复记录数

#### 3.3 质量问题清单
系统自动生成质量问题报告：
- 缺失值检测结果
- 异常值检测结果
- 时间连续性检查结果

### 4. 物联设备数据接入

#### 4.1 支持的设备类型
- 气象站
- 土壤传感器
- 摄像头
- 水质传感器
- 环境监测站

#### 4.2 通信协议
- MQTT
- HTTP
- CoAP
- WebSocket

#### 4.3 设备监控
- 在线状态监测
- 电池电量监控
- 信号强度监控
- 数据上报频率监控

## 数据接入最佳实践

### 1. 气象数据接入建议
- **更新频率**: 建议每小时更新一次
- **数据保留期**: 至少保留1年历史数据
- **质量阈值**: 完整性 ≥ 95%

### 2. 卫星遥感数据建议
- **更新频率**: 每5-10天更新
- **影像质量**: 云量 ≤ 20%
- **分辨率**: 根据监测需求选择，建议 ≤ 10米

### 3. 实时监测数据建议
- **上报频率**: 5-10分钟
- **异常值处理**: 启用自动剔除
- **告警设置**: 启用质量问题告警

## 常见问题

### Q1: 上传数据时提示格式错误
**A**: 请检查：
1. 文件格式是否为支持的类型（CSV, JSON, XML等）
2. 数据字段是否完整
3. 时间戳格式是否正确（建议：YYYY-MM-DD HH:mm:ss）

### Q2: API连接测试失败
**A**: 请检查：
1. API端点URL是否正确
2. 认证信息是否配置正确
3. 网络连接是否正常
4. API服务是否可用

### Q3: 数据质量评分较低
**A**: 可能原因：
1. 数据存在大量缺失值 → 检查数据源质量
2. 异常值较多 → 调整校验规则或数据采集方式
3. 时间序列不连续 → 检查数据采集设备稳定性

### Q4: 如何提高数据时效性
**A**: 
1. 增加数据更新频率
2. 使用WebSocket等实时协议
3. 部署边缘计算设备减少传输延迟

## 数据流向

```
外部数据源 → 数据接入 → 格式适配 → 质量校验 → 数据存储 → AI模型分析 → 决策支持
    ↓                              ↓
物联设备 → 实时采集 → 协议解析 → 异常检测
```

## 快速开始

### 步骤1: 添加数据源
1. 进入 AI作物模型精准决策系统 → 全域数据感知中心
2. 点击"添加数据源"
3. 填写数据源基本信息
4. 配置接入方式和认证信息
5. 测试连接并保存

### 步骤2: 配置校验规则
1. 点击"数据校验规则"
2. 根据数据类型设置合理的校验范围
3. 配置自动处理策略
4. 保存规则配置

### 步骤3: 手动上传测试数据
1. 点击"手动上传数据"
2. 选择测试数据文件
3. 查看质量评分和预览
4. 确认导入

### 步骤4: 启用自动同步
1. 编辑已配置的数据源
2. 开启"启用自动同步"
3. 系统将按设定频率自动拉取数据

## 技术支持

如需帮助，请联系系统管理员或查看详细技术文档。

---
**版本**: v1.0  
**更新日期**: 2024-10-23  
**适用系统**: 智慧农业生产管理系统 - AI作物模型精准决策系统
