优化项目整合内容

This commit is contained in:
2025-08-05 11:23:49 +08:00
parent 701a9a552e
commit 3f78ce7365
15 changed files with 898 additions and 2977 deletions

View File

@@ -1,6 +1,38 @@
"""
查询日志管理模块
负责查询日志的收集、存储和检索
================
本模块提供BigDataTool的完整查询日志管理功能支持实时日志收集和历史日志分析。
核心功能:
1. 实时日志收集:自动收集所有查询操作的详细日志
2. 批次管理:按查询批次组织日志,便于追踪完整的查询流程
3. 双重存储:内存缓存 + SQLite持久化存储
4. 历史关联:将日志与查询历史记录关联,支持完整的操作回溯
5. 性能监控:记录查询时间、记录数等性能指标
日志收集特性:
- 多级日志支持INFO、WARNING、ERROR等日志级别
- 批次追踪每个查询批次分配唯一ID便于日志分组
- 时间戳:精确到毫秒的时间戳记录
- 查询类型区分单表、分表、Redis等不同查询类型
- 历史关联:支持日志与查询历史记录的双向关联
存储策略:
- 内存缓存:最近的日志保存在内存中,支持快速访问
- 数据库持久化所有日志自动保存到SQLite数据库
- 容量控制:内存缓存有容量限制,自动清理旧日志
- 事务安全:数据库写入失败不影响程序运行
查询和分析:
- 按批次查询:支持按查询批次获取相关日志
- 按历史记录查询支持按历史记录ID获取相关日志
- 分页支持:大量日志的分页显示
- 时间范围:支持按时间范围筛选日志
- 日志清理:支持按时间清理旧日志
作者BigDataTool项目组
更新时间2024年8月
"""
import sqlite3