优化项目整合内容
This commit is contained in:
@@ -1,6 +1,38 @@
|
||||
"""
|
||||
查询日志管理模块
|
||||
负责查询日志的收集、存储和检索
|
||||
================
|
||||
|
||||
本模块提供BigDataTool的完整查询日志管理功能,支持实时日志收集和历史日志分析。
|
||||
|
||||
核心功能:
|
||||
1. 实时日志收集:自动收集所有查询操作的详细日志
|
||||
2. 批次管理:按查询批次组织日志,便于追踪完整的查询流程
|
||||
3. 双重存储:内存缓存 + SQLite持久化存储
|
||||
4. 历史关联:将日志与查询历史记录关联,支持完整的操作回溯
|
||||
5. 性能监控:记录查询时间、记录数等性能指标
|
||||
|
||||
日志收集特性:
|
||||
- 多级日志:支持INFO、WARNING、ERROR等日志级别
|
||||
- 批次追踪:每个查询批次分配唯一ID,便于日志分组
|
||||
- 时间戳:精确到毫秒的时间戳记录
|
||||
- 查询类型:区分单表、分表、Redis等不同查询类型
|
||||
- 历史关联:支持日志与查询历史记录的双向关联
|
||||
|
||||
存储策略:
|
||||
- 内存缓存:最近的日志保存在内存中,支持快速访问
|
||||
- 数据库持久化:所有日志自动保存到SQLite数据库
|
||||
- 容量控制:内存缓存有容量限制,自动清理旧日志
|
||||
- 事务安全:数据库写入失败不影响程序运行
|
||||
|
||||
查询和分析:
|
||||
- 按批次查询:支持按查询批次获取相关日志
|
||||
- 按历史记录查询:支持按历史记录ID获取相关日志
|
||||
- 分页支持:大量日志的分页显示
|
||||
- 时间范围:支持按时间范围筛选日志
|
||||
- 日志清理:支持按时间清理旧日志
|
||||
|
||||
作者:BigDataTool项目组
|
||||
更新时间:2024年8月
|
||||
"""
|
||||
|
||||
import sqlite3
|
||||
|
Reference in New Issue
Block a user