优化项目整合内容

This commit is contained in:
2025-08-05 11:23:49 +08:00
parent 701a9a552e
commit 3f78ce7365
15 changed files with 898 additions and 2977 deletions

View File

@@ -1,6 +1,43 @@
"""
Redis查询和数据比较模块
负责Redis数据的查询、随机key获取和数据比较
Redis查询引擎模块
=================
本模块是Redis数据比对的核心引擎提供高级的Redis数据查询和比较功能。
核心功能:
1. 多模式查询随机采样和指定Key两种查询模式
2. 全类型支持支持所有Redis数据类型的查询和比较
3. 智能比较:针对不同数据类型的专门比较算法
4. 性能监控:详细的查询时间和性能统计
5. 错误容错单个Key查询失败不影响整体结果
查询模式:
- 随机采样从源集群随机获取指定数量的Key进行比对
- 指定Key对用户提供的Key列表进行精确比对
- 模式匹配支持通配符模式的Key筛选
支持的数据类型:
- String字符串类型自动检测JSON格式
- Hash哈希表字段级别的深度比较
- List列表保持元素顺序的精确比较
- Set集合自动排序后的内容比较
- ZSet有序集合包含分数的完整比较
- Stream消息流消息级别的详细比较
比较算法:
- JSON智能比较自动检测和比较JSON格式数据
- 类型一致性检查:确保两个集群中数据类型一致
- 内容深度比较:递归比较复杂数据结构
- 性能优化:大数据集的高效比较算法
统计分析:
- 一致性统计相同、不同、缺失Key的详细统计
- 类型分布:各种数据类型的分布统计
- 性能指标:查询时间、连接时间等性能数据
- 错误分析:查询失败的详细错误统计
作者BigDataTool项目组
更新时间2024年8月
"""
import time