rongxinzy Log Analyzer
对日志文件进行自动化分析，提供错误聚类、频率统计和时间分布报告。
功能
- 错误聚类：将相似的错误消息归类，消除噪声（IP、UUID、数字等动态部分），识别根本问题
- 频率统计：按错误类型统计出现次数，按严重程度排序
- 时间分布：展示错误在各小时和各日期的分布，帮助定位高发时段
支持的日志格式
| 格式 | 说明 | 自动检测 |
|---|---|---|
| JSON | 每行一个 JSON 对象，含 timestamp/level/message 等字段 |
以 { 开头 |
| syslog | RFC 3164 格式，如 Jan 1 12:00:00 host proc[pid]: msg |
月份名开头 |
| Nginx | access log 或 error log 格式 | IP 开头或日期路径格式 |
使用方式
python scripts/analyze_logs.py <日志文件路径> [选项]
参数
| 参数 | 说明 | 默认值 |
|---|---|---|
log_file |
日志文件路径（必填） | - |
--format |
指定日志格式：auto/json/syslog/nginx |
auto |
--top |
显示 Top N 错误聚类 | 20 |
--output |
输出结果到 JSON 文件 | 仅终端输出 |
--level |
过滤日志级别（如 ERROR、WARN） |
所有级别 |
--since |
只分析此时间之后的日志（ISO 格式） | 不限 |
--until |
只分析此时间之前的日志（ISO 格式） | 不限 |
示例
# 自动检测格式，分析整个日志文件
python scripts/analyze_logs.py /var/log/app.log
# 指定 Nginx 格式，只看 Top 10 错误
python scripts/analyze_logs.py /var/log/nginx/error.log --format nginx --top 10
# 只分析 ERROR 级别，输出 JSON 报告
python scripts/analyze_logs.py app.log --level ERROR --output report.json
# 分析指定时间范围内的日志
python scripts/analyze_logs.py app.log --since 2024-01-01T00:00:00 --until 2024-01-02T00:00:00
输出说明
终端输出
=======================================================
日志分析报告
=======================================================
📊 概览
检测格式: json
总行数: 15,234
已解析: 15,100 (解析失败: 134)
匹配条目: 12,800
错误数: 2,341
时间范围: 2024-01-01 00:03:12 ~ 2024-01-01 23:58:45
🔴 Top 错误聚类 (共 47 类)
#1 [×523 ] Connection refused to database at 10.0.1.5:5432
首次: 2024-01-01T00:15:30 末次: 2024-01-01T23:45:12
#2 [×312 ] Timeout waiting for response from user-service after 30000ms
首次: 2024-01-01T02:10:00 末次: 2024-01-01T22:30:45
#3 [×198 ] File not found: /data/uploads/img_99421.png
首次: 2024-01-01T08:00:00 末次: 2024-01-01T20:15:33
...
⏰ 时间分布 (按小时)
00:00 █████░░░░░░░░░░░░░░░ 42
01:00 ██░░░░░░░░░░░░░░░░░░ 18
...
14:00 ████████████████████ 523
...
📅 时间分布 (按日期)
2024-01-01 ████████████████████ 2,341
JSON 输出
使用 --output 参数可导出结构化 JSON 报告，方便后续处理或接入监控系统。