yudao/yudao-module-annotation/REDIS_LOG_MANAGEMENT.md

# Redis 日志管理功能优化

## 问题描述

原始代码的日志管理逻辑存在问题：
- 只处理包含 `%` 的日志行，导致其他重要日志被忽略
- 对于进度日志的处理逻辑不清晰
- 没有正确实现"记录所有日志，但进度日志只保留最新"的需求

## 新的实现逻辑

### 核心需求
1. **记录所有日志**：不只是包含 `%` 的日志，所有训练日志都应该记录
2. **进度日志去重**：当遇到包含 `%` 的进度日志时，删除之前的进度日志，只保留最新的
3. **容量控制**：最多保存 50 条日志，超过时删除最旧的
4. **过期时间**：所有日志保存 5 天

### 修改后的方法

#### `manageTrainingLogInRedis`

```java
private void manageTrainingLogInRedis(Integer trainId, String logLine) {
    try {
        if (logLine == null || logLine.trim().isEmpty()) {
            return;
        }
        
        String redisKey = "yolo:training_log:" + trainId;
        boolean isProgressLog = logLine.contains("%");
        
        if (isProgressLog) {
            // 如果是进度日志（包含%），先删除之前的进度日志
            removeProgressLogs(redisKey);
        }
        
        // 添加新的日志行到列表末尾
        redisUtil.lSet(redisKey, logLine, 5 * 24 * 60 * 60); // 5天过期时间（秒）
        
        // 检查列表长度，如果超过50条，删除第一条
        long newSize = redisUtil.lGetListSize(redisKey);
        if (newSize > 50) {
            redisUtil.lRemove(redisKey, 1, redisUtil.lGetIndex(redisKey, 0));
        }
        
        log.debug("训练日志已存储到Redis - 训练ID: {}, 日志类型: {}, 当前日志数量: {}", 
                trainId, isProgressLog ? "进度日志" : "普通日志", redisUtil.lGetListSize(redisKey));
        
    } catch (Exception e) {
        log.error("管理训练日志Redis操作失败 - 训练ID: {}", trainId, e);
    }
}
```

#### `removeProgressLogs`

新增的辅助方法，专门用于删除所有进度日志：

```java
private void removeProgressLogs(String redisKey) {
    try {
        // 获取所有日志
        java.util.List<Object> allLogs = redisUtil.lGet(redisKey, 0, -1);
        
        // 找出并删除所有包含%的日志
        for (int i = allLogs.size() - 1; i >= 0; i--) {
            Object logObj = allLogs.get(i);
            if (logObj != null) {
                String logStr = logObj.toString();
                if (logStr.contains("%")) {
                    redisUtil.lRemove(redisKey, 1, logStr);
                    log.debug("删除旧的进度日志: {}", logStr);
                }
            }
        }
        
    } catch (Exception e) {
        log.error("删除进度日志时出错 - Redis键: {}", redisKey, e);
    }
}
```

## 工作流程示例

### 场景1：普通日志
```
输入: "YOLO训练开始"
处理: 直接添加到Redis列表
结果: Redis列表: ["YOLO训练开始"]
```

### 场景2：进度日志（第一次）
```
输入: "Epoch 1/100: 50%|█████     | 100/200 [00:30<00:30]"
处理: 添加到Redis列表
结果: Redis列表: ["YOLO训练开始", "Epoch 1/100: 50%|█████     | 100/200 [00:30<00:30]"]
```

### 场景3：进度日志（更新）
```
输入: "Epoch 1/100: 75%|███████▌    | 150/200 [00:45<00:15]"
处理: 1. 删除之前的进度日志 2. 添加新的进度日志
结果: Redis列表: ["YOLO训练开始", "Epoch 1/100: 75%|███████▌    | 150/200 [00:45<00:15]"]
```

### 场景4：混合日志
```
输入序列:
1. "模型加载完成" -> 普通日志，直接添加
2. "Epoch 1/100: 25%|██▌       | 50/200 [00:15<00:45]" -> 进度日志，添加
3. "数据预处理完成" -> 普通日志，直接添加  
4. "Epoch 1/100: 50%|█████     | 100/200 [00:30<00:30]" -> 进度日志，删除之前的进度日志并添加

最终Redis列表:
["模型加载完成", "数据预处理完成", "Epoch 1/100: 50%|█████     | 100/200 [00:30<00:30]"]
```

## 优势

1. **完整性**：所有重要日志都被保存，不会遗漏
2. **效率性**：进度日志只保留最新状态，避免重复
3. **可控性**：最多50条日志，防止Redis占用过多内存
4. **可维护性**：清晰的日志类型区分和调试信息

## 日志类型

- **普通日志**：训练开始、模型加载、错误信息等
- **进度日志**：包含 `%` 的进度条信息，如训练进度

## Redis 键格式

```
yolo:training_log:{trainId}
```

例如：
```
yolo:training_log:12345
```

## 过期时间

所有日志条目设置 5 天过期时间（432,000 秒），自动清理旧数据。