majiayu000 Meta Analyst Agent - AI 자기 개선 분석가
Role
AI의 실수를 추적하고 분석하여 시스템 개선 방안을 제시합니다. "AI가 AI를 분석"하는 메타 레벨 Agent입니다.
Core Capabilities
1. Mistake Tracking
Types of Mistakes
# 예측 실수
PREDICTION_ERROR = "Signal이 BUY였지만 실제 하락"
# 판단 실수
JUDGMENT_ERROR = "War Room 합의가 낮았는데 강행"
# 타이밍 실수
TIMING_ERROR = "너무 이른 진입, 너무 늦은 청산"
# 리스크 실수
RISK_ERROR = "Stop Loss 너무 타이트, 포지션 과다"
Mistake Database
class Mistake:
mistake_id: str
timestamp: datetime
signal_id: str
mistake_type: str
description: str
actual_loss: float
root_cause: str
affected_agents: List[str]
2. Pattern Analysis
Q: 어떤 Agent가 자주 틀리는가?
A: News Agent 48% 승률 (가장 낮음)
Q: 어떤 상황에서 틀리는가?
A: VIX > 25 시 War Room 승률 42% (평균 61% 대비 낮음)
Q: 어떤 실수가 반복되는가?
A: "과매수 신호에서 매수" 패턴 5회 반복
Q: 헌법이 제대로 작동하는가?
A: 헌법 거부 75%가 실제 손실 방어 (효율적)
3. Improvement Proposals
IF News Agent 승률 < 50%:
→ Proposal: "News Agent 가중치 감소 또는 필터링 강화"
IF VIX > 25 시 승률 < 50%:
→ Proposal: "고변동성 환경에서 포지션 사이즈 50% 축소"
IF 특정 Agent 지속적 저성과:
→ Proposal: "Agent SKILL.md 재검토 및 업데이트"
Decision Framework
Step 1: Collect Mistakes
- 손실 거래 (losing trades)
- 헌법 위반 거부 (rejections)
- 예상 vs 실제 차이
Step 2: Classify Mistakes
- Prediction Error
- Judgment Error
- Timing Error
- Risk Error
Step 3: Identify Root Causes
- Agent 문제?
- 데이터 문제?
- 전략 문제?
- 환경 변화?
Step 4: Pattern Recognition
- 반복되는 실수?
- 특정 조건에서 실수?
- 특정 Agent 문제?
Step 5: Generate Proposals
- Agent 파라미터 조정
- SKILL.md 업데이트
- 새로운 규칙 추가
- Agent 추가/제거
Step 6: Prioritize by Impact
- 빈도 * 손실 규모
- 개선 용이성
- 리스크
Output Format
{
"agent": "meta_analyst",
"analysis_period": {
"start_date": "2025-11-21",
"end_date": "2025-12-21",
"days": 30
},
"mistake_summary": {
"total_mistakes": 18,
"total_loss_usd": 4500,
"avg_loss_per_mistake": 250,
"mistake_types": {
"prediction_error": 8,
"judgment_error": 5,
"timing_error": 3,
"risk_error": 2
}
},
"agent_performance_issues": [
{
"agent": "news-agent",
"issue": "낮은 승률 (48%)",
"frequency": "High",
"impact_usd": -2100,
"root_cause": "뉴스 감성 분석 부정확",
"recommendation": "News sentiment model 재훈련 또는 가중치 감소"
},
{
"agent": "trader-agent",
"issue": "과매수 구간에서 매수 (RSI > 70)",
"frequency": "Medium",
"impact_usd": -800,
"root_cause": "RSI threshold 너무 관대",
"recommendation": "RSI > 70 시 BUY 금지 규칙 추가"
}
],
"repeated_mistakes": [
{
"pattern": "VIX > 25 환경에서 공격적 진입",
"occurrences": 5,
"total_loss_usd": -1500,
"recommendation": "VIX > 25 시 포지션 사이즈 50% 축소"
},
{
"pattern": "War Room 합의 < 70%인데 강행",
"occurrences": 3,
"total_loss_usd": -600,
"recommendation": "최소 합의 수준 70% 규칙 강화"
}
],
"constitutional_analysis": {
"total_rejections": 12,
"defensive_wins": 9,
"defensive_win_rate": 0.75,
"avoided_loss_usd": 3200,
"verdict": "헌법이 효과적으로 작동 중"
},
"improvement_proposals": [
{
"priority": "HIGH",
"category": "Agent Adjustment",
"title": "News Agent 가중치 감소",
"rationale": "승률 48%로 가장 낮음",
"action": "War Room에서 News Agent 가중치 1.0 → 0.7",
"expected_improvement": "전체 Win Rate +3%p",
"implementation_difficulty": "LOW"
},
{
"priority": "HIGH",
"category": "Risk Rule",
"title": "VIX 기반 포지션 축소",
"rationale": "VIX > 25 시 승률 42%",
"action": "IF VIX > 25: position_size *= 0.5",
"expected_improvement": "Max Drawdown -3%p",
"implementation_difficulty": "LOW"
},
{
"priority": "MEDIUM",
"category": "SKILL.md Update",
"title": "Trader Agent RSI 규칙 강화",
"rationale": "과매수 구간 매수로 5회 손실",
"action": "RSI > 70 시 BUY 금지 규칙 추가",
"expected_improvement": "Trader accuracy +5%p",
"implementation_difficulty": "MEDIUM"
}
],
"learning_insights": [
"헌법 방어 시스템이 매우 효과적 (75% 정확도)",
"News Agent 개선 시급 (가장 큰 손실 원인)",
"고변동성 환경 대응 규칙 필요"
]
}
Examples
Example 1: News Agent 문제 발견
Observation:
- News Agent 신호 23개
- 승률 48% (다른 Agent 평균 65%)
- 손실 -$2,100
Analysis:
- Root Cause: 뉴스 감성 분석 부정확
- Pattern: 긍정 뉴스에도 주가 하락 빈번
Proposal:
- News Agent 가중치 1.0 → 0.7로 감소
- 감성 분석 모델 재훈련
Example 2: 반복적 타이밍 실수
Observation:
- "과매수(RSI > 70) 구간 매수" 5회 반복
- 평균 손실 -3.2%
Analysis:
- Trader Agent의 RSI threshold 문제
- 현재: RSI < 75면 매수 가능
- 개선: RSI < 70으로 엄격화
Proposal:
- Trader Agent SKILL.md 업데이트
- RSI > 70 시 HOLD 또는 SELL만 허용
Example 3: 헌법 효과 검증
Observation:
- 12건 헌법 거부
- 9건이 실제 손실이었을 것 (75%)
- 회피한 손실 $3,200
Analysis:
- 헌법이 효과적으로 작동 중
- Article 4 (Risk) 가장 많이 발동
Proposal:
- 헌법 유지
- Article 4 threshold 미세 조정 검토
Guidelines
Do's ✅
- 객관적 데이터 기반: 감정 배제
- 근본 원인 분석: 증상이 아닌 원인 파악
- 실행 가능한 제안: 구체적 조치
- 우선순위 명확화: Impact vs Effort
Don'ts ❌
- 과거 성과 과신 금지
- 과적합 제안 금지 (one-time 이벤트 과반응)
- 책임 전가 금지 (Agent 탓만 하기)
- 복잡한 솔루션 지양 (단순할수록 좋음)
Integration
Mistake Collection
from backend.database.models import TradingSignal, ShadowTrade
def collect_mistakes(days: int = 30) -> List[Mistake]:
"""Collect recent mistakes"""
mistakes = []
# Losing trades
losing_trades = db.query(TradingSignal).filter(
TradingSignal.created_at >= datetime.now() - timedelta(days=days),
TradingSignal.actual_return < 0
).all()
for trade in losing_trades:
mistakes.append(Mistake(
mistake_id=f"MST-{trade.signal_id}",
timestamp=trade.created_at,
signal_id=trade.signal_id,
mistake_type="PREDICTION_ERROR",
description=f"Expected {trade.action}, got loss {trade.actual_return:.2%}",
actual_loss=trade.actual_pnl,
root_cause="TBD", # 분석 필요
affected_agents=[trade.source]
))
return mistakes
Pattern Analysis
def analyze_agent_performance(mistakes: List[Mistake]) -> Dict:
"""Analyze which agents are making mistakes"""
by_agent = {}
for mistake in mistakes:
for agent in mistake.affected_agents:
if agent not in by_agent:
by_agent[agent] = {
'count': 0,
'total_loss': 0,
'mistakes': []
}
by_agent[agent]['count'] += 1
by_agent[agent]['total_loss'] += mistake.actual_loss
by_agent[agent]['mistakes'].append(mistake)
# Sort by impact
return sorted(
by_agent.items(),
key=lambda x: x[1]['total_loss'],
reverse=True
)
Proposal Generation
def generate_improvement_proposals(
agent_issues: List[Dict],
patterns: List[Dict]
) -> List[Dict]:
"""Generate actionable improvement proposals"""
proposals = []
# Agent performance issues
for issue in agent_issues:
if issue['frequency'] == 'High' and issue['impact_usd'] < -1000:
proposals.append({
'priority': 'HIGH',
'category': 'Agent Adjustment',
'title': f"{issue['agent']} 개선",
'action': issue['recommendation'],
'expected_improvement': "Win Rate +3-5%"
})
# Repeated patterns
for pattern in patterns:
if pattern['occurrences'] >= 3:
proposals.append({
'priority': 'MEDIUM',
'category': 'Risk Rule',
'title': f"반복 실수 방지: {pattern['pattern']}",
'action': pattern['recommendation'],
'expected_improvement': f"Avoid {pattern['total_loss_usd']:.0f} loss"
})
return proposals
Performance Metrics
- Mistake Detection Recall: > 95% (모든 손실 포착)
- Root Cause Accuracy: > 80%
- Proposal Adoption Rate: > 50% (제안이 실제 적용됨)
- Improvement Realized: 제안 적용 후 평균 +3%p Win Rate
Continuous Learning Loop
1. Trading → 2. Mistakes → 3. Analysis → 4. Proposals → 5. Implementation → 1. Trading (improved)
Version History
- v1.0 (2025-12-21): Initial release with mistake tracking and improvement proposals