kamelion/ratatoskr-go
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(worker): постмортем-анализ после failed/timeout

Browse Source 
После завершения задачи со статусом failed/timeout воркер запускает
постмортем-анализ (агент postmortem): разбирает сессии dev/reviewer,
оценивает причины сбоя и шлёт владельцу уведомление с анализом. Статус
задачи не меняет; сбои анализа не влияют на исход.
This commit is contained in:
ki.sagidullin
2026-08-23 09:52:13 +05:00
parent cd0619926e
commit 963e7b478e
7 changed files with 481 additions and 24 deletions
Download Patch File Download Diff File Expand all files Collapse all files

250
internal/worker/worker_test.go
View File

@@ -54,6 +54,11 @@ type mockRunnerWorker struct {
// (последний вечный). Позволяет смоделировать fail-then-pass.
reviewSequence []*opencode.Result
reviewCount int
// postMortemResult — результат постмортем-агента; nil → RC:0 с тестовым
// резюме. postMortemCount — сколько раз постмортем вызывался.
postMortemResult *opencode.Result
postMortemCount int
}
func (m *mockRunnerWorker) Run(_ context.Context, _, _, agent, _ string) (*opencode.Result, error) {
@@ -71,6 +76,13 @@ func (m *mockRunnerWorker) Run(_ context.Context, _, _, agent, _ string) (*openc
}
return &opencode.Result{RC: 0, Stdout: `{"passed":true,"comments":[]}`}, nil
}
if agent == postMortemAgent {
m.postMortemCount++
if m.postMortemResult != nil {
return m.postMortemResult, m.err
}
return &opencode.Result{RC: 0, Stdout: "Почему так случилось:\n- тестовое резюме\nЧто сделать:\n- исправить"}, nil
}
return m.result, m.err
}
@@ -402,12 +414,17 @@ func TestWorkerIterationsLimitNotification(t *testing.T) {
if len(texts) == 0 {
t.Fatal("нет уведомлений")
}
last := texts[len(texts)-1]
if !strings.Contains(last, "failed") {
t.Errorf("последнее уведомление = %q, want упоминание failed", last)
// где-то в списке есть уведомление о failed с упоминанием лимита итераций
// (над ним — уведомление postmortem, поэтому последним оно не обязано быть).
var limitNotif string
for _, txt := range texts {
if strings.Contains(txt, "failed") && strings.Contains(txt, "итераци") {
limitNotif = txt
break
}
}
if !strings.Contains(last, "итераци") {
t.Errorf("последнее уведомление = %q, want упоминание лимита итераций", last)
if limitNotif == "" {
t.Errorf("нет уведомления о лимите итераций (failed+итераци): %#v", texts)
}
// ровно одно уведомление о failed (running→failed не задваивается)
var failedCount int
@@ -419,9 +436,20 @@ func TestWorkerIterationsLimitNotification(t *testing.T) {
if failedCount != 1 {
t.Errorf("уведомлений о failed = %d, want ровно 1: %#v", failedCount, texts)
}
// есть постмортем-уведомление с анализом
var pmCount int
for _, txt := range texts {
if strings.Contains(txt, "анализ (после failed)") {
pmCount++
}
}
if pmCount != 1 {
t.Errorf("постмортем-уведомлений = %d, want ровно 1: %#v", pmCount, texts)
}
}
// TestWorkerTimeoutNotification — RC=-1 (таймаут dev) → уведомление о timeout.
// TestWorkerTimeoutNotification — RC=-1 (таймаут dev) → уведомление о timeout
// и постмортем-уведомление с анализом.
func TestWorkerTimeoutNotification(t *testing.T) {
s := setupWorkerDB(t)
task := createReadyTask(t, s, "notif-timeout")
@@ -439,13 +467,21 @@ func TestWorkerTimeoutNotification(t *testing.T) {
_ = w.runTask(ctx, task)
prefix := "Задача #" + strconv.FormatInt(task.ID, 10)
texts := notifTexts(n)
if len(texts) != 3 {
t.Fatalf("уведомлений = %d, want 3: %#v", len(texts), texts)
}
want := []string{prefix + ": running", prefix + ": timeout"}
if got := notifTexts(n); !reflect.DeepEqual(got, want) {
t.Errorf("уведомления = %#v, want %#v", got, want)
if !reflect.DeepEqual(texts[:2], want) {
t.Errorf("первые уведомления = %#v, want %#v", texts[:2], want)
}
if !strings.Contains(texts[2], "🔍 анализ (после timeout)") {
t.Errorf("постмортем-уведомление = %q, want упоминание «анализ (после timeout)»", texts[2])
}
}
// TestWorkerSpawnErrorNotification — сбой запуска dev → уведомление о failed.
// TestWorkerSpawnErrorNotification — сбой запуска dev → уведомление о failed
// и постмортем-уведомление.
func TestWorkerSpawnErrorNotification(t *testing.T) {
s := setupWorkerDB(t)
task := createReadyTask(t, s, "notif-spawn")
@@ -463,9 +499,16 @@ func TestWorkerSpawnErrorNotification(t *testing.T) {
_ = w.runTask(ctx, task)
prefix := "Задача #" + strconv.FormatInt(task.ID, 10)
texts := notifTexts(n)
if len(texts) != 3 {
t.Fatalf("уведомлений = %d, want 3: %#v", len(texts), texts)
}
want := []string{prefix + ": running", prefix + ": failed"}
if got := notifTexts(n); !reflect.DeepEqual(got, want) {
t.Errorf("уведомления = %#v, want %#v", got, want)
if !reflect.DeepEqual(texts[:2], want) {
t.Errorf("первые уведомления = %#v, want %#v", texts[:2], want)
}
if !strings.Contains(texts[2], "анализ (после failed)") {
t.Errorf("постмортем-уведомление = %q, want упоминание «анализ (после failed)»", texts[2])
}
}
@@ -529,9 +572,10 @@ func TestWorkerTimeout(t *testing.T) {
s := setupWorkerDB(t)
task := createReadyTask(t, s, "slow")
runner := &mockRunnerWorker{result: &opencode.Result{RC: -1, Stdout: ""}}
w := &Worker{
Store: s,
Runner: &mockRunnerWorker{result: &opencode.Result{RC: -1, Stdout: ""}},
Runner: runner,
Worktree: t.TempDir(),
}
seedFakeRepo(t, w.Worktree, "slow")
@@ -551,11 +595,20 @@ func TestWorkerTimeout(t *testing.T) {
if err != nil {
t.Fatalf("get traces: %v", err)
}
if len(traces) != 1 {
t.Fatalf("got %d traces, want 1", len(traces))
if len(traces) != 2 {
t.Fatalf("got %d traces, want 2 (dev + postmortem)", len(traces))
}
if traces[0].Status != storage.TraceTimeout {
t.Errorf("trace status = %q, want timeout", traces[0].Status)
t.Errorf("trace[0] status = %q, want timeout", traces[0].Status)
}
if traces[1].Agent != postMortemAgent {
t.Errorf("trace[1] agent = %q, want postmortem", traces[1].Agent)
}
if traces[1].Status != storage.TraceSuccess {
t.Errorf("trace[1] status = %q, want success", traces[1].Status)
}
if runner.postMortemCount != 1 {
t.Errorf("postmortem запускался %d раз, want 1", runner.postMortemCount)
}
}
@@ -563,9 +616,10 @@ func TestWorkerSpawnError(t *testing.T) {
s := setupWorkerDB(t)
task := createReadyTask(t, s, "spawn-fail")
runner := &mockRunnerWorker{err: errors.New("opencode not found")}
w := &Worker{
Store: s,
Runner: &mockRunnerWorker{err: errors.New("opencode not found")},
Runner: runner,
Worktree: t.TempDir(),
}
seedFakeRepo(t, w.Worktree, "spawn-fail")
@@ -585,11 +639,17 @@ func TestWorkerSpawnError(t *testing.T) {
if err != nil {
t.Fatalf("get traces: %v", err)
}
if len(traces) != 1 {
t.Fatalf("got %d traces, want 1", len(traces))
if len(traces) != 2 {
t.Fatalf("got %d traces, want 2 (dev-failed + postmortem)", len(traces))
}
if traces[0].Status != storage.TraceFailed {
t.Errorf("trace status = %q, want failed", traces[0].Status)
t.Errorf("trace[0] status = %q, want failed", traces[0].Status)
}
if traces[1].Agent != postMortemAgent {
t.Errorf("trace[1] agent = %q, want postmortem", traces[1].Agent)
}
if runner.postMortemCount != 1 {
t.Errorf("postmortem запускался %d раз, want 1", runner.postMortemCount)
}
}
@@ -619,8 +679,8 @@ func TestWorkerNonZeroExit(t *testing.T) {
if err != nil {
t.Fatalf("get traces: %v", err)
}
if len(traces) != 1 {
t.Fatalf("got %d traces, want 1", len(traces))
if len(traces) != 2 {
t.Fatalf("got %d traces, want 2 (dev + postmortem)", len(traces))
}
if traces[0].Status != storage.TraceFailed {
t.Errorf("trace status = %q, want failed", traces[0].Status)
@@ -628,6 +688,9 @@ func TestWorkerNonZeroExit(t *testing.T) {
if traces[0].Output != "error" {
t.Errorf("output = %q, want error", traces[0].Output)
}
if traces[1].Agent != postMortemAgent {
t.Errorf("trace[1] agent = %q, want postmortem", traces[1].Agent)
}
}
func TestWorkerBadStatus(t *testing.T) {
@@ -882,3 +945,148 @@ func TestWorkerSemaphore(t *testing.T) {
t.Errorf("после освобождения слота success = %d, want 2", len(success))
}
}
// TestWorkerPostMortemSkippedOnSuccess — успешный трейд НЕ запускает постмортем:
// причина анализа — только failed/timeout.
func TestWorkerPostMortemSkippedOnSuccess(t *testing.T) {
s := setupWorkerDB(t)
task := createReadyTask(t, s, "pm-ok")
runner := &mockRunnerWorker{result: &opencode.Result{RC: 0, Stdout: "done", SessionID: "s"}}
w := &Worker{
Store: s,
Runner: runner,
Worktree: t.TempDir(),
}
seedFakeRepo(t, w.Worktree, "pm-ok")
ctx := context.Background()
if err := w.runTask(ctx, task); err != nil {
t.Fatalf("runTask: %v", err)
}
task, _ = s.GetTask(ctx, task.ID)
if task.Status != storage.StatusSuccess {
t.Fatalf("status = %q, want success", task.Status)
}
if runner.postMortemCount != 0 {
t.Errorf("postmortem запускался %d раз, want 0 при success", runner.postMortemCount)
}
traces, _ := s.GetTraces(ctx, task.ID)
for _, tr := range traces {
if tr.Agent == postMortemAgent {
t.Errorf("есть неожиданный postmortem-trace при success")
}
}
}
// TestWorkerPostMortemFailureDoesNotChangeStatus — сбой самого постмортема не
// влияет на статус задачи (остаётся failed) и фиксируется как failed-трасса.
func TestWorkerPostMortemFailureDoesNotChangeStatus(t *testing.T) {
s := setupWorkerDB(t)
task := createReadyTask(t, s, "pm-fail")
runner := &mockRunnerWorker{
// dev падает при спавне → failed; постмортем тоже падает.
err: errors.New("opencode not found"),
postMortemResult: &opencode.Result{RC: 1, Stdout: ""},
}
w := &Worker{
Store: s,
Runner: runner,
Worktree: t.TempDir(),
}
seedFakeRepo(t, w.Worktree, "pm-fail")
ctx := context.Background()
_ = w.runTask(ctx, task)
task, _ = s.GetTask(ctx, task.ID)
if task.Status != storage.StatusFailed {
t.Errorf("status = %q, want failed (постмортем не должен менять статус)", task.Status)
}
traces, err := s.GetTraces(ctx, task.ID)
if err != nil {
t.Fatalf("get traces: %v", err)
}
if len(traces) != 2 {
t.Fatalf("traces = %d, want 2 (dev-failed + postmortem)", len(traces))
}
if traces[1].Agent != postMortemAgent {
t.Errorf("trace[1] agent = %q, want postmortem", traces[1].Agent)
}
if traces[1].Status != storage.TraceFailed {
t.Errorf("trace[1] status = %q, want failed (сбой постмортема)", traces[1].Status)
}
}
// TestWorkerPostMortemNotRepeated — если у задачи уже есть postmortem-trace
// (например, от прошлого прогона), повторный постмортем не запускается.
func TestWorkerPostMortemNotRepeated(t *testing.T) {
s := setupWorkerDB(t)
task := createReadyTask(t, s, "pm-repeat")
ctx := context.Background()
if _, err := s.AppendTrace(ctx, &storage.Trace{
TaskID: task.ID,
Agent: postMortemAgent,
Prompt: "старый анализ",
Output: "старое резюме",
}); err != nil {
t.Fatalf("seed postmortem trace: %v", err)
}
runner := &mockRunnerWorker{err: errors.New("opencode not found")}
w := &Worker{
Store: s,
Runner: runner,
Worktree: t.TempDir(),
}
seedFakeRepo(t, w.Worktree, "pm-repeat")
_ = w.runTask(ctx, task)
task, _ = s.GetTask(ctx, task.ID)
if task.Status != storage.StatusFailed {
t.Fatalf("status = %q, want failed", task.Status)
}
if runner.postMortemCount != 0 {
t.Errorf("postmortem запускался %d раз, want 0 (уже был trace)", runner.postMortemCount)
}
// количество postmortem-трасс не выросло
traces, _ := s.GetTraces(ctx, task.ID)
var pm int
for _, tr := range traces {
if tr.Agent == postMortemAgent {
pm++
}
}
if pm != 1 {
t.Errorf("postmortem-трасс = %d, want 1 (без дубля)", pm)
}
}
// TestRenderPostMortemPrompt — промпт постмортема включает задачу и сессии.
func TestRenderPostMortemPrompt(t *testing.T) {
tr := storage.Trace{
Agent: "dev",
Status: storage.TraceTimeout,
Prompt: "промпт dev",
Output: "вывод dev",
}
prompt, err := RenderPostMortemPrompt(PostMortemPromptData{
Title: "Таймаут-задача",
Goal: "сделать",
Repos: []string{"calc"},
AC: "работает",
Status: storage.StatusTimeout,
Sessions: postMortemsText([]storage.Trace{tr}),
})
if err != nil {
t.Fatalf("render: %v", err)
}
for _, want := range []string{"Таймаут-задача", "timeout", "=== Агент: dev", "промпт dev", "вывод dev"} {
if !strings.Contains(prompt, want) {
t.Errorf("промпт не содержит %q", want)
}
}
}