feat(agents): человекочитаемые вердикты аналитика, ревьюера, dev и постмортема в панель «Логи»
This commit is contained in:
@@ -104,12 +104,7 @@ func (a *Analyst) Decide(ctx context.Context, history []core.Message, draft stor
|
|||||||
|
|
||||||
// 4. парсим вердикт
|
// 4. парсим вердикт
|
||||||
verdict := opencode.ExtractVerdict(res.Stdout)
|
verdict := opencode.ExtractVerdict(res.Stdout)
|
||||||
log.Printf("analyst: verdict tail: %s", truncate(verdict, 2000))
|
|
||||||
obj, ok := opencode.ExtractJSON(verdict)
|
obj, ok := opencode.ExtractJSON(verdict)
|
||||||
if ok {
|
|
||||||
b, _ := json.Marshal(obj)
|
|
||||||
log.Printf("analyst: extracted json: %s", truncate(string(b), 1000))
|
|
||||||
}
|
|
||||||
if !ok {
|
if !ok {
|
||||||
return core.Decision{}, fmt.Errorf("%w: нет JSON в выводе аналитика", ErrDecodeFail)
|
return core.Decision{}, fmt.Errorf("%w: нет JSON в выводе аналитика", ErrDecodeFail)
|
||||||
}
|
}
|
||||||
@@ -123,6 +118,8 @@ func (a *Analyst) Decide(ctx context.Context, history []core.Message, draft stor
|
|||||||
return core.Decision{}, fmt.Errorf("%w: %v", ErrDecodeFail, err)
|
return core.Decision{}, fmt.Errorf("%w: %v", ErrDecodeFail, err)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
log.Printf("analyst: вердикт: %s", truncate(formatVerdict(&ar), 2000))
|
||||||
|
|
||||||
// 5. валидация
|
// 5. валидация
|
||||||
if err := validateResponse(&ar); err != nil {
|
if err := validateResponse(&ar); err != nil {
|
||||||
return core.Decision{}, fmt.Errorf("%w: %v", ErrValidation, err)
|
return core.Decision{}, fmt.Errorf("%w: %v", ErrValidation, err)
|
||||||
@@ -195,3 +192,50 @@ func validateResponse(ar *AnalystResponse) error {
|
|||||||
}
|
}
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// formatVerdict собирает человекочитаемое однострочное описание вердикта
|
||||||
|
// аналитика (без JSON-разметки) для панели «Логи».
|
||||||
|
func formatVerdict(ar *AnalystResponse) string {
|
||||||
|
var b strings.Builder
|
||||||
|
b.WriteString("phase=" + ar.Phase)
|
||||||
|
|
||||||
|
if ar.ChatReply != "" {
|
||||||
|
b.WriteString(", chat_reply=")
|
||||||
|
b.WriteString(ar.ChatReply)
|
||||||
|
}
|
||||||
|
if len(ar.Questions) > 0 {
|
||||||
|
b.WriteString(", questions=[")
|
||||||
|
b.WriteString(strings.Join(ar.Questions, " | "))
|
||||||
|
b.WriteString("]")
|
||||||
|
}
|
||||||
|
if ar.Title != "" {
|
||||||
|
b.WriteString(", title=")
|
||||||
|
b.WriteString(ar.Title)
|
||||||
|
}
|
||||||
|
if ar.Goal != "" {
|
||||||
|
b.WriteString(", goal=")
|
||||||
|
b.WriteString(ar.Goal)
|
||||||
|
}
|
||||||
|
if ar.Repo != "" {
|
||||||
|
b.WriteString(", repo=")
|
||||||
|
b.WriteString(ar.Repo)
|
||||||
|
}
|
||||||
|
if len(ar.Repos) > 0 {
|
||||||
|
b.WriteString(", repos=[")
|
||||||
|
b.WriteString(strings.Join(ar.Repos, ", "))
|
||||||
|
b.WriteString("]")
|
||||||
|
}
|
||||||
|
if ar.Why != "" {
|
||||||
|
b.WriteString(", why=")
|
||||||
|
b.WriteString(ar.Why)
|
||||||
|
}
|
||||||
|
if ar.AC != "" {
|
||||||
|
b.WriteString(", ac=")
|
||||||
|
b.WriteString(ar.AC)
|
||||||
|
}
|
||||||
|
if ar.AbortReason != "" {
|
||||||
|
b.WriteString(", abort_reason=")
|
||||||
|
b.WriteString(ar.AbortReason)
|
||||||
|
}
|
||||||
|
return b.String()
|
||||||
|
}
|
||||||
@@ -3,6 +3,7 @@ package analyst
|
|||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
"errors"
|
"errors"
|
||||||
|
"strings"
|
||||||
"testing"
|
"testing"
|
||||||
|
|
||||||
"github.com/kamelion/ratatoskr-go/internal/core"
|
"github.com/kamelion/ratatoskr-go/internal/core"
|
||||||
@@ -216,3 +217,66 @@ func TestAskEmptyReplyAndQuestions(t *testing.T) {
|
|||||||
t.Errorf("err = %v, want A3", err)
|
t.Errorf("err = %v, want A3", err)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// TestFormatVerdict — человекочитаемое описание вердикта аналитика.
|
||||||
|
func TestFormatVerdict(t *testing.T) {
|
||||||
|
tests := []struct {
|
||||||
|
name string
|
||||||
|
ar *AnalystResponse
|
||||||
|
want []string
|
||||||
|
}{
|
||||||
|
{
|
||||||
|
name: "propose with fields",
|
||||||
|
ar: &AnalystResponse{
|
||||||
|
Phase: "propose",
|
||||||
|
Title: "Калькулятор",
|
||||||
|
Goal: "Сделать веб-калькулятор",
|
||||||
|
Repos: []string{"tools/calc", "tools/ui"},
|
||||||
|
Why: "Нужен для учёта",
|
||||||
|
AC: "Работает + - * /",
|
||||||
|
ChatReply: "Готово!",
|
||||||
|
},
|
||||||
|
want: []string{
|
||||||
|
"phase=propose",
|
||||||
|
"chat_reply=Готово!",
|
||||||
|
"repos=[tools/calc, tools/ui]",
|
||||||
|
"title=Калькулятор",
|
||||||
|
"goal=Сделать веб-калькулятор",
|
||||||
|
"why=Нужен для учёта",
|
||||||
|
"ac=Работает + - * /",
|
||||||
|
},
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: "ask with questions",
|
||||||
|
ar: &AnalystResponse{
|
||||||
|
Phase: "ask",
|
||||||
|
ChatReply: "Уточню",
|
||||||
|
Questions: []string{"Где код?", "Какая цель?"},
|
||||||
|
},
|
||||||
|
want: []string{"phase=ask", "chat_reply=Уточню", "questions=[Где код? | Какая цель?]"},
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: "abort with reason",
|
||||||
|
ar: &AnalystResponse{
|
||||||
|
Phase: "abort",
|
||||||
|
AbortReason: "Тема не про код",
|
||||||
|
},
|
||||||
|
want: []string{"phase=abort", "abort_reason=Тема не про код"},
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: "empty verdict",
|
||||||
|
ar: &AnalystResponse{},
|
||||||
|
want: []string{"phase="},
|
||||||
|
},
|
||||||
|
}
|
||||||
|
for _, tt := range tests {
|
||||||
|
t.Run(tt.name, func(t *testing.T) {
|
||||||
|
got := formatVerdict(tt.ar)
|
||||||
|
for _, w := range tt.want {
|
||||||
|
if !strings.Contains(got, w) {
|
||||||
|
t.Errorf("formatVerdict = %q, want contain %q", got, w)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
})
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -186,6 +186,7 @@ func (w *Worker) postMortem(ctx context.Context, task *storage.Task) {
|
|||||||
output = "(постмортем-агент не вернул текст)"
|
output = "(постмортем-агент не вернул текст)"
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
log.Printf("worker: task %d: постмортем: %s", task.ID, truncateTrace(output, 2000))
|
||||||
w.finalizeTrace(ctx, traceID, status, output)
|
w.finalizeTrace(ctx, traceID, status, output)
|
||||||
|
|
||||||
if res.RC == 0 && output != "" {
|
if res.RC == 0 && output != "" {
|
||||||
|
|||||||
@@ -4,6 +4,7 @@ import (
|
|||||||
"context"
|
"context"
|
||||||
"encoding/json"
|
"encoding/json"
|
||||||
"fmt"
|
"fmt"
|
||||||
|
"log"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"strings"
|
"strings"
|
||||||
|
|
||||||
@@ -96,6 +97,10 @@ func (w *Worker) runReviewer(ctx context.Context, taskID int64, cwd, prompt stri
|
|||||||
}
|
}
|
||||||
w.finalizeTrace(ctx, traceID, ts, output)
|
w.finalizeTrace(ctx, traceID, ts, output)
|
||||||
|
|
||||||
|
if v != nil {
|
||||||
|
log.Printf("reviewer: вердикт: %s", formatReviewVerdict(v))
|
||||||
|
}
|
||||||
|
|
||||||
if v == nil {
|
if v == nil {
|
||||||
// Невалидный/пустой вывод или RC!=0: не парсится — сигнал на retry.
|
// Невалидный/пустой вывод или RC!=0: не парсится — сигнал на retry.
|
||||||
return nil, output, traceID, nil
|
return nil, output, traceID, nil
|
||||||
@@ -119,3 +124,35 @@ func parseReviewVerdict(out string) (*reviewVerdict, error) {
|
|||||||
}
|
}
|
||||||
return &v, nil
|
return &v, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// formatReviewVerdict собирает человекочитаемое однострочное описание вердикта
|
||||||
|
// ревьюера (без JSON-разметки) для панели «Логи».
|
||||||
|
func formatReviewVerdict(v *reviewVerdict) string {
|
||||||
|
var b strings.Builder
|
||||||
|
b.WriteString("passed=")
|
||||||
|
b.WriteString(boolElse(v.Passed, "yes", "no"))
|
||||||
|
if len(v.CriticalIssues) > 0 {
|
||||||
|
b.WriteString(", critical=[")
|
||||||
|
b.WriteString(strings.Join(v.CriticalIssues, " | "))
|
||||||
|
b.WriteString("]")
|
||||||
|
}
|
||||||
|
if len(v.SolidViolations) > 0 {
|
||||||
|
b.WriteString(", solid=[")
|
||||||
|
b.WriteString(strings.Join(v.SolidViolations, " | "))
|
||||||
|
b.WriteString("]")
|
||||||
|
}
|
||||||
|
if len(v.Comments) > 0 {
|
||||||
|
b.WriteString(", comments=[")
|
||||||
|
b.WriteString(strings.Join(v.Comments, " | "))
|
||||||
|
b.WriteString("]")
|
||||||
|
}
|
||||||
|
return b.String()
|
||||||
|
}
|
||||||
|
|
||||||
|
// boolElse возвращает строку для логического значения (без вызова тернарника).
|
||||||
|
func boolElse(cond bool, yes, no string) string {
|
||||||
|
if cond {
|
||||||
|
return yes
|
||||||
|
}
|
||||||
|
return no
|
||||||
|
}
|
||||||
|
|||||||
@@ -281,6 +281,8 @@ func (w *Worker) runTask(ctx context.Context, task *storage.Task) (err error) {
|
|||||||
|
|
||||||
output := res.Stdout
|
output := res.Stdout
|
||||||
|
|
||||||
|
log.Printf("worker: task %d: dev вердикт (хвост): %s", task.ID, truncateTrace(output, 2000))
|
||||||
|
|
||||||
// 5b. dev не завершился успешно (RC!=0) → фиксируем без ревью.
|
// 5b. dev не завершился успешно (RC!=0) → фиксируем без ревью.
|
||||||
switch res.RC {
|
switch res.RC {
|
||||||
case 0:
|
case 0:
|
||||||
|
|||||||
@@ -1090,3 +1090,46 @@ func TestRenderPostMortemPrompt(t *testing.T) {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// TestFormatReviewVerdict — человекочитаемое описание вердикта ревьюера.
|
||||||
|
func TestFormatReviewVerdict(t *testing.T) {
|
||||||
|
tests := []struct {
|
||||||
|
name string
|
||||||
|
v *reviewVerdict
|
||||||
|
want []string
|
||||||
|
}{
|
||||||
|
{
|
||||||
|
name: "passed with everything",
|
||||||
|
v: &reviewVerdict{
|
||||||
|
Passed: true,
|
||||||
|
CriticalIssues: []string{"bug A"},
|
||||||
|
SolidViolations: []string{"v1", "v2"},
|
||||||
|
Comments: []string{"comment"},
|
||||||
|
},
|
||||||
|
want: []string{"passed=yes", "critical=[bug A]", "solid=[v1 | v2]", "comments=[comment]"},
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: "failed with critical only",
|
||||||
|
v: &reviewVerdict{
|
||||||
|
Passed: false,
|
||||||
|
CriticalIssues: []string{"bug A", "bug B"},
|
||||||
|
},
|
||||||
|
want: []string{"passed=no", "critical=[bug A | bug B]"},
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: "empty verdict",
|
||||||
|
v: &reviewVerdict{},
|
||||||
|
want: []string{"passed=no"},
|
||||||
|
},
|
||||||
|
}
|
||||||
|
for _, tt := range tests {
|
||||||
|
t.Run(tt.name, func(t *testing.T) {
|
||||||
|
got := formatReviewVerdict(tt.v)
|
||||||
|
for _, w := range tt.want {
|
||||||
|
if !strings.Contains(got, w) {
|
||||||
|
t.Errorf("formatReviewVerdict = %q, want contain %q", got, w)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
})
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user