diff --git a/docs/proposals/agent_harness.md b/docs/proposals/agent_harness.md index 6ed5f8d..0b69ff6 100644 --- a/docs/proposals/agent_harness.md +++ b/docs/proposals/agent_harness.md @@ -228,6 +228,41 @@ Implementasjoner for: - Ad-hoc cron-jobber for agentoppgaver - `synops-respond` (kan bli en modus i synops-agent) - Deler av orkestreringens executor +- **LiteLLM** (AI Gateway Docker-container) + +### LiteLLM fases ut + +synops-agent snakker direkte med leverandør-APIer. Ingen +mellomtjeneste nødvendig. + +``` +I dag: maskinrommet → LiteLLM → OpenRouter → Anthropic/Google +Med agent: synops-agent → Anthropic/Google (direkte) +``` + +Rig (Rust-lib) har allerede provider-adaptere for Anthropic, +OpenAI-kompatible (Grok, OpenRouter, Ollama), og Gemini. +Alle LLM-APIer er HTTP POST med JSON — ikke komplisert nok +til å rettferdiggjøre en mellomtjeneste. + +Det LiteLLM gjør i dag som synops-agent overtar: + +| LiteLLM-funksjon | synops-agent | +|-------------------|-------------| +| Provider-abstraksjon | Rig traits (CompletionModel) | +| Retry med fallback | Innebygd i Rust (konfigurerbar kjede) | +| API-nøkkel-håndtering | Konfig/env, admin-UI via maskinrommet | +| Modell-ruting per jobbtype | `ai_job_routing`-tabell (beholdes) | +| Kostnadslogging | Innebygd token-regnskap | + +Resultat: +- Én mindre Docker-container (Python-stack fjernes) +- Lavere latens (ingen ekstra hop) +- Enklere feilsøking (alt i Rust-kode vi eier) +- Ruting-logikk i kode, ikke YAML-konfig + +LiteLLM kan leve videre som fallback i overgangsperioden. +Fjernes helt når synops-agent dekker alle brukstilfeller. ## Faser