From 09d0477680cac75494da1172bde06c838c3b9dad Mon Sep 17 00:00:00 2001
From: vegard <vnotnes@pm.me>
Date: Thu, 19 Mar 2026 17:16:37 +0000
Subject: [PATCH] synops-agent erstatter LiteLLM: direkte provider-APIer via
 Rig
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

Ingen mellomtjeneste — synops-agent snakker direkte med Anthropic,
Google, OpenRouter etc. via Rig sine provider-traits. Fjerner
LiteLLM Docker-container (Python-stack). Lavere latens, enklere
feilsøking, alt i Rust-kode vi eier.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
---
 docs/proposals/agent_harness.md | 35 +++++++++++++++++++++++++++++++++
 1 file changed, 35 insertions(+)

diff --git a/docs/proposals/agent_harness.md b/docs/proposals/agent_harness.md
index 6ed5f8d..0b69ff6 100644
--- a/docs/proposals/agent_harness.md
+++ b/docs/proposals/agent_harness.md
@@ -228,6 +228,41 @@ Implementasjoner for:
 - Ad-hoc cron-jobber for agentoppgaver
 - `synops-respond` (kan bli en modus i synops-agent)
 - Deler av orkestreringens executor
+- **LiteLLM** (AI Gateway Docker-container)
+
+### LiteLLM fases ut
+
+synops-agent snakker direkte med leverandør-APIer. Ingen
+mellomtjeneste nødvendig.
+
+```
+I dag:     maskinrommet → LiteLLM → OpenRouter → Anthropic/Google
+Med agent: synops-agent → Anthropic/Google (direkte)
+```
+
+Rig (Rust-lib) har allerede provider-adaptere for Anthropic,
+OpenAI-kompatible (Grok, OpenRouter, Ollama), og Gemini.
+Alle LLM-APIer er HTTP POST med JSON — ikke komplisert nok
+til å rettferdiggjøre en mellomtjeneste.
+
+Det LiteLLM gjør i dag som synops-agent overtar:
+
+| LiteLLM-funksjon | synops-agent |
+|-------------------|-------------|
+| Provider-abstraksjon | Rig traits (CompletionModel) |
+| Retry med fallback | Innebygd i Rust (konfigurerbar kjede) |
+| API-nøkkel-håndtering | Konfig/env, admin-UI via maskinrommet |
+| Modell-ruting per jobbtype | `ai_job_routing`-tabell (beholdes) |
+| Kostnadslogging | Innebygd token-regnskap |
+
+Resultat:
+- Én mindre Docker-container (Python-stack fjernes)
+- Lavere latens (ingen ekstra hop)
+- Enklere feilsøking (alt i Rust-kode vi eier)
+- Ruting-logikk i kode, ikke YAML-konfig
+
+LiteLLM kan leve videre som fallback i overgangsperioden.
+Fjernes helt når synops-agent dekker alle brukstilfeller.
 
 ## Faser