synops-agent erstatter LiteLLM: direkte provider-APIer via Rig

Ingen mellomtjeneste — synops-agent snakker direkte med Anthropic,
Google, OpenRouter etc. via Rig sine provider-traits. Fjerner
LiteLLM Docker-container (Python-stack). Lavere latens, enklere
feilsøking, alt i Rust-kode vi eier.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
vegard 2026-03-19 17:16:37 +00:00
parent 90b0e4fdb0
commit 09d0477680

View file

@ -228,6 +228,41 @@ Implementasjoner for:
- Ad-hoc cron-jobber for agentoppgaver
- `synops-respond` (kan bli en modus i synops-agent)
- Deler av orkestreringens executor
- **LiteLLM** (AI Gateway Docker-container)
### LiteLLM fases ut
synops-agent snakker direkte med leverandør-APIer. Ingen
mellomtjeneste nødvendig.
```
I dag: maskinrommet → LiteLLM → OpenRouter → Anthropic/Google
Med agent: synops-agent → Anthropic/Google (direkte)
```
Rig (Rust-lib) har allerede provider-adaptere for Anthropic,
OpenAI-kompatible (Grok, OpenRouter, Ollama), og Gemini.
Alle LLM-APIer er HTTP POST med JSON — ikke komplisert nok
til å rettferdiggjøre en mellomtjeneste.
Det LiteLLM gjør i dag som synops-agent overtar:
| LiteLLM-funksjon | synops-agent |
|-------------------|-------------|
| Provider-abstraksjon | Rig traits (CompletionModel) |
| Retry med fallback | Innebygd i Rust (konfigurerbar kjede) |
| API-nøkkel-håndtering | Konfig/env, admin-UI via maskinrommet |
| Modell-ruting per jobbtype | `ai_job_routing`-tabell (beholdes) |
| Kostnadslogging | Innebygd token-regnskap |
Resultat:
- Én mindre Docker-container (Python-stack fjernes)
- Lavere latens (ingen ekstra hop)
- Enklere feilsøking (alt i Rust-kode vi eier)
- Ruting-logikk i kode, ikke YAML-konfig
LiteLLM kan leve videre som fallback i overgangsperioden.
Fjernes helt når synops-agent dekker alle brukstilfeller.
## Faser