synops-agent erstatter LiteLLM: direkte provider-APIer via Rig
Ingen mellomtjeneste — synops-agent snakker direkte med Anthropic, Google, OpenRouter etc. via Rig sine provider-traits. Fjerner LiteLLM Docker-container (Python-stack). Lavere latens, enklere feilsøking, alt i Rust-kode vi eier. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
parent
90b0e4fdb0
commit
09d0477680
1 changed files with 35 additions and 0 deletions
|
|
@ -228,6 +228,41 @@ Implementasjoner for:
|
|||
- Ad-hoc cron-jobber for agentoppgaver
|
||||
- `synops-respond` (kan bli en modus i synops-agent)
|
||||
- Deler av orkestreringens executor
|
||||
- **LiteLLM** (AI Gateway Docker-container)
|
||||
|
||||
### LiteLLM fases ut
|
||||
|
||||
synops-agent snakker direkte med leverandør-APIer. Ingen
|
||||
mellomtjeneste nødvendig.
|
||||
|
||||
```
|
||||
I dag: maskinrommet → LiteLLM → OpenRouter → Anthropic/Google
|
||||
Med agent: synops-agent → Anthropic/Google (direkte)
|
||||
```
|
||||
|
||||
Rig (Rust-lib) har allerede provider-adaptere for Anthropic,
|
||||
OpenAI-kompatible (Grok, OpenRouter, Ollama), og Gemini.
|
||||
Alle LLM-APIer er HTTP POST med JSON — ikke komplisert nok
|
||||
til å rettferdiggjøre en mellomtjeneste.
|
||||
|
||||
Det LiteLLM gjør i dag som synops-agent overtar:
|
||||
|
||||
| LiteLLM-funksjon | synops-agent |
|
||||
|-------------------|-------------|
|
||||
| Provider-abstraksjon | Rig traits (CompletionModel) |
|
||||
| Retry med fallback | Innebygd i Rust (konfigurerbar kjede) |
|
||||
| API-nøkkel-håndtering | Konfig/env, admin-UI via maskinrommet |
|
||||
| Modell-ruting per jobbtype | `ai_job_routing`-tabell (beholdes) |
|
||||
| Kostnadslogging | Innebygd token-regnskap |
|
||||
|
||||
Resultat:
|
||||
- Én mindre Docker-container (Python-stack fjernes)
|
||||
- Lavere latens (ingen ekstra hop)
|
||||
- Enklere feilsøking (alt i Rust-kode vi eier)
|
||||
- Ruting-logikk i kode, ikke YAML-konfig
|
||||
|
||||
LiteLLM kan leve videre som fallback i overgangsperioden.
|
||||
Fjernes helt når synops-agent dekker alle brukstilfeller.
|
||||
|
||||
## Faser
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Reference in a new issue