synops-agent erstatter LiteLLM: direkte provider-APIer via Rig
Ingen mellomtjeneste — synops-agent snakker direkte med Anthropic, Google, OpenRouter etc. via Rig sine provider-traits. Fjerner LiteLLM Docker-container (Python-stack). Lavere latens, enklere feilsøking, alt i Rust-kode vi eier. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
parent
90b0e4fdb0
commit
09d0477680
1 changed files with 35 additions and 0 deletions
|
|
@ -228,6 +228,41 @@ Implementasjoner for:
|
||||||
- Ad-hoc cron-jobber for agentoppgaver
|
- Ad-hoc cron-jobber for agentoppgaver
|
||||||
- `synops-respond` (kan bli en modus i synops-agent)
|
- `synops-respond` (kan bli en modus i synops-agent)
|
||||||
- Deler av orkestreringens executor
|
- Deler av orkestreringens executor
|
||||||
|
- **LiteLLM** (AI Gateway Docker-container)
|
||||||
|
|
||||||
|
### LiteLLM fases ut
|
||||||
|
|
||||||
|
synops-agent snakker direkte med leverandør-APIer. Ingen
|
||||||
|
mellomtjeneste nødvendig.
|
||||||
|
|
||||||
|
```
|
||||||
|
I dag: maskinrommet → LiteLLM → OpenRouter → Anthropic/Google
|
||||||
|
Med agent: synops-agent → Anthropic/Google (direkte)
|
||||||
|
```
|
||||||
|
|
||||||
|
Rig (Rust-lib) har allerede provider-adaptere for Anthropic,
|
||||||
|
OpenAI-kompatible (Grok, OpenRouter, Ollama), og Gemini.
|
||||||
|
Alle LLM-APIer er HTTP POST med JSON — ikke komplisert nok
|
||||||
|
til å rettferdiggjøre en mellomtjeneste.
|
||||||
|
|
||||||
|
Det LiteLLM gjør i dag som synops-agent overtar:
|
||||||
|
|
||||||
|
| LiteLLM-funksjon | synops-agent |
|
||||||
|
|-------------------|-------------|
|
||||||
|
| Provider-abstraksjon | Rig traits (CompletionModel) |
|
||||||
|
| Retry med fallback | Innebygd i Rust (konfigurerbar kjede) |
|
||||||
|
| API-nøkkel-håndtering | Konfig/env, admin-UI via maskinrommet |
|
||||||
|
| Modell-ruting per jobbtype | `ai_job_routing`-tabell (beholdes) |
|
||||||
|
| Kostnadslogging | Innebygd token-regnskap |
|
||||||
|
|
||||||
|
Resultat:
|
||||||
|
- Én mindre Docker-container (Python-stack fjernes)
|
||||||
|
- Lavere latens (ingen ekstra hop)
|
||||||
|
- Enklere feilsøking (alt i Rust-kode vi eier)
|
||||||
|
- Ruting-logikk i kode, ikke YAML-konfig
|
||||||
|
|
||||||
|
LiteLLM kan leve videre som fallback i overgangsperioden.
|
||||||
|
Fjernes helt når synops-agent dekker alle brukstilfeller.
|
||||||
|
|
||||||
## Faser
|
## Faser
|
||||||
|
|
||||||
|
|
|
||||||
Loading…
Add table
Reference in a new issue