vegard
0a467066ba
Nystart basert på arkitektonisk innsikt fra Sidelinja v1. Koden er ny, visjon og primitiver er validert gjennom tidligere arbeid. Inneholder: - Komplett arkitekturdokumentasjon (docs/arkitektur.md) - 6 vedtatte retninger (docs/retninger/) - Alle concepts, features, proposals og erfaringer fra v1 - Server-oppsett og drift (docs/setup/) - LiteLLM-konfigurasjon (API-nøkler via env) - Editor.svelte referanse fra v1 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
34 lines
2 KiB
Markdown
34 lines
2 KiB
Markdown
# Forslag: Kildevern-modus (100% lokal LLM)
|
||
|
||
## Idé
|
||
Når Møterommet eller en channel brukes til sensitive, upubliserte redaksjonelle diskusjoner, bryter det med kildevernet å sende transkripsjoner til Claude/Gemini — selv via LiteLLM. En toggle for "kildevern-modus" ruter all AI-prosessering til en lokal modell. Data forlater aldri serveren.
|
||
|
||
## Hvorfor er dette interessant?
|
||
- Presseetikk og kildevern er ikke-forhandlbart for seriøse redaksjoner
|
||
- Kan være et differensierende salgspunkt for plattformen
|
||
- LiteLLM støtter allerede Ollama/vLLM som leverandør — arkitekturen er klar
|
||
|
||
## Hva bygger den på?
|
||
- **AI Gateway** — Ollama/vLLM som ny leverandør i `config.yaml`
|
||
- **Møterommet** — kildevern-toggle på channel/rom-nivå
|
||
- **Jobbkø** — ruting basert på `kildevern`-flagg
|
||
|
||
## Gjennomføring
|
||
1. Sett opp Ollama eller vLLM som egen Docker-container med en lett, lokal modell (f.eks. Llama-3-8B eller Gemma-2-9B)
|
||
2. Registrer som `sidelinja/lokal` i LiteLLM config
|
||
3. Channels/møter får en toggle: `kildevern: true` (lagres i channel-config eller `workspaces.settings`)
|
||
4. Når flagget er satt, ruter AI Gateway til `sidelinja/lokal` i stedet for eksterne modeller
|
||
5. UI viser tydelig "Kildevern aktiv — all AI-prosessering skjer lokalt" med visuell indikator
|
||
|
||
## Ressurskrav
|
||
- Lokal 8B-modell krever ~6 GB VRAM (GPU) eller ~8 GB RAM (CPU, saktere)
|
||
- På nåværende server (16 GB RAM) er dette mulig men trangt — compute-separasjon (se `docs/infra/jobbkø.md` §4.4) gjør det mer komfortabelt
|
||
- Kvaliteten på norsk tekst med 8B-modeller er merkbart lavere enn Claude/Gemini — akseptabelt for oppsummering, ikke for kompleks analyse
|
||
|
||
## Åpne spørsmål
|
||
- Hvor granulært skal kildevern-toggle være? Per channel, per melding, per workspace?
|
||
- Trenger vi et visuelt "sikkerhetsnivå" (grønt/rødt skjold) i UI?
|
||
- Bør kildevern-modus også blokkere ekstern embedding-generering (pgvector)?
|
||
|
||
## Innsats: Lav–Middels
|
||
## Wow-faktor: Høy
|