vegard/synops
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
synops/docs/proposals/kildevern_modus.md
vegard 0a467066ba Synops v2: arkitektur, retninger og dokumentasjon 
Nystart basert på arkitektonisk innsikt fra Sidelinja v1.
Koden er ny, visjon og primitiver er validert gjennom tidligere arbeid.

Inneholder:
- Komplett arkitekturdokumentasjon (docs/arkitektur.md)
- 6 vedtatte retninger (docs/retninger/)
- Alle concepts, features, proposals og erfaringer fra v1
- Server-oppsett og drift (docs/setup/)
- LiteLLM-konfigurasjon (API-nøkler via env)
- Editor.svelte referanse fra v1

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-03-17 06:43:08 +01:00

2 KiB
Raw Blame History

Forslag: Kildevern-modus (100% lokal LLM)

Idé

Når Møterommet eller en channel brukes til sensitive, upubliserte redaksjonelle diskusjoner, bryter det med kildevernet å sende transkripsjoner til Claude/Gemini — selv via LiteLLM. En toggle for "kildevern-modus" ruter all AI-prosessering til en lokal modell. Data forlater aldri serveren.

Hvorfor er dette interessant?

  • Presseetikk og kildevern er ikke-forhandlbart for seriøse redaksjoner
  • Kan være et differensierende salgspunkt for plattformen
  • LiteLLM støtter allerede Ollama/vLLM som leverandør — arkitekturen er klar

Hva bygger den på?

  • AI Gateway — Ollama/vLLM som ny leverandør i config.yaml
  • Møterommet — kildevern-toggle på channel/rom-nivå
  • Jobbkø — ruting basert på kildevern-flagg

Gjennomføring

  1. Sett opp Ollama eller vLLM som egen Docker-container med en lett, lokal modell (f.eks. Llama-3-8B eller Gemma-2-9B)
  2. Registrer som sidelinja/lokal i LiteLLM config
  3. Channels/møter får en toggle: kildevern: true (lagres i channel-config eller workspaces.settings)
  4. Når flagget er satt, ruter AI Gateway til sidelinja/lokal i stedet for eksterne modeller
  5. UI viser tydelig "Kildevern aktiv — all AI-prosessering skjer lokalt" med visuell indikator

Ressurskrav

  • Lokal 8B-modell krever ~6 GB VRAM (GPU) eller ~8 GB RAM (CPU, saktere)
  • På nåværende server (16 GB RAM) er dette mulig men trangt — compute-separasjon (se docs/infra/jobbkø.md §4.4) gjør det mer komfortabelt
  • Kvaliteten på norsk tekst med 8B-modeller er merkbart lavere enn Claude/Gemini — akseptabelt for oppsummering, ikke for kompleks analyse

Åpne spørsmål

  • Hvor granulært skal kildevern-toggle være? Per channel, per melding, per workspace?
  • Trenger vi et visuelt "sikkerhetsnivå" (grønt/rødt skjold) i UI?
  • Bør kildevern-modus også blokkere ekstern embedding-generering (pgvector)?

Innsats: Lav–Middels

Wow-faktor: Høy