synops/tools/synops-clip/.gitignore at ab30ab8c6532294373cec0cbdb2c024d14fb080b - vegard/synops - Sidelinja git: Gjørra sjæl!

vegard/synops

vegard 5dead5dac9 synops-clip: CLI for web article extraction (oppgave 25.1)

Nytt verktøy som henter og parser webartikler til ren tekst + metadata.
Bruker Mozilla Readability (via Node.js) for artikkelekstraksjon, med
Playwright som fallback for JS-rendrede sider.

Arkitektur:
- Rust CLI (clap, reqwest) håndterer HTTP-henting, paywall-deteksjon, JSON-output
- Node.js-hjelpeskript (readability.mjs) bruker @mozilla/readability + jsdom
- Playwright-script (playwright.mjs) for headless browser-fallback
- Støtter --payload-json for maskinrommet/jobbkø-integrasjon

Paywall-deteksjon basert på:
- Kort innhold (<200 tegn)
- Norske/engelske paywall-fraser i innholdet
- CSS-klasser/HTML-attributter (piano, schibsted, amedia, etc.)
- Schema.org isAccessibleForFree meta-tagg

Output: JSON med title, author, date, content, url, paywall, excerpt, source

2026-03-18 18:24:22 +00:00

2 lines

30 B

Text

Raw Blame History

	`target/`
	`scripts/node_modules/`