synops/tools/synops-clip/scripts/package.json at 57a38743103129f12ffdfe00fcaecd609ed21662 - vegard/synops - Sidelinja git: Gjørra sjæl!

vegard/synops

vegard 5dead5dac9 synops-clip: CLI for web article extraction (oppgave 25.1)

Nytt verktøy som henter og parser webartikler til ren tekst + metadata.
Bruker Mozilla Readability (via Node.js) for artikkelekstraksjon, med
Playwright som fallback for JS-rendrede sider.

Arkitektur:
- Rust CLI (clap, reqwest) håndterer HTTP-henting, paywall-deteksjon, JSON-output
- Node.js-hjelpeskript (readability.mjs) bruker @mozilla/readability + jsdom
- Playwright-script (playwright.mjs) for headless browser-fallback
- Støtter --payload-json for maskinrommet/jobbkø-integrasjon

Paywall-deteksjon basert på:
- Kort innhold (<200 tegn)
- Norske/engelske paywall-fraser i innholdet
- CSS-klasser/HTML-attributter (piano, schibsted, amedia, etc.)
- Schema.org isAccessibleForFree meta-tagg

Output: JSON med title, author, date, content, url, paywall, excerpt, source

2026-03-18 18:24:22 +00:00

11 lines

212 B

JSON

Raw Blame History

 {
   "name": "synops-clip-scripts",
   "version": "0.1.0",
   "private": true,
   "type": "module",
   "dependencies": {
     "@mozilla/readability": "^0.5.0",
     "jsdom": "^25.0.0",
     "playwright": "^1.58.2"
   }
 }