KlarvenaBot — Crawler von Klarvena

KlarvenaBot (bis Juli 2026 unter dem Namen „NolixBot" unterwegs) ist der Abruf-Dienst von Klarvena (nolyx UG (haftungsbeschränkt), Hamburg — siehe Impressum). Er ruft ausschließlich redaktionell benannte Quellen unserer Kunden bzw. unseres Betreibers ab (kein Web-weites Crawling, keine Suchindex-Erstellung) und dient der Erstellung persönlicher Nachrichten-Briefings.

User-Agent

KlarvenaBot/1.0 (+https://klarvena.de/bot; abuse@klarvena.de)

Was KlarvenaBot respektiert

• robots.txt (RFC 9309) — geprüft für KlarvenaBot UND User-agent: *; eine Sperre durch einen von beiden gilt. Ist die robots.txt nicht abrufbar (5xx/Netzfehler), wird nicht gecrawlt (fail-closed, RFC 9309 §2.3.1.4).
• Crawl-delay — wird eingehalten; extreme Werte führen dazu, dass die Seite gar nicht gecrawlt wird.
• TDM-/KI-Nutzungsvorbehalte (§ 44b UrhG / Art. 4 DSM-RL) — tdm-reservation-HTTP-Header, /.well-known/tdmrep.json, TDM-Hinweise in der robots.txt sowie das verbreitete Muster „benannte KI-Crawler gesperrt“ (z. B. GPTBot/ClaudeBot mit Disallow: /) behandeln wir als Opt-out und crawlen die Seite nicht. Auch nicht-maschinenlesbare Vorbehalte im Impressum werden respektiert, sobald sie uns bekannt sind.
• Kein KI-Training — Inhalte werden ausschließlich zur tagesaktuellen Zusammenfassung verarbeitet; Klarvena trainiert damit keine eigenen Modelle. Ein Volltext-Archiv von Webartikeln wird nicht aufgebaut (gespeichert werden unter anderem Metadaten und erzeugte Zusammenfassungen).
• Gesonderte Datumsabfrage: Bei dafür konfigurierten Quellen können wir aus öffentlich angebotenen RSS-/Atom-Feeds Veröffentlichungsdaten zu Suchtreffern lesen. Dabei können reine Sperrmuster für andere KI-Bots oder allgemeine robots-Kommentare anders behandelt werden als beim Artikelabruf. Eine Sperre für KlarvenaBot oder den Feed-Pfad sowie erkannte TDM-Header und pfadbezogene Vorbehalte werden weiter beachtet. Diese technische Unterscheidung ist keine Feststellung über die Rechte an einem Feed.

Steuern oder sperren

Per robots.txt: User-agent: KlarvenaBot + Disallow: / (wird beim nächsten Lauf automatisch honoriert). Oder direkt an abuse@klarvena.de — wir nehmen Ihre Quelle dann aus dem Abruf.

English summary: KlarvenaBot fetches only editorially configured sources for personal news briefings. It honors robots.txt (KlarvenaBot + *), crawl-delay, tdm-reservation headers, tdmrep.json and named-AI-bot opt-out patterns for article fetching. Separate configured date-only feed reads are described above. Unreachable robots.txt (network/5xx) = no crawl. No training of our own models, no fulltext archive. Opt-out: robots.txt or abuse@klarvena.de.