Maiskolben

Mitglied
Man muss sich in der heutigen Zeit schon genau überlegen, welche Inhalte man digital veröffentlicht und ob man das überhaupt tun möchte. Scraper-Bots haben das Web geflutet und sammeln fleißig Inhalte, um damit ihre sogenannte K.I. zu trainieren. Das bedeutet eigentlich nichts anderes, als dass sie das Urheberrecht umgehen und sich fremde Inhalte aneignen, die sie dann wiederum unter ihrem eigenen Urheberrecht veröffentlichen und kommerziell nutzen.

Sich dagegen zur Wehr zu setzen ist eine ehrenvolle Aufgabe, finde ich. Webseiten können viel dafür tun, scraper-Bots zu identifizieren und von ihren Inhalten auszuschließen. Aber das kann mitunter recht aufwändig sein und geht eventuell mit einem Verlust der Privatssphäre einher.

Eine Möglichkeit, diese Bots auszuschließen und die eigene Integrität zu wahren, bietet ein Tool namens IOCANE. Es läuft auf dem Server und bietet Scraper-Bots zwar die gleiche Webseite, aber mit total sinnlosen Inhalten an. So scrapen diese Bots dann fleißig und lernen dabei nur Schrott und Wortsalat.

Man benötigt dafür nicht viel, nur einen eigenen Server, auf dem man Scripte ausführen kann. Das Tool ist sehr gut dokumentiert und ich frage mich gerade, ob das nicht auch etwas für hoer-talk.de wäre? Ich würde es persönlich sehr begrüßen, wenn sich das hier umsetzen ließe. Normale menschliche UserInnen bekommend avon nichts mit und man tut insgesamt etwas sehr effektives gegen die digitale Entmündigung unser aller Onlineleben. :)

IOCANE:

Schüs!
 

Kukulkan

Volker Schmid
Portfolio
Link
Im Prinzip eine gute Sache, aber die Krux ist das zuverlässige erkennen von KI-Bots. Die kommen nicht mit einem User-Agent der sagt "Ich bin eine KI". Die Zugriffe sehen verdammt realistisch aus und lassen sich nur schwer von einem echten Zugriff per Handy oder PC unterscheiden. Das ist ja der Grund, warum das nicht schon längst alle mal eben so verbieten oder unterbinden. Die Unterscheidung wird darum bereits an kleinsten Dingen festgemacht. Diese Unsicherheit erkennt das IOCANE-Projekt auch, und überlässt die finale Entscheidung dann doch lieber dem Administrator und dessen Scripting-Fähigkeiten. Da immer die Gefahr besteht, dass normale Nutzer dann den Gibberisch zu sehen bekommen, muß man sich das als Admin schon sehr genau anschauen und auch ständig überwachen und gegebenenfalls anpassen. Das will nicht jeder riskieren und investieren...
 

Telliminator

Sample-Collector
Sprechprobe
Link
Sprecht doch das Thema mal mit Server-Eigner und Mastermind @Dennis Künstner - vom Hörtalk hinsichtlich dem Einsatz von Schutzmaßnahmen an. Ich glaube, er hat da schon längst was gebaut und gemacht, noch bevor wir davon Wind bekommen haben könnten.
 

Maiskolben

Mitglied
Wie ichs liebe:

Hier beschäftigt sich eine Webseite damit, wie man Techniken KIScraper zu blocken umgehen kann. :) Ziemlich perfide Technologie, die sich über den expliziten Wunsch von DateninhaberInnen hinwegsetzt.

httpx://aimultiple.com/de/web-scraping-challenges

(Link unscharf, einfach das x durch ein s ersetzen und in die Adresslesite kopieren.)
 

Kukulkan

Volker Schmid
Portfolio
Link
Ja, wie Hase und Igel 🤣 Das ist das Problem. Darum meinte ich, es ist schwer das zu erkennen 😞 Hätte ich sonst längst gemacht für meine Seiten...
 
Oben