SPIDERWISE

[English version below]

KODIS betreibt einen verteilten fokussierten Web-Crawler zur Analyse des öffentlichen Webs. Ziel des Crawlers ist die Entwicklung und Erprobung experimenteller Verfahren zur Analyse von Trends in spezifischen Dienstleistungsbereichen.

Hinweise zur Erfassung

Der von uns betriebene Web-Crawler respektiert den robots.txt-Standard und erfasst Ihre Website nur, wenn dies in der von Ihnen bereitgestellten robots.txt-Datei explizit erlaubt ist.

Zudem wartet unser Web-Crawler zwischen Anfragen (an denselben Host) mindestens 800ms.

Weitere Informationen zu diesem Standard finden Sie unter www.robotstxt.org.

Besuch verhindern

Wenn Sie nicht möchten, dass unser Web-Crawler Ihre Webseiten besucht und diese in seinen Index einbringt, können Sie unseren Web-Crawler selbstverständlich über eine robots.txt ausschließen.

User-Agent

Der User-Agent unseres Web-Crawlers lautet:

SPIDERWISE_CRAWLER

IP-Adresse

Sie können auch die IP-Adressen unseres Web-Crawlers mittels Ihrer Firewall blockieren. Die nachfolgende Auflistung zeigt alle IP-Adressen / DNS-Einträge, die von uns eingesetzt werden:

157.97.106.218

Wenn Sie Ihren Host oder Ihr Subnetz von zukünftigen Crawler-Besuchen ausschließen möchten, kontaktieren Sie uns bitte unter kodis[at]iao.fraunhofer.de mit Ihrer IP-Adresse oder Ihrem CIDR-Block.

Wir werden dann unseren Web-Crawler entsprechend umkonfigurieren, so dass Sie in Zukunft keine Besuche mehr von unserem Web-Crawler erhalten.

KODIS operates a distributed focused web crawler to analyse the public web. The aim of the crawler is to develop and test experimental methods for analysing trends in specific service areas.

Notes on data collection

The web crawler operated by us respects the robots.txt standard and only records your website if this is explicitly permitted in the robots.txt file provided by you. 

In addition, our web crawler waits at least 800ms between requests (to the same host). 

You can find more information about this standard at www.robotstxt.org.

Prevent visit

If you do not want our web crawler to visit your web pages and add them to its index, you can of course exclude our web crawler via a robots.txt file. 

User agent

The user agent of our web crawler is:

SPIDERWISE_CRAWLER

IP address

You can also block the IP addresses of our web crawler using your firewall. The following list shows all IP addresses / DNS entries used by us:

157.97.106.218

If you would like to exclude your host or subnet from future crawler visits, please contact us at kodis[at]iao.fraunhofer.de with your IP address or CIDR block. 

We will then reconfigure our web crawler accordingly so that you no longer receive visits from our web crawler in future.