Fraunhofer IAO | Forschungs- und Innovationszentrum Kognitive Dienstleistungssysteme
Fokussiertes Web-Crawling für KI-Trendscouting
Der wachsende Einsatz generativer KI in Unternehmen erhöht die Relevanz, Webdaten für spezifische Kundenanwendungen zu gewinnen und auszuwerten. Allerdings sind bisherige Methoden zur gezielten Datensammlung aus dem Web oft arbeitsintensiv und benötigen umfangreiche Nachbearbeitung, da sie auch unwichtige Informationen einbeziehen. Zudem stellt die Vielzahl an verschiedenen Datenformaten eine erhebliche Herausforderung dar.
Mit dem Demonstrator SPIDERWISE erweitern wir einen traditionellen Web-Crawler durch KI-Methoden, um die Relevanz von Themen besser einschätzen zu können. Thematisch verwandte Inhalte im Internet befinden sich oft in unmittelbarer Nähe zueinander, d.h. Webseiten verlinken andere Webseiten zum selben oder einem ähnlichen Thema.
Durch den Einsatz von KI wird es möglich, diese Themenlokalität auszunutzen und gezielt relevante Inhalte zu erfassen. Zudem kann die Software verschiedenste Datenquellen und -formate integrieren, um relevante Informationen effizient und zielgerichtet zu extrahieren. Hierbei setzt SPIDERWISE ausschließlich auf Open Source Technologien.
Vorteile und Nutzen
SPIDERWISE bietet nicht nur eine effektive Datensammlung, sondern auch die Möglichkeit, das Web kontinuierlich hinsichtlich spezifischer Themen zu beobachten sowie sich bezüglich Datenformaten oder Erfassungszielen anzupassen. Dadurch können aktuelle Trends und Entwicklungen frühzeitig erkannt werden, was für Unternehmen und Forschungseinrichtungen von großer Bedeutung ist.
Durch die gezielte Erfassung und Verarbeitung relevanter Inhalte können Ressourcen optimal genutzt werden, um fundierte Entscheidungen auf Basis aktueller Webdaten zu treffen.
Jetzt Kontakt aufnehmen
Haben Sie Interesse an der Technologie? Gerne können wir in einem unverbindlichen Gespräch klären, wie Sie davon profitieren können.