Datenpipelines
Georgi Miloradowitsch
Forscher, Texter und Usecase-Interviewer
23. Dezember 2024
.png)
.svg){kind=icon}
Die schiere Menge an Informationen im Internet zieht viele Menschen ins Internet. Sie suchen nach schnellen und einfachen Methoden, um auf diese Inhalte zuzugreifen. Wenn Sie schon einmal versucht haben, Preisänderungen zu verfolgen, Produktlisten zusammenzustellen oder Informationen über Wettbewerber oder potenzielle Kunden zu sammeln, wissen Sie, dass das manuelle Kopieren und Einfügen eine überwältigende Aufgabe ist. Es ist ein bekanntes Problem: Die benötigten Informationen sind vorhanden, aber ihre Beschaffung ist zeitaufwändig und mühsam.
Dieser Leitfaden stellt Web Scraping als Technik vor, die das Sammeln von Online-Daten ermöglicht. Früher war dafür ein engagiertes Team erforderlich. Jetzt können Sie einen benutzerfreundlichen Ansatz erkunden, indem Sie ein kostenlose Vorlage mit Headless Browser und ChatGPT. Betrachten Sie dieses Szenario als Ausgangspunkt, nach dem Sie die meisten dieser Aufgaben automatisieren können. Auf diese Weise kann jeder das riesige Web in eine strukturierte und leicht verfügbare Ressource umwandeln.
Scraping ist eine Methode zum automatischen Abrufen von Informationen aus verschiedenen Online-Quellen, wobei der Schwerpunkt hier auf Websites liegt. Es funktioniert wie eine erweiterte Form des Kopierens und Einfügens, ist jedoch viel schneller und präziser. Anstatt einfach den angezeigten Text von einer Seite zu übernehmen, verwenden Scraper den Quellcode der Site. Auf diese Weise können Sie auf die tatsächlichen Materialien zugreifen und problemlos bestimmte Details abrufen.
Darüber hinaus ist Web Scraping Software darauf ausgelegt, die Komplexität moderner Websites zu bewältigen, wie z. B. die Navigation durch verschiedene Seiten, die Handhabung interaktiver Elemente, Popups und dynamischer Inhalte. Dies ist ein deutlicher Fortschritt gegenüber der manuellen Datenerfassung, bei der jede Seite einzeln besucht werden müsste, um die gewünschten Informationen zu erhalten und zu organisieren.
Scraper erleichtern die Arbeit bei komplexen Prozessen und sparen Zeit und Aufwand, indem sie Inhalte von mehreren Seiten sammeln, als wären sie zentralisiert. Aus diesem Grund ist Web Scraping in Bereichen wie Marktforschung, Finanzanalyse, E-Commerce und im Grunde in allen Bereichen unverzichtbar geworden, in denen Echtzeit-Updates erforderlich sind, um wettbewerbsfähig zu bleiben.
Schließlich ist das Internet wie eine riesige Bibliothek, in der die Bücher nicht ordentlich in Regalen stehen, sondern auf dem Boden verstreut herumliegen. Web Scraping bietet eine Möglichkeit, Ordnung in dieses Chaos zu bringen, indem diese Rohinformationen erfasst und in ein strukturiertes und nutzbares Format gebracht werden, wodurch Zugriff auf Dinge möglich wird, die zuvor unzugänglich waren.
Diese Technik bietet zahlreiche Anwendungsmöglichkeiten für den privaten und beruflichen Gebrauch. Im Wesentlichen wandeln Sie einen unorganisierten Haufen Online-Daten in eine unkomplizierte Pipeline um.
Scraping spart nicht nur Zeit, sondern ermöglicht auch den Zugriff auf Material, das sonst nicht verfügbar wäre. Diese Technik verwandelt dieses überwältigende Meer an Wissen in strukturiertes Wissen, und sein Potenzial wird nur durch Ihre Vorstellungskraft begrenzt.
Obwohl die Mechanismen komplex erscheinen, ist der Prozess selbst unkompliziert. Web Scraping umfasst einige grundlegende Phasen zum Abrufen des Inhalts.
In dieser ersten Phase „fragt“ unser Tool eine Website nach ihrem strukturellen „Bauplan“, der mithilfe von HTML (HyperText Markup Language) erstellt wird. Betrachten Sie HTML als das Gerüst, das das Erscheinungsbild einer Website prägt. Es bestimmt, wo sich Text, Bilder und andere Elemente befinden. Wenn Sie auf eine Website zugreifen, übersetzt Ihr Browser diese HTML-Struktur in die visuelle Seite, die Sie sehen.
Im Gegensatz dazu verfolgen Scraping-Bots einen anderen Ansatz und laden die Daten zur direkten Analyse herunter, wobei die visuelle Ebene umgangen wird. Dieser Abrufvorgang nutzt HTTP-Anfragen, über die Browser und Server kommunizieren. Stellen Sie es sich so vor, als würden die notwendigen Bausteine für die bevorstehende Konstruktion beschafft.
Sobald die HTML-Blaupause abgerufen wurde, besteht der nächste Schritt darin, das Tool anzuweisen, bestimmte Informationen zu finden, die Sie extrahieren möchten. Anstatt alle Daten der Seite zu verarbeiten, verwendet das Tool „Anweisungen“, die normalerweise mithilfe von CSS-Selektoren definiert werden, um Elemente wie Produktpreise, Beschreibungen oder andere Informationen anzusprechen. Diese Selektoren fungieren als Adressen innerhalb der Karte der Website und zeigen genau an, wo sich der benötigte Inhalt befindet.
Dieser Vorgang ähnelt dem Verwenden einer Karte, um ein bestimmtes Gebäude in einer Stadt zu lokalisieren. Er erfordert das Identifizieren bestimmter Muster und Tags, in denen die benötigten Informationen gespeichert sind. Das Tool befolgt diese Anweisungen, um nur den relevanten Kontext abzurufen und irrelevante Komponenten der Seite herauszufiltern.
Nach dem Scraping von Webressourcen wandelt das Tool Rohmaterial in strukturierte Informationen um und bietet Ausgaben in verschiedenen Formaten: Text (.txt), tabellenfreundliches CSV (.csv) oder JSON (JavaScript Object Notation) für komplexere Operationen. Die Auswahl hängt von den Bedürfnissen des Benutzers ab, sodass diese Dinge für die Analyse und Berichterstattung geeignet sind.
Diese Aktionen ermöglichen die Umsetzung einer großen Bandbreite an Anwendungsfällen. Hier erfahren Sie, wie Sie diese Schritte nutzen können, indem Sie ein Web-Scraping-Szenario implementieren, um mithilfe sofort einsatzbereiter Lösungen den Website-Kontext zu erhalten.
Lassen Sie uns einen einfachen Scraper erstellen. Sobald er konfiguriert ist, können Sie ihn in der aktuellen Form ausprobieren oder ihn bei Bedarf als integralen Bestandteil in andere Szenarien integrieren. Dies Vorlage zeigt, wie man recht komplexe Aufgaben ohne Codierung erledigen kann. Es zeigt, dass jeder mithilfe leicht verfügbarer Optionen unterschiedliche Daten von Websites abrufen kann.
Zu Beginn konzentrieren wir uns auf die von Ihnen ausgewählte Website. Sie werden selbst sehen, wie einfach es ist: Sie müssen nur die Adresse angeben und die Knoten erledigen den Rest für Sie. Sie müssen sich nicht darum kümmern, was im Hintergrund passiert, da das Szenario auf Latenode dies für Sie erledigt. So können Sie mühelos in die Welt der Daten eintauchen.
Hinweis: Das "Auslöser „Einmal ausführen“ dient hier zu Testzwecken, kann aber problemlos durch einen Trigger für eine neue Datenbanktabellenzeile oder alles andere, was Sie benötigen, ersetzt werden.
Die Reise beginnt mit der Angabe der Website, von der Sie extrahieren möchten. Sie benötigen eine Variablen festlegen Option, mit der Sie die URL für Ihren Scraping-Bot definieren können. Kopieren Sie die Adresse und fügen Sie sie in ein Textfeld ein, wie Sie es bei einem normalen Besuch tun würden. Diese einzelne Aktion teilt den Knoten mit, wohin sie navigieren sollen.
Als nächstes kommt der faszinierende Teil, wo wir eine Headless-Browser-Knoten um die Website zu erkunden. Dieser Knoten basiert auf einer der Javascript-Bibliotheken namens Puppeteer, die speziell für das Scraping entwickelt wurde. Es ist wie ein Ghost-Agent, der im Hintergrund Details findet und sammelt, während Sie sich darauf konzentrieren, was Sie mit den Ergebnissen tun möchten. Erfahren Sie mehr über dieses Tool HIER, denn es ist Ihr Schlüssel zum Entsperren des automatisierten Webscrapping.
Innerhalb des Knotens fügen Sie den folgenden Code ein, der von unserem KI-Assistent basierend auf ChatGPT, das wie eine Reihe präziser Anweisungen wirkt. Sie müssen nicht alles verstehen, kopieren Sie es einfach und fügen Sie es in das erforderliche Feld ein:
// Insert the link
const url = data["{{4.site_url}}"];
console.log('Navigating to:', url); // Logging the URL
// Navigating to the specified URL
await page.goto(url, { waitUntil: 'networkidle2' });
// Extracting all visible text from the page
const markdown = await page.evaluate(() => {
// Function to filter only visible elements
function getVisibleTextFromElement(el) {
const style = window.getComputedStyle(el);
// Checking for element visibility and presence of text
if (style && style.display !== 'none' && style.visibility !== 'hidden' && el.innerText) {
return el.innerText.trim();
}
return '';
}
// Extracting text from all visible elements
const allTextElements = document.body.querySelectorAll('*');
let textContent = '';
allTextElements.forEach(el => {
const text = getVisibleTextFromElement(el);
if (text) {
textContent += `${text}\n\n`;
}
});
return textContent.trim();
});
// Returning the result
return {
markdown
};Dieser JavaScript-Code ist wie eine Engine für den Headless Browser und weist ihn an, die URL aufzurufen, den gesamten sichtbaren Text von der Site abzurufen und ihn in Markdown zu formatieren.
Nach Abschluss der Recherche wird schnell klar, dass es sich bei vielen Texten um Rohtext handelt, der schwer zu interpretieren ist. Dies ist, wo die ChatGPT-Integration kommt herein. Indem Sie die extrahierten Daten in ChatGPT kopieren, können Sie das Tool anweisen, sie zu organisieren und nach Ihren Bedürfnissen zu strukturieren.
Das ist, als ob Sie einen persönlichen Organizer engagieren, der Ihnen hilft, das Rohmaterial zu strukturieren und in etwas Nützliches und Praktisches zu verwandeln. Bitten Sie ChatGPT, bestimmte Abschnitte abzurufen, irrelevante Details zu entfernen und einen sauberen, zugänglichen Datensatz zu erstellen, mit dem Sie arbeiten können.
Schließlich ist die Ausgabe von ChatGPT nun bereit, durch einen benutzerdefinierten JavaScript-Knoten. Die Ausgabe ist eine JSON-Datei (JavaScript Object Notation), die sich ideal für komplexe Verarbeitungs- und Analyseaufgaben eignet. Um ein Skript hierfür zu schreiben, weisen Sie unseren JavaScript-KI-Assistenten einfach an, „JSON aus der Antwort von ChatGPT zu extrahieren“ – er bewältigt diese Aufgabe mit Leichtigkeit!
Die Ausgabe ist ein vorgefertigtes JSON mit allen angeforderten Informationen:
Beeindruckend, nicht wahr?
Es gibt mehrere Möglichkeiten, dieses Szenario umzusetzen:
Dieser Entwurf ist zwar einfach, demonstriert aber die Leistungsfähigkeit des Web Scraping. Er zeigt, dass Sie kein Programmieren lernen müssen, um Informationen zu erhalten. Dieser Ansatz macht es für diejenigen zugänglicher, die die Kontrolle über die Erkenntnisse haben möchten, die sie benötigen.
Denken Sie daran, dass mit der Möglichkeit zur Automatisierung auch die Verantwortung einhergeht, diese Funktion mit Bedacht einzusetzen. Behandeln Sie Websites als wertvolle Ressourcen, die geschützt werden müssen, und vermeiden Sie alle Aktionen, die sich negativ auf ihre Zugänglichkeit oder Funktionalität auswirken würden. Ethisches Web Scraping wahrt die Integrität, die langfristige Rentabilität und verantwortungsvolle Sammlungspraktiken.
Es geht darum, ein Gleichgewicht zu finden zwischen der Nutzung der Möglichkeiten des Scrapings und der Einhaltung der etablierten Regeln und Vorschriften jedes Online-Bereichs.
Aufmerksam sein:
Viele Plattformen verfügen über Systeme, die IP-Adressen aktiv überwachen und blockieren, wenn ungewöhnliche Aktivitäten erkannt werden. Dadurch wird es schwieriger, die benötigten Informationen zu sammeln. Beim verantwortungsvollen Scraping geht es nicht nur darum, Richtlinien zu befolgen, sondern vielmehr darum, sicherzustellen, dass Sie diese wertvollen Techniken weiterhin nutzen können.
Was ist also ein Web Scraper? Sie haben jetzt die grundlegenden Konzepte dieses Themas verstanden und eine einfache Vorlage zum Extrahieren der Informationen ohne Codierung erhalten. Wir hoffen, dass dieser Leitfaden Sie darauf vorbereitet hat, Interneteinblicke kreativ zu nutzen. Erkunden Sie weiter und genießen Sie die Reise; dies ist erst der Anfang!
Anwendung eins + Anwendung zwei
