Canalisations de données
Georges Miloradovitch
Chercheur, rédacteur et intervieweur de cas d'utilisation
23 décembre 2024
.png)
.svg){kind=icon}
Le volume considérable d'informations disponibles en ligne attire de nombreuses personnes vers Internet. Elles recherchent des méthodes rapides et faciles pour accéder à ce contenu. Si vous avez déjà essayé de suivre l'évolution des prix, de compiler des listes de produits ou de recueillir des informations sur vos concurrents ou vos clients potentiels, vous savez que la tâche consistant à copier-coller manuellement est écrasante. C'est une lutte bien connue : les informations nécessaires existent, mais leur acquisition prend du temps et est laborieuse.
Ce guide présente le scraping Web comme une technique permettant de collecter des données en ligne. Historiquement, cela nécessitait une équipe dédiée. Vous pouvez désormais découvrir une approche conviviale à l'aide d'un modèle gratuit avec navigateur sans tête et ChatGPT. Considérez ce scénario comme un point de départ à partir duquel vous pourrez automatiser la plupart de ces tâches. Cela permet à n’importe qui de convertir le vaste Web en une ressource structurée et facilement disponible.
Le scraping est une méthode de récupération automatique d'informations à partir de diverses sources en ligne, en particulier sur les sites Web. Il fonctionne comme une forme améliorée de copier-coller, mais est beaucoup plus rapide et plus précis. Au lieu de simplement prendre le texte affiché sur une page, les scrapers utilisent le code source du site. Cela vous permet d'accéder aux véritables documents, ce qui permet d'obtenir facilement des détails spécifiques.
De plus, les logiciels de scraping Web sont conçus pour gérer les complexités des sites modernes, comme la navigation sur différentes pages, la gestion des éléments interactifs, des fenêtres contextuelles et du contenu dynamique. Il s'agit d'un progrès notable par rapport à la collecte manuelle, où chaque page devait être visitée individuellement afin de recevoir et d'organiser les informations souhaitées.
Les scrapers allègent le fardeau des processus complexes, en économisant du temps et des efforts en collectant le contenu de plusieurs pages comme s'il était centralisé. C'est ce qui a rendu le scraping Web essentiel dans des domaines tels que les études de marché, l'analyse financière, le commerce électronique et, fondamentalement, tous les domaines nécessitant des mises à jour en temps réel pour rester compétitifs.
Après tout, Internet ressemble à une bibliothèque tentaculaire dont les livres sont éparpillés sur le sol, plutôt que soigneusement rangés sur des étagères. Le Web scraping permet de mettre de l’ordre dans ce chaos en acquérant ces informations brutes et en les formatant dans un format structuré et utilisable, donnant ainsi accès à ce qui était auparavant inaccessible.
Cette technique peut être utilisée à de nombreuses fins personnelles et professionnelles. Elle consiste essentiellement à transformer une pile désorganisée de données en ligne en un pipeline simple.
En plus de vous faire gagner du temps, le scraping vous permet d'accéder à des informations qui ne sont pas disponibles autrement. Cette technique transforme cette mer de connaissances écrasante en connaissances structurées, et son potentiel n'est limité que par votre imagination.
Même si les mécanismes peuvent paraître complexes, le processus lui-même est simple. Le scraping Web comporte quelques phases de base pour récupérer le contenu.
Cette première étape consiste à demander à notre outil de « demander » à un site Web son « plan directeur » structurel, qui est créé à l'aide du langage HTML (HyperText Markup Language). Considérez le langage HTML comme le cadre qui façonne l'apparence d'un site Web ; c'est lui qui dicte l'emplacement du texte, des images et des autres éléments. Lorsque vous accédez à un site Web, votre navigateur traduit cette structure HTML dans la page visuelle que vous voyez.
En revanche, les robots de scraping adoptent une approche différente et téléchargent les données pour une analyse directe, en contournant la couche visuelle. Ce processus de récupération utilise des requêtes HTTP, qui permettent aux navigateurs et aux serveurs de communiquer. Considérez-le comme l'acquisition des éléments de base nécessaires à la construction à venir.
Une fois le « plan directeur » HTML récupéré, l'étape suivante consiste à demander à l'outil de localiser les éléments d'information spécifiques que vous souhaitez extraire. Au lieu de traiter toutes les données de la page, l'outil utilise des « instructions », généralement définies à l'aide de sélecteurs CSS, pour cibler des éléments tels que les prix des produits, les descriptions ou d'autres informations. Ces sélecteurs agissent comme des adresses dans la carte du site Web, indiquant exactement où se trouve le contenu nécessaire.
Ce processus s'apparente à l'utilisation d'une carte pour localiser un bâtiment spécifique dans une ville et nécessite l'identification de modèles et de balises spécifiques, où les informations nécessaires sont stockées. L'outil suit ces instructions pour extraire uniquement le contexte pertinent, en filtrant les composants non pertinents de la page.
Après avoir extrait les ressources Web, l'outil convertit la matière première en informations structurées, offrant un résultat dans différents formats : texte (.txt), CSV compatible avec les feuilles de calcul (.csv), ou JSON (JavaScript Object Notation) pour des opérations plus complexes. Le choix dépend des besoins de l'utilisateur, ce qui rend ces éléments éligibles à l'analyse et à la création de rapports.
Ces actions permettent de donner vie à une vaste gamme de cas d’utilisation ; voici une manière d’utiliser ces étapes en mettant en œuvre un scénario de web scraping, pour obtenir le contexte du site Web en utilisant des solutions prêtes à l’emploi.
Construisons un scraper de base. Une fois configuré, vous pouvez l'essayer sous sa forme actuelle ou l'ajouter en tant que partie intégrante d'autres scénarios si nécessaire. modèle montre comment réaliser des tâches assez complexes sans codage. Il montre que n'importe qui peut obtenir différentes données à partir de sites Web en utilisant des options facilement disponibles.
Pour commencer, nous allons nous concentrer sur le site Web spécifique que vous choisissez. Vous verrez de vos propres yeux à quel point c'est simple : il vous suffit de fournir l'adresse et les nœuds feront tout le reste pour vous. Vous n'avez pas à vous soucier de ce qui se passe en arrière-plan, car le scénario sur Latenode le fait pour vous. Cela vous permettra de plonger dans le monde des données sans effort.
Remarque : Le «Déclencheur « Exécuter une fois » est ici à des fins de test, mais peut être facilement échangé avec un déclencheur pour une nouvelle ligne de table de base de données ou tout ce dont vous avez besoin.
Le voyage commence par la spécification du site Web à partir duquel vous souhaitez extraire. Vous aurez besoin d'un Définir des variables option qui vous permet de définir l'URL de votre robot de scraping. Copiez l'adresse et collez-la dans un champ de texte, comme vous le feriez lorsque vous la visitez normalement. Cette action unique indique aux nœuds où naviguer.
Vient ensuite la partie fascinante, où nous avons besoin d'un Nœud de navigateur sans tête pour explorer le site Web. Ce nœud est basé sur l'une des bibliothèques Javascript appelée Puppeteer, spécialement conçue pour le scraping. C'est comme un agent fantôme, localisant et collectant silencieusement des détails, tout en vous concentrant sur ce qu'il faut faire avec les résultats. En savoir plus sur cet outil ici, car c'est votre clé pour débloquer le webscrapping automatisé.
Dans le nœud, vous insérerez le code suivant généré par notre Assistant IA basé sur ChatGPT, qui agit comme un ensemble d'instructions précises. Ne vous inquiétez pas de tout comprendre, copiez et collez simplement ceci dans le champ requis :
// Insert the link
const url = data["{{4.site_url}}"];
console.log('Navigating to:', url); // Logging the URL
// Navigating to the specified URL
await page.goto(url, { waitUntil: 'networkidle2' });
// Extracting all visible text from the page
const markdown = await page.evaluate(() => {
// Function to filter only visible elements
function getVisibleTextFromElement(el) {
const style = window.getComputedStyle(el);
// Checking for element visibility and presence of text
if (style && style.display !== 'none' && style.visibility !== 'hidden' && el.innerText) {
return el.innerText.trim();
}
return '';
}
// Extracting text from all visible elements
const allTextElements = document.body.querySelectorAll('*');
let textContent = '';
allTextElements.forEach(el => {
const text = getVisibleTextFromElement(el);
if (text) {
textContent += `${text}\n\n`;
}
});
return textContent.trim();
});
// Returning the result
return {
markdown
};Ce code JavaScript est comme un moteur pour le navigateur sans tête, lui demandant de visiter l'URL et de récupérer tout le texte visible du site, puis de le formater en Markdown.
Une fois la recherche terminée, vous verrez rapidement qu'une grande partie du contenu est du texte brut, difficile à interpréter. Ceci est où le Intégration ChatGPT entreEn copiant les données extraites dans ChatGPT, vous pouvez demander à l'outil de les organiser et de les structurer selon vos besoins.
C'est comme embaucher un organisateur personnel, qui vous permet de prendre la matière première et de la structurer en quelque chose d'utile et de pratique. Demandez à ChatGPT de récupérer des sections spécifiques, de supprimer les détails non pertinents et de créer un ensemble de données propre et accessible, prêt à être utilisé.
Enfin, la sortie de ChatGPT est maintenant prête à être transformée en un format utilisable via un Noeud JavaScript. Le résultat est un fichier JSON (JavaScript Object Notation), idéal pour les tâches de traitement et d'analyse complexes. Pour écrire un script à cet effet, il suffit de demander à notre assistant JavaScript AI d'« extraire le JSON de la réponse de ChatGPT » – il gère cette tâche en toute simplicité !
Le résultat est un JSON prêt à l'emploi contenant toutes les informations demandées :
Impressionnant, non?
Il existe plusieurs manières potentielles d’utiliser ce scénario :
Ce plan, bien que simple, démontre la puissance du scrapping Web. Il montre qu'il n'est pas nécessaire d'apprendre à coder pour acquérir des informations. Cette approche la rend plus accessible à ceux qui souhaitent prendre le contrôle des informations dont ils ont besoin.
N'oubliez pas que la capacité d'automatisation implique la responsabilité d'utiliser cette capacité avec précaution. Considérez les sites Web comme des ressources précieuses qui doivent être protégées et évitez toute action qui pourrait avoir un impact négatif sur leur accessibilité ou leur fonctionnalité. Le scraping Web éthique préserve l'intégrité, la viabilité à long terme et les pratiques de collecte responsables.
Il s’agit de trouver un équilibre entre l’exploitation de la puissance du scraping et le respect des règles et réglementations établies de chaque espace en ligne.
Aie conscience:
De nombreuses plateformes disposent de systèmes qui surveillent et bloquent activement les adresses IP lorsqu'une activité inhabituelle est détectée, ce qui rend plus difficile la collecte des informations dont vous avez besoin. Le scraping responsable ne consiste pas seulement à suivre des directives, mais également à s'assurer que vous pouvez continuer à utiliser ces techniques précieuses.
Alors, qu'est-ce qu'un Web Scraper ? Vous avez maintenant compris les concepts de base de ce sujet et disposez d'un modèle simple pour extraire les informations sans codage. Nous espérons que ce guide vous a préparé à exploiter de manière créative les informations d'Internet. Continuez à explorer et profitez du voyage ; ce n'est que le début !
Première demande + Deuxième demande
