Canalizaciones de datos
George Miloradovich
Investigador, redactor y entrevistador de casos prácticos
23 de diciembre 2024
.png)
.svg){kind=icon}
El gran volumen de información que hay en Internet atrae a muchas personas, que buscan métodos rápidos y sencillos para acceder a este contenido. Si alguna vez ha intentado hacer un seguimiento de los cambios de precios, compilar listas de productos o recopilar información sobre competidores o clientes potenciales, sabrá que la tarea de copiar y pegar manualmente es abrumadora. Es una lucha habitual: la información necesaria existe, pero obtenerla es una tarea laboriosa y que requiere mucho tiempo.
Esta guía presenta el web scraping como una técnica que permite la recopilación de datos en línea. Históricamente, requería un equipo dedicado. Ahora, puede explorar un enfoque fácil de usar utilizando un Plantilla gratuita con Headless Browser y ChatGPT. Piense en este escenario como un punto de partida a partir del cual podrá automatizar la mayoría de estas tareas. Esto le permitirá a cualquiera convertir la vasta red en un recurso estructurado y fácilmente disponible.
El scraping es un método para la recuperación automática de información de varias fuentes en línea, con un enfoque particular en los sitios web. Funciona como una forma mejorada de copiar y pegar, pero es mucho más rápido y preciso. En lugar de simplemente tomar el texto que se muestra de una página, los scrapers utilizan el código fuente del sitio. Esto le permite acceder a los materiales verdaderos, lo que permite obtener detalles específicos con facilidad.
Además, el software de extracción de datos web está diseñado para manejar las complejidades de los sitios modernos, como la navegación por varias páginas, el manejo de elementos interactivos, ventanas emergentes y contenido dinámico. Este es un avance notable con respecto a la recopilación manual, donde cada página tendría que visitarse individualmente para recibir y organizar la información deseada.
Los scrapers alivian la carga de procesos complejos, ahorrando tiempo y esfuerzo al recopilar contenido de varias páginas como si estuviera centralizado. Esto es lo que hizo que el web scraping fuera esencial en campos como la investigación de mercados, el análisis financiero, el comercio electrónico y básicamente todas las áreas que requieren actualizaciones en tiempo real para seguir siendo competitivos.
Después de todo, Internet es como una biblioteca enorme con libros esparcidos por el suelo, en lugar de ordenados ordenadamente en estanterías. El web scraping proporciona una forma de poner orden en este caos mediante la adquisición de esta información en bruto y su formateo en un formato estructurado y utilizable, lo que permite acceder a lo que antes era inaccesible.
Existen numerosas aplicaciones de esta técnica para uso personal y profesional. Básicamente, se transforma una pila desorganizada de datos en línea en un flujo de trabajo sencillo.
Además de ahorrar tiempo, el scraping permite acceder a material que de otro modo no estaría disponible. Esta técnica transforma este abrumador mar de conocimiento en conocimiento estructurado, y su potencial solo está limitado por su imaginación.
Aunque los mecanismos pueden parecer complejos, el proceso en sí es sencillo. El web scraping consta de unas cuantas fases básicas para obtener el contenido.
En esta etapa inicial, nuestra herramienta "le pide" a un sitio web su "plano" estructural, que se crea mediante HTML (lenguaje de marcado de hipertexto). Considere HTML como el marco que da forma a la apariencia de un sitio web; es lo que determina dónde se encuentran el texto, las imágenes y otros elementos. Cuando accede a un sitio web, su navegador traduce esta estructura HTML en la página visual que ve.
Por el contrario, los bots que extraen datos adoptan un enfoque diferente y los descargan para analizarlos directamente, sin pasar por la capa visual. Este proceso de recuperación utiliza solicitudes HTTP, que es la forma en que los navegadores y los servidores se comunican. Piense en ello como si estuviera obteniendo los componentes básicos necesarios para la construcción futura.
Una vez que se recupera el "plano" HTML, el siguiente paso consiste en indicarle a la herramienta que localice los fragmentos de información específicos que se desean extraer. En lugar de procesar todos los datos de la página, la herramienta utiliza "instrucciones", que normalmente se definen mediante selectores CSS, para identificar elementos como precios de productos, descripciones u otra información. Estos selectores actúan como direcciones dentro del mapa del sitio web, señalando exactamente dónde se encuentra el contenido necesario.
Este proceso es similar a utilizar un mapa para localizar un edificio específico en una ciudad y requiere la identificación de patrones y etiquetas específicos, donde se almacena la información necesaria. La herramienta sigue estas instrucciones para extraer solo el contexto relevante y filtrar los componentes irrelevantes de la página.
Después de extraer recursos web, la herramienta convierte el material sin procesar en información estructurada y ofrece resultados en varios formatos: texto (.txt), CSV compatible con hojas de cálculo (.csv), o JSON (Notación de objetos JavaScript) para operaciones más complejas. La elección depende de las necesidades del usuario, lo que permite que estos elementos sean aptos para análisis y generación de informes.
Estas acciones permiten que una amplia gama de casos de uso cobren vida; aquí hay una forma de utilizar estos pasos implementando un escenario de raspado web, para obtener el contexto del sitio web mediante soluciones listas para usar.
Vamos a crear un scraper básico. Una vez configurado, puedes probarlo en su forma actual o agregarlo como parte integral de otros escenarios si es necesario. plantilla Muestra cómo lograr tareas bastante complejas sin codificación. Muestra que cualquiera puede obtener diferentes datos de sitios web utilizando opciones disponibles.
Para empezar, nos centraremos en el sitio web específico que elijas. Verás de primera mano lo sencillo que es: solo tienes que proporcionar la dirección y los nodos harán el resto por ti. No tienes que preocuparte por lo que ocurre en segundo plano, ya que el escenario de Latenode lo hace por ti. Esto te permitirá sumergirte en el mundo de los datos sin esfuerzo.
Nota: El "Disparador "Ejecutar una vez" Está aquí para fines de prueba, pero se puede cambiar fácilmente por un disparador para una nueva fila de la tabla de base de datos o cualquier otra cosa que necesite.
El proceso comienza especificando el sitio web del que desea extraer los datos. Necesitará un Establecer variables Opción que le permite definir la URL de su robot de extracción de datos. Copie la dirección y péguela en un campo de texto, como lo haría al visitarlo normalmente. Esta única acción le indica a los nodos hacia dónde navegar.
Luego viene la parte fascinante, donde necesitamos un Nodo de navegador sin interfaz gráfica para explorar el sitio web. Este nodo se basa en una de las bibliotecas de Javascript llamada Puppeteer, diseñada específicamente para el scraping. Es como un agente fantasma que localiza y recopila detalles en silencio, mientras usted se concentra en qué hacer con los resultados. Obtenga más información sobre esta herramienta aquí, ya que es su clave para desbloquear el webscraping automatizado.
Dentro del nodo, insertarás el siguiente código generado por nuestro Asistente de IA basado en ChatGPT, que actúa como un conjunto de instrucciones precisas. No te preocupes por entenderlo todo, simplemente copia y pega esto en el campo correspondiente:
// Insert the link
const url = data["{{4.site_url}}"];
console.log('Navigating to:', url); // Logging the URL
// Navigating to the specified URL
await page.goto(url, { waitUntil: 'networkidle2' });
// Extracting all visible text from the page
const markdown = await page.evaluate(() => {
// Function to filter only visible elements
function getVisibleTextFromElement(el) {
const style = window.getComputedStyle(el);
// Checking for element visibility and presence of text
if (style && style.display !== 'none' && style.visibility !== 'hidden' && el.innerText) {
return el.innerText.trim();
}
return '';
}
// Extracting text from all visible elements
const allTextElements = document.body.querySelectorAll('*');
let textContent = '';
allTextElements.forEach(el => {
const text = getVisibleTextFromElement(el);
if (text) {
textContent += `${text}\n\n`;
}
});
return textContent.trim();
});
// Returning the result
return {
markdown
};Este código JavaScript es como un motor para el navegador sin cabeza, que le indica que visite la URL y recupere todo el texto visible del sitio y lo formatee en Markdown.
Una vez finalizada la investigación, verás rápidamente que gran parte es texto sin formato, difícil de interpretar. Aquí es donde entra en juego la Integración ChatGPT viene enAl copiar los datos extraídos en ChatGPT, puede indicarle a la herramienta que los organice y los estructure según sus necesidades.
Esto es como contratar un organizador personal, que te permite tomar el material en bruto y estructurarlo para convertirlo en algo útil y práctico. Pídele a ChatGPT que busque secciones específicas, elimine detalles irrelevantes y cree un conjunto de datos limpio y accesible, listo para que trabajes con él.
Finalmente, la salida de ChatGPT ahora está lista para transformarse en un formato utilizable a través de un Nodo de JavaScriptEl resultado es un archivo JSON (notación de objetos JavaScript), ideal para tareas complejas de procesamiento y análisis. Para escribir un script para esto, simplemente indique a nuestro Asistente de inteligencia artificial de JavaScript que "extraiga JSON de la respuesta de ChatGPT". ¡Realiza esta tarea con facilidad!
La salida es un JSON listo para usar con toda la información solicitada:
Impresionante, ¿no?
Hay varias formas posibles de emplear este escenario:
Este modelo, aunque sencillo, demuestra el poder del web scrapping. Demuestra que no es necesario aprender a codificar para obtener información. Este enfoque lo hace más accesible para quienes desean tomar el control de la información que necesitan.
Recuerde que la capacidad de automatizar conlleva la responsabilidad de utilizar esta capacidad con cuidado. Trate los sitios web como recursos valiosos que deben protegerse y evite cualquier acción que pueda afectar negativamente su accesibilidad o funcionalidad. El web scraping ético defiende la integridad, la viabilidad a largo plazo y las prácticas de recopilación responsables.
Se trata de encontrar un equilibrio entre aprovechar el poder del scraping y respetar las reglas y regulaciones establecidas de cada espacio en línea.
Tener en cuenta:
Muchas plataformas cuentan con sistemas que monitorean y bloquean activamente las direcciones IP cuando se detecta una cantidad inusual de actividad, lo que dificulta la recopilación de la información que necesita. El scraping responsable no consiste solo en seguir las pautas, sino en asegurarse de poder seguir utilizando estas valiosas técnicas.
Entonces, ¿qué es un Web Scraper? Ya comprendes los conceptos básicos de este tema y tienes una plantilla sencilla para extraer la información sin codificar. Esperamos que esta guía te haya preparado para aprovechar de forma creativa los conocimientos de Internet. Sigue explorando y disfruta del viaje; ¡esto es solo el comienzo!
Aplicación uno + Aplicación dos
