Strategien zum Umgehen des Cloudflare-Schutzes mit Puppeteer

CloudflareDie Sicherheitsmaßnahmen von machen es Bots schwer, auf Websites zuzugreifen. Aber mit PuppenspielerSie können diese Abwehrmaßnahmen umgehen, wenn Sie ethisch vorgehen. Hier ist eine Kurzanleitung für den Einstieg:

Kerntechniken:
- Arbeiten jederzeit weiterbearbeiten können. Jede Präsentation und jeder KI-Avatar, den Sie von Grund auf neu erstellen oder hochladen, Wohnvertreter und drehen Sie sie, um eine Erkennung zu vermeiden.
- Imitieren Sie menschliches Verhalten mit zufällige Verzögerungen Mausbewegungen.
- Handle JavaScript-Herausforderungen CAPTCHAs mit Plugins wie puppeteer-extra-plugin-recaptcha.
- Verschleiern Sie die Automatisierung durch Optimierung Browser-Fingerabdrücke und Benutzeragenten.

Puppenspieler-Setup:

Installieren Sie Puppeteer und Plugins:

npm install puppeteer puppeteer-extra puppeteer-extra-plugin-stealth

Fügen Sie Stealth-Einstellungen hinzu, um eine Erkennung zu vermeiden:

<span class="hljs-keyword">const</span> puppeteer = <span class="hljs-built_in">require</span>(<span class="hljs-string">'puppeteer-extra'</span>);
<span class="hljs-keyword">const</span> <span class="hljs-title class_">StealthPlugin</span> = <span class="hljs-built_in">require</span>(<span class="hljs-string">'puppeteer-extra-plugin-stealth'</span>);
puppeteer.<span class="hljs-title function_">use</span>(<span class="hljs-title class_">StealthPlugin</span>());

Rechtlicher Hinweis: Beachten Sie stets die Nutzungsbedingungen der Website, vermeiden Sie eine Überlastung der Server und verwenden Sie die Automatisierung verantwortungsvoll.

Diese Schritte können Ihre Erfolgsquote beim Schutz vor Cloudflare verbessern. Lesen Sie den Artikel mit detaillierten Codeausschnitten und fortgeschrittenen Techniken.

Nodejs Puppenspieler Tutorial Nr. 7 – Bypass-Erkennung mithilfe von …

Puppeteer-Setup-Handbuch

Befolgen Sie diese Schritte, um Puppeteer mit benutzerdefinierten Einstellungen und Plug-Ins zu konfigurieren und so die Cloudflare-Schutzmaßnahmen zu umgehen.

Grundlegende Schritte zur Installation von Puppeteer

Stellen Sie zuerst sicher, dass Sie haben Node.js Version 18 oder neuer installiert. Führen Sie anschließend den folgenden Befehl aus, um Puppeteer und die zugehörigen Plugins zu installieren:

npm install puppeteer puppeteer-extra puppeteer-extra-plugin-stealth

Erstellen Sie als Nächstes eine neue JavaScript-Datei und importieren Sie die erforderlichen Module:

<span class="hljs-keyword">const</span> puppeteer = <span class="hljs-built_in">require</span>(<span class="hljs-string">'puppeteer-extra'</span>);
<span class="hljs-keyword">const</span> <span class="hljs-title class_">StealthPlugin</span> = <span class="hljs-built_in">require</span>(<span class="hljs-string">'puppeteer-extra-plugin-stealth'</span>);
puppeteer.<span class="hljs-title function_">use</span>(<span class="hljs-title class_">StealthPlugin</span>());

Danach müssen Sie die Starteinstellungen des Browsers anpassen, um eine Erkennung zu vermeiden.

Erforderliche Puppenspielereinstellungen

Richten Sie Ihre Browserinstanz mit Konfigurationen ein, die die Wahrscheinlichkeit einer Markierung verringern:

<span class="hljs-keyword">const</span> browser = <span class="hljs-keyword">await</span> puppeteer.<span class="hljs-title function_">launch</span>({
    <span class="hljs-attr">headless</span>: <span class="hljs-literal">false</span>,
    <span class="hljs-attr">args</span>: [
        <span class="hljs-string">'--no-sandbox'</span>,
        <span class="hljs-string">'--disable-setuid-sandbox'</span>,
        <span class="hljs-string">'--disable-infobars'</span>,
        <span class="hljs-string">'--window-position=0,0'</span>,
        <span class="hljs-string">'--ignore-certificate-errors'</span>,
        <span class="hljs-string">'--ignore-certificate-errors-spki-list'</span>
    ]
});

Wenn Sie einen Proxy zum Maskieren Ihrer IP verwenden möchten, fügen Sie diese zusätzlichen Einstellungen hinzu:

<span class="hljs-keyword">const</span> browser = <span class="hljs-keyword">await</span> puppeteer.<span class="hljs-title function_">launch</span>({
    <span class="hljs-attr">args</span>: [
        <span class="hljs-string">'--proxy-server=http://proxy-address:port'</span>
    ]
});

<span class="hljs-keyword">await</span> page.<span class="hljs-title function_">authenticate</span>({
    <span class="hljs-attr">username</span>: <span class="hljs-string">'proxy-username'</span>,
    <span class="hljs-attr">password</span>: <span class="hljs-string">'proxy-password'</span>
});

Nützliche Puppeteer-Add-ons

Steigern Sie die Funktionalität von Puppeteer mit diesen Plugins:

Plugin Name	Zweck	Hauptfunktionen
Puppenspieler-Extra-Plugin-Stealth	Anti-Erkennung	Modifiziert den Browser-Fingerprinting und ahmt menschliches Verhalten nach
Puppenspieler-Extra-Plugin-Recaptcha	CAPTCHA-Behandlung	Automatisiert das Lösen von CAPTCHAs
Puppenspieler-Extra-Plugin-Adblocker	Resourcenmanagement	Blockiert Werbung und Tracker, um das Erkennungsrisiko zu verringern

Um diese Add-Ons zu integrieren, verwenden Sie den folgenden Code:

<span class="hljs-keyword">const</span> puppeteer = <span class="hljs-built_in">require</span>(<span class="hljs-string">'puppeteer-extra'</span>);
<span class="hljs-keyword">const</span> <span class="hljs-title class_">StealthPlugin</span> = <span class="hljs-built_in">require</span>(<span class="hljs-string">'puppeteer-extra-plugin-stealth'</span>);
<span class="hljs-keyword">const</span> <span class="hljs-title class_">AdblockerPlugin</span> = <span class="hljs-built_in">require</span>(<span class="hljs-string">'puppeteer-extra-plugin-adblocker'</span>);

puppeteer.<span class="hljs-title function_">use</span>(<span class="hljs-title class_">StealthPlugin</span>());
puppeteer.<span class="hljs-title function_">use</span>(<span class="hljs-title class_">AdblockerPlugin</span>({ <span class="hljs-attr">blockTrackers</span>: <span class="hljs-literal">true</span> }));

Um Ihre Aktionen natürlicher aussehen zu lassen, fügen Sie schließlich zufällige Verzögerungen zwischen ihnen ein:

<span class="hljs-keyword">const</span> <span class="hljs-title function_">delay</span> = ms => <span class="hljs-keyword">new</span> <span class="hljs-title class_">Promise</span>(<span class="hljs-function"><span class="hljs-params">resolve</span> =></span> <span class="hljs-built_in">setTimeout</span>(resolve, ms));
<span class="hljs-keyword">await</span> <span class="hljs-title function_">delay</span>(<span class="hljs-title class_">Math</span>.<span class="hljs-title function_">random</span>() * <span class="hljs-number">1000</span> + <span class="hljs-number">1000</span>); <span class="hljs-comment">// Random delay between 1-2 seconds</span>

sbb-itb-23997f1

Methoden zur Handhabung Cloudflare Sicherheit

Verbessern Sie Ihr Puppeteer-Setup mit diesen Techniken, um die Abwehrmaßnahmen von Cloudflare besser zu umgehen.

Browser-Identitätsverwaltung

Das Anti-Bot-System von Cloudflare überwacht Browser-Fingerabdrücke und Automatisierungssignale. Um die Aktivitäten von Puppeteer zu verschleiern, passen Sie Browserkennungen und -eigenschaften wie folgt an:

<span class="hljs-keyword">const</span> browser = <span class="hljs-keyword">await</span> puppeteer.<span class="hljs-title function_">launch</span>({
    <span class="hljs-attr">args</span>: [
        <span class="hljs-string">'--window-size=1920,1080'</span>,
        <span class="hljs-string">'--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'</span>
    ],
    <span class="hljs-attr">ignoreDefaultArgs</span>: [<span class="hljs-string">'--enable-automation'</span>]
});

<span class="hljs-keyword">await</span> page.<span class="hljs-title function_">evaluateOnNewDocument</span>(<span class="hljs-function">() =></span> {
    <span class="hljs-keyword">delete</span> navigator.<span class="hljs-property">webdriver</span>;
    <span class="hljs-title class_">Object</span>.<span class="hljs-title function_">defineProperty</span>(navigator, <span class="hljs-string">'plugins'</span>, {
        <span class="hljs-attr">get</span>: <span class="hljs-function">() =></span> [<span class="hljs-number">1</span>, <span class="hljs-number">2</span>, <span class="hljs-number">3</span>, <span class="hljs-number">4</span>, <span class="hljs-number">5</span>]
    });
});

Diese Konfiguration entfernt Automatisierungsindikatoren und ahmt einen Standard-Browser-Fingerabdruck nach, wodurch die Prüfungen von Cloudflare umgangen werden.

Lösungen für JavaScript-Herausforderungen

Die Bewältigung der JavaScript-Herausforderungen von Cloudflare erfordert die Simulation menschlichen Verhaltens. Sie können beispielsweise warten, bis das Formular verschwindet, und zufällige Verzögerungen zwischen den Aktionen einführen:

<span class="hljs-comment">// Wait until the Cloudflare challenge form is gone</span>
<span class="hljs-keyword">await</span> page.<span class="hljs-title function_">waitForFunction</span>(<span class="hljs-function">() =></span> {
    <span class="hljs-keyword">return</span> <span class="hljs-variable language_">document</span>.<span class="hljs-title function_">querySelector</span>(<span class="hljs-string">'#challenge-form'</span>) === <span class="hljs-literal">null</span>;
}, { <span class="hljs-attr">timeout</span>: <span class="hljs-number">30000</span> });

<span class="hljs-comment">// Add random delays to simulate human interaction</span>
<span class="hljs-keyword">const</span> <span class="hljs-title function_">randomDelay</span> = (<span class="hljs-params">min, max</span>) => {
    <span class="hljs-keyword">return</span> <span class="hljs-title class_">Math</span>.<span class="hljs-title function_">floor</span>(<span class="hljs-title class_">Math</span>.<span class="hljs-title function_">random</span>() * (max - min + <span class="hljs-number">1</span>) + min);
};
<span class="hljs-keyword">await</span> page.<span class="hljs-title function_">waitForTimeout</span>(<span class="hljs-title function_">randomDelay</span>(<span class="hljs-number">1000</span>, <span class="hljs-number">3000</span>));

Sie können auch benutzerdefinierte Handler erstellen, um das Benutzerverhalten bei Bedarf besser nachzuahmen. Als Nächstes benötigen Sie eine Strategie für den Umgang mit CAPTCHAs.

CAPTCHA-Verwaltungsoptionen

Wenn Sie mit CAPTCHAs konfrontiert werden, kann die Verwendung eines CAPTCHA-Lösungs-Plugins den Vorgang vereinfachen:

<span class="hljs-keyword">const</span> <span class="hljs-title class_">RecaptchaPlugin</span> = <span class="hljs-built_in">require</span>(<span class="hljs-string">'puppeteer-extra-plugin-recaptcha'</span>);
puppeteer.<span class="hljs-title function_">use</span>(
    <span class="hljs-title class_">RecaptchaPlugin</span>({
        <span class="hljs-attr">provider</span>: {
            <span class="hljs-attr">id</span>: <span class="hljs-string">'2captcha'</span>,
            <span class="hljs-attr">token</span>: <span class="hljs-string">'your-api-key'</span>
        }
    })
);

Wenn das Plugin das CAPTCHA nicht lösen kann, können Sie als Fallback auf Proxy-Rotation umschalten:

<span class="hljs-keyword">try</span> {
    <span class="hljs-keyword">await</span> page.<span class="hljs-title function_">solveRecaptchas</span>();
} <span class="hljs-keyword">catch</span> (e) {
    <span class="hljs-comment">// Rotate to a new proxy if CAPTCHA solving fails</span>
    <span class="hljs-keyword">await</span> page.<span class="hljs-title function_">setRequestInterception</span>(<span class="hljs-literal">true</span>);
    <span class="hljs-keyword">await</span> <span class="hljs-title function_">useNextProxy</span>();
}

Diese Methoden helfen Ihnen, CAPTCHA-Herausforderungen zu meistern und den Zugriff aufrechtzuerhalten, selbst wenn Automatisierungstools auf Hindernisse stoßen.

Tipps und Richtlinien zur Zuverlässigkeit

Die Implementierung zuverlässiger Techniken ist der Schlüssel zum Erfolg der Automatisierung.

Proxy-Einrichtung und -Verwendung

Der Einsatz gut verwalteter Proxys kann das Erkennungsrisiko deutlich reduzieren. Beispielsweise bieten Premium-Residential-Proxys bessere Bypass-Möglichkeiten. Hier ein Beispiel für ein Setup:

<span class="hljs-keyword">const</span> browser = <span class="hljs-keyword">await</span> puppeteer.<span class="hljs-title function_">launch</span>({
    <span class="hljs-attr">args</span>: [
        <span class="hljs-string">`--proxy-server=<span class="hljs-subst">${proxyAddress}</span>`</span>,
        <span class="hljs-string">'--no-sandbox'</span>,
        <span class="hljs-string">'--disable-setuid-sandbox'</span>
    ]
});

<span class="hljs-comment">// Handle proxy authentication</span>
<span class="hljs-keyword">await</span> page.<span class="hljs-title function_">setRequestInterception</span>(<span class="hljs-literal">true</span>);
page.<span class="hljs-title function_">on</span>(<span class="hljs-string">'request'</span>, <span class="hljs-function"><span class="hljs-params">request</span> =></span> {
    request.<span class="hljs-title function_">continue</span>({
        <span class="hljs-attr">headers</span>: {
            ...request.<span class="hljs-title function_">headers</span>(),
            <span class="hljs-string">'Proxy-Authorization'</span>: <span class="hljs-string">`Basic <span class="hljs-subst">${Buffer.<span class="hljs-keyword">from</span>(
                <span class="hljs-string">`<span class="hljs-subst">${proxyUsername}</span>:<span class="hljs-subst">${proxyPassword}</span>`</span>
            ).toString(<span class="hljs-string">'base64'</span>)}</span>`</span>
        }
    });
});

Auch das regelmäßige Wechseln der Proxys trägt dazu bei, einen unterbrechungsfreien Zugriff aufrechtzuerhalten:

<span class="hljs-keyword">const</span> proxyList = [
    <span class="hljs-string">'proxy1.example.com:8080'</span>,
    <span class="hljs-string">'proxy2.example.com:8080'</span>,
    <span class="hljs-string">'proxy3.example.com:8080'</span>
];

<span class="hljs-keyword">function</span> <span class="hljs-title function_">getNextProxy</span>(<span class="hljs-params"></span>) {
    <span class="hljs-keyword">const</span> proxy = proxyList.<span class="hljs-title function_">shift</span>();
    proxyList.<span class="hljs-title function_">push</span>(proxy);
    <span class="hljs-keyword">return</span> proxy;
}

Anforderungszeitsteuerung

Die Simulation menschlichen Verhaltens kann das Erkennungsrisiko minimieren. So können Sie die Anforderungszeit effektiv verwalten:

<span class="hljs-keyword">const</span> <span class="hljs-title function_">simulateHumanBehavior</span> = <span class="hljs-keyword">async</span> (<span class="hljs-params">page</span>) => {
    <span class="hljs-comment">// Add random mouse movements</span>
    <span class="hljs-keyword">await</span> page.<span class="hljs-property">mouse</span>.<span class="hljs-title function_">move</span>(<span class="hljs-number">100</span>, <span class="hljs-number">200</span>);
    <span class="hljs-keyword">await</span> page.<span class="hljs-property">mouse</span>.<span class="hljs-title function_">move</span>(<span class="hljs-number">150</span>, <span class="hljs-number">250</span>, { <span class="hljs-attr">steps</span>: <span class="hljs-number">10</span> });

    <span class="hljs-comment">// Randomize typing speed</span>
    <span class="hljs-keyword">await</span> page.<span class="hljs-property">keyboard</span>.<span class="hljs-title function_">type</span>(<span class="hljs-string">'Hello World'</span>, { 
        <span class="hljs-attr">delay</span>: <span class="hljs-title class_">Math</span>.<span class="hljs-title function_">floor</span>(<span class="hljs-title class_">Math</span>.<span class="hljs-title function_">random</span>() * (<span class="hljs-number">150</span> - <span class="hljs-number">50</span>) + <span class="hljs-number">50</span>) 
    });

    <span class="hljs-comment">// Add pauses</span>
    <span class="hljs-keyword">await</span> page.<span class="hljs-title function_">waitForTimeout</span>(
        <span class="hljs-title class_">Math</span>.<span class="hljs-title function_">floor</span>(<span class="hljs-title class_">Math</span>.<span class="hljs-title function_">random</span>() * (<span class="hljs-number">3000</span> - <span class="hljs-number">1000</span>) + <span class="hljs-number">1000</span>)
    );
};

Diese Techniken machen Automatisierungsbemühungen in Kombination mit einer ordnungsgemäßen Sitzungsverwaltung zuverlässiger.

Cookie- und Sitzungsverwaltung

Die effektive Verwaltung von Cookies ist entscheidend für die Aufrechterhaltung der Sitzungskontinuität. So können Sie Sitzungen speichern und wiederherstellen:

<span class="hljs-comment">// Store successful session cookies</span>
<span class="hljs-keyword">const</span> <span class="hljs-title function_">storeCookies</span> = <span class="hljs-keyword">async</span> (<span class="hljs-params">page</span>) => {
    <span class="hljs-keyword">const</span> cookies = <span class="hljs-keyword">await</span> page.<span class="hljs-title function_">cookies</span>();
    <span class="hljs-keyword">await</span> fs.<span class="hljs-title function_">writeFile</span>(
        <span class="hljs-string">'cookies.json'</span>,
        <span class="hljs-title class_">JSON</span>.<span class="hljs-title function_">stringify</span>(cookies, <span class="hljs-literal">null</span>, <span class="hljs-number">2</span>)
    );
};

<span class="hljs-comment">// Restore previous session</span>
<span class="hljs-keyword">const</span> <span class="hljs-title function_">loadCookies</span> = <span class="hljs-keyword">async</span> (<span class="hljs-params">page</span>) => {
    <span class="hljs-keyword">try</span> {
        <span class="hljs-keyword">const</span> cookiesString = <span class="hljs-keyword">await</span> fs.<span class="hljs-title function_">readFile</span>(<span class="hljs-string">'cookies.json'</span>);
        <span class="hljs-keyword">const</span> cookies = <span class="hljs-title class_">JSON</span>.<span class="hljs-title function_">parse</span>(cookiesString);
        <span class="hljs-keyword">await</span> page.<span class="hljs-title function_">setCookie</span>(...cookies);
    } <span class="hljs-keyword">catch</span> (error) {
        <span class="hljs-variable language_">console</span>.<span class="hljs-title function_">log</span>(<span class="hljs-string">'No stored cookies found'</span>);
    }
};

Wenn die Validierung von Cookies fehlschlägt, können Sie sie automatisch aktualisieren:

<span class="hljs-keyword">const</span> <span class="hljs-title function_">validateCookies</span> = <span class="hljs-keyword">async</span> (<span class="hljs-params">page</span>) => {
    <span class="hljs-keyword">const</span> response = <span class="hljs-keyword">await</span> page.<span class="hljs-title function_">goto</span>(targetUrl);
    <span class="hljs-keyword">if</span> (response.<span class="hljs-title function_">status</span>() === <span class="hljs-number">403</span>) {
        <span class="hljs-keyword">await</span> <span class="hljs-title function_">clearCookies</span>(page);
        <span class="hljs-keyword">await</span> <span class="hljs-title function_">initializeNewSession</span>(page);
    }
};

Fazit

Lassen Sie uns zum Abschluss die wichtigsten Techniken und Schritte hervorheben, die wir behandelt haben.

Zusammenfassung der wichtigsten Techniken

Um den Cloudflare-Schutz zu umgehen, ist ein Mix aus verschiedenen Methoden erforderlich. Zu den wichtigsten Strategien gehören:

Verwendung von Residential Proxies mit entsprechender Rotation
Verwalten von Browser-Fingerabdrücken und Benutzeragenten
Effektiver Umgang mit Cookies und Sitzungen
Nachahmung menschlichen Verhaltens mit zufälligen Verzögerungen
Festlegen genauer Anforderungsheader
Authentifizierung richtig verwalten

Branchendaten zufolge kann die Kombination dieser Techniken zu Erfolgsraten von bis zu 98.7 % führen, wenn die Bedingungen optimiert sind [1]..

Indem Sie sich auf diese Kernmethoden konzentrieren, können Sie einen zuverlässigen und konformen Automatisierungsprozess aufbauen.

Schritte zur Implementierung

Hier sind einige abschließende Tipps zur Verfeinerung Ihrer Puppeteer-Einrichtung und Cloudflare-Bypass-Bemühungen:

Beginnen Sie mit grundlegenden Puppeteer-Konfigurationen
Rotieren Sie Proxys mit Bedacht
Richten Sie starke Fehlerbehandlungsmechanismen ein
Überprüfen Sie die Nutzungsbedingungen der Zielseite, bevor Sie beginnen
Halten Sie die Anfrageraten moderat, um das Auslösen von Abwehrmaßnahmen zu vermeiden
Dokumentieren Sie Ihre Automatisierungs-Workflows

Puppeteer erfordert eine sorgfältige Einrichtung und regelmäßige Anpassungen, um auch gegen die sich entwickelnden Cloudflare-Abwehrmechanismen wirksam zu bleiben. Da die Sicherheitsmaßnahmen immer fortschrittlicher werden, hängt der Erfolg von der kontinuierlichen Aktualisierung Ihrer Strategie und der strikten Einhaltung ethischer Grundsätze ab. Auch wenn anfängliche Konfigurationen gut funktionieren können, erfordert die Aufrechterhaltung der langfristigen Leistung Flexibilität und die Einhaltung klarer Richtlinien.