Proxys und VPS für Webscraping und Automatisierung

Gastbeitrag von PSB Hosting, von ARNPROXY im Rahmen eines redaktionellen Austauschs bearbeitet. Der Beitrag enthält einen Empfehlungslink zu PSB Hosting.

Ein Scraper läuft auf dem Laptop zehn Minuten problemlos, bricht aber nachts ab, wenn das Gerät in den Ruhezustand wechselt oder die Verbindung verliert. Auf einem virtuellen privaten Server (VPS) kann der Auftrag weiterlaufen, wenn Ihr Rechner ausgeschaltet ist. Der Proxy bestimmt, welche IP-Adresse die Zielwebsite sieht.

Wann der eigene Rechner an seine Grenzen stößt

Für kurze Tests reicht der eigene Rechner aus. Bei längeren Aufgaben konkurrieren die Prozesse mit anderen Programmen um Rechenleistung und Arbeitsspeicher, besonders bei mehreren Headless-Browsern. Energiesparmodus, Updates und WLAN-Ausfälle können einen Auftrag unterbrechen. Auf einem separaten Server lassen sich Fortschritt und Projektdateien besser von unterwegs verwalten und von persönlichen Daten trennen.

Was sich mit einem VPS ändert

Sie können Aufgaben mit cron oder einem systemd-Timer planen, den Server aus der Ferne verwalten und Programme in einer separaten Umgebung ausführen. Wählen Sie vCPU, RAM und Speicher passend zur Arbeitslast. Prüfen Sie, ob die CPU-Ressourcen im Tarif geteilt werden oder Ihnen exklusiv zur Verfügung stehen.

Hat der Server eine feste ausgehende IP-Adresse, können Sie diese bei Proxyprodukten mit IP-Freigabe hinterlegen. Wenn Sie sich mit Benutzername und Passwort anmelden, gehören die Zugangsdaten weder ins Skript noch ins Protokoll.

Die Aufgaben von Server und Proxy

Ihr Code läuft auf dem VPS. Verwendet das Programm einen Proxy, sieht die Zielwebsite dessen ausgehende IP-Adresse. Bei ARNPROXY eignen sich Rechenzentrums-IPv4 oder rotierende Tarife für regelmäßige Prüfungen. Ein statischer ISP-Proxy behält über mehrere Sitzungen dieselbe IP-Adresse. Für regionale Prüfungen bieten Residential-Proxys eine Auswahl nach Stadt. Nutzen Sie IPv6 nur, wenn der Zieldienst es unterstützt.

Senden Sie automatisierte Anfragen nur an erlaubte Ziele und halten Sie deren Anfragelimits ein.

Den VPS dimensionieren

Diese Konfigurationen dienen als Ausgangspunkt. Messen Sie einen repräsentativen Testlauf, bevor Sie mehr Aufträge gleichzeitig starten.

Behalten Sie zuerst den Speicherverbrauch im Blick. Wenn der Server häufig auf die Festplatte auslagert, können alle Prozesse langsamer werden. Ist die CPU der Engpass, testen Sie einen schnelleren Prozessor, bevor Sie zusätzliche Kerne buchen.

Einrichtung in fünf Schritten

1. Wählen Sie einen VPS-Standort und messen Sie die Latenz zum Proxy-Gateway und zu den Zieldiensten.
2. Legen Sie einen Benutzer ohne Root-Rechte an, richten Sie SSH-Schlüssel ein und sperren Sie ungenutzte Ports.
3. Installieren Sie Werkzeuge wie Scrapy oder Playwright in einer virtuellen Umgebung oder einem Container.
4. Konfigurieren Sie das Gateway oder die Proxy-Liste von ARNPROXY. Geben Sie die ausgehende Server-IP frei, sofern unterstützt, und wählen Sie eine Sticky- oder Rotationssitzung.
5. Planen Sie die Aufgabe und protokollieren Sie Fehler, Antwortzeiten und erfolgreiche Anfragen. Passen Sie die Anzahl gleichzeitiger Prozesse anhand des Datenverbrauchs und der Testergebnisse an.

Über PSB Hosting

PSB Hosting bietet VPS-Standorte in den Niederlanden, Deutschland, Finnland und den USA. Zur Auswahl stehen Tarife mit DDR5-RAM, NVMe-Speicher und Traffic ohne Volumenlimit. Für Docker und Node.js gibt es fertige Images. Prüfen Sie die Portgeschwindigkeit und Ressourcen im gewählten Tarif. Der Support ist rund um die Uhr erreichbar.

Bei PSB Hosting erhalten Sie mit dem Code ARNPROXY 15 % Rabatt auf Ihre erste Bestellung.

Wann sich der Wechsel lohnt

Kurze Tests können auf dem eigenen Rechner bleiben. Für wiederkehrende Aufgaben, die auch bei ausgeschaltetem Rechner laufen sollen, starten Sie mit einem kleinen VPS. Prüfen Sie den tatsächlich verwendeten Proxy und erhöhen Sie die Leistung erst nach Messungen von CPU, RAM und Antwortzeiten.