如何用代理和 VPS 运行网页采集与自动化任务

本文由 PSB Hosting 供稿，ARNPROXY 在内容合作中进行了编辑。文中包含 PSB Hosting 的推荐链接。

采集程序在笔记本上试跑十分钟可能没问题，但运行一整晚时，电脑休眠或网络中断都可能让任务停在半途。把任务放到虚拟专用服务器（VPS）上，关掉自己的电脑也能继续运行。目标网站看到的出口 IP 地址，则由代理决定。

家用电脑什么时候会成为瓶颈

短时间测试用自己的电脑就够了。长时间任务会与其他程序争用处理器和内存，同时运行多个无头浏览器时尤其明显。休眠、系统更新或 Wi-Fi 掉线都可能中断任务。把工作移到独立的服务器上，也更方便远程查看进度，并将项目文件与个人文件分开。

使用 VPS 有哪些变化

可以通过 cron 或 systemd 定时器安排任务，远程管理服务器，并在单独的环境中运行程序。根据工作负载选择 vCPU、内存和存储，订购前确认 CPU 资源是共享的还是独享的。

如果服务器有固定出口 IP，而且所用代理支持 IP 授权，可以将该地址添加到白名单。若使用用户名和密码连接，不要将凭据直接写入脚本或日志。

服务器和代理分别负责什么

代码运行在 VPS 上。工具通过代理发送请求时，目标网站看到的是代理的出口 IP。使用 ARNPROXY 做定期监测时，可以选择机房 IPv4 或轮换套餐；需要在多个会话中保持同一 IP 时，可以选择静态 ISP 代理。住宅代理支持按城市定位，适合地区差异检查。只有目标服务支持 IPv6 时，才使用 IPv6。

只对允许自动访问的目标发送请求，并遵守对方的请求频率限制。

如何选择 VPS 配置

下表可作为初始配置参考。先用实际任务做一次有代表性的测试，再提高并发量。

先观察内存。内存不足、频繁使用磁盘交换空间时，所有进程都可能变慢。如果瓶颈在 CPU，可先测试更快的处理器，再考虑增加核心数。

五步完成配置

1. 选择 VPS 所在地区，测量到代理网关和目标服务的延迟。
2. 创建非 root 用户，配置 SSH 密钥，关闭未使用端口的访问。
3. 在虚拟环境或容器中安装 Scrapy、Playwright 等所需工具。
4. 配置 ARNPROXY 网关或代理列表。如果套餐支持 IP 授权，将 VPS 的出口 IP 加入白名单，再选择固定会话或轮换会话。
5. 设置定时任务，记录错误、响应时间和成功请求。根据流量消耗和测试结果调整并发量。

关于 PSB Hosting

PSB Hosting 在荷兰、德国、芬兰和美国提供 VPS。可选套餐采用 DDR5 内存和 NVMe 存储，不设流量配额。服务商也提供预装 Docker 或 Node.js 的镜像。订购前请确认所选套餐的端口速率和资源配置。技术支持全天候提供。

在 PSB Hosting 首次下单时使用优惠码 ARNPROXY，可享 15% 折扣。

什么时候值得迁移

短时间测试可以留在自己的电脑上。定期任务需要在电脑关机后继续运行时，可以从小型 VPS 开始。确认请求确实经过预期的代理，再根据 CPU、内存和响应时间的实测结果扩容。