웹 스크래핑과 자동화를 위한 프록시 및 VPS 설정

PSB Hosting이 기고하고 ARNPROXY가 콘텐츠 교류의 일환으로 편집한 글입니다. PSB Hosting 추천 링크가 포함되어 있습니다.

노트북에서 10분 동안 문제없이 작동한 스크래퍼도 밤새 실행하면 절전 모드나 네트워크 끊김으로 중단될 수 있습니다. 가상 사설 서버(VPS)를 사용하면 내 컴퓨터를 꺼도 작업이 계속됩니다. 대상 사이트에 표시되는 출구 IP 주소는 프록시가 결정합니다.

개인 PC의 한계

짧은 테스트라면 개인 PC로 충분합니다. 하지만 장시간 작업은 다른 프로그램과 CPU와 메모리를 나눠 쓰며, 헤드리스 브라우저를 여러 개 실행할 때 특히 부담이 커집니다. 절전 모드, 업데이트 또는 Wi-Fi 연결 끊김으로 작업이 멈출 수도 있습니다. 별도 서버를 쓰면 원격으로 진행 상황을 확인하고 프로젝트 파일과 개인 파일을 분리하기도 쉽습니다.

VPS를 사용하면 달라지는 점

cron이나 systemd 타이머로 작업을 예약하고, 서버를 원격으로 관리하며, 별도 환경에서 도구를 실행할 수 있습니다. 작업량에 맞춰 vCPU, 메모리, 저장 공간을 고르세요. 요금제의 CPU 자원이 공유형인지 전용인지도 확인하세요.

서버에 고정 출구 IP가 있고 프록시가 IP 인증을 지원한다면 해당 주소를 허용 목록에 추가할 수 있습니다. 사용자 이름과 비밀번호로 접속하는 경우 인증 정보가 스크립트나 로그에 남지 않도록 관리하세요.

서버와 프록시의 역할

코드는 VPS에서 실행됩니다. 도구가 프록시를 사용하면 대상 사이트에는 프록시의 출구 IP가 표시됩니다. ARNPROXY의 데이터센터 IPv4나 회전형 상품은 반복적인 모니터링에 적합합니다. 고정형 ISP 프록시는 세션이 바뀌어도 같은 IP를 유지할 때 유용합니다. 레지덴셜 프록시로는 도시 단위의 지역 확인이 가능합니다. IPv6는 대상 서비스가 지원하는 경우에 사용하세요.

자동 요청이 허용된 대상에만 요청을 보내고 요청 횟수 제한을 지키세요.

VPS 사양 고르기

아래 사양은 출발점입니다. 대표적인 작업을 한 번 실행해 자원 사용량을 측정한 뒤 동시 실행 수를 늘리세요.

메모리 사용량부터 확인하세요. 메모리가 부족해 디스크 스왑이 잦아지면 모든 작업이 느려질 수 있습니다. CPU가 병목이라면 코어를 늘리기 전에 더 빠른 프로세서로 실행해 보세요.

설정하는 다섯 단계

1. VPS 위치를 선택하고 프록시 게이트웨이와 대상 서비스까지의 지연 시간을 측정합니다.
2. root가 아닌 계정을 만들고 SSH 키를 설정한 뒤 사용하지 않는 포트의 접근을 차단합니다.
3. Scrapy나 Playwright 같은 도구를 가상 환경 또는 컨테이너에 설치합니다.
4. 도구에 ARNPROXY 게이트웨이나 프록시 목록을 설정합니다. IP 인증을 지원하면 VPS의 출구 IP를 허용하고 고정 세션(sticky) 또는 회전 세션을 선택합니다.
5. 작업을 예약하고 오류, 응답 시간, 성공한 요청을 기록합니다. 트래픽 사용량과 테스트 결과에 따라 동시 실행 수를 조정합니다.

PSB Hosting 소개

PSB Hosting은 네덜란드, 독일, 핀란드, 미국에서 VPS를 제공합니다. DDR5 메모리, NVMe 저장 장치, 트래픽 용량 제한이 없는 요금제를 제공하며 Docker와 Node.js용 사전 구성 이미지도 있습니다. 선택한 요금제의 포트 속도와 자원은 주문 전에 확인하세요. 기술 지원은 24시간 이용할 수 있습니다.

PSB Hosting에서 첫 주문 시 코드 ARNPROXY를 입력하면 15% 할인됩니다.

VPS로 옮기기 좋은 시점

짧은 테스트는 개인 PC에서 진행해도 됩니다. PC를 꺼도 계속 실행해야 하는 정기 작업이라면 소규모 VPS부터 시작하세요. 요청이 의도한 프록시를 통과하는지 확인하고 CPU, 메모리, 응답 시간을 측정한 뒤 사양을 높이세요.