VPS, созданный для веб-скрапинга и сбора данных

Успех краулера определяют два свойства сервера: репутация его IP-адреса и то, сколько данных он способен прокачать, не упираясь в лимиты и не разоряя вас счетами за трафик. В CryptoVpsHost на каждом сервере вы получаете выделенный IPv4 и маршрутизируемую подсеть /64 IPv6. Адрес принадлежит только вам — он не входит в общий пул, где из-за чужого агрессивного бота весь диапазон уже помечен как подозрительный.

Вторая половина — пропускная способность. Каждый тариф работает на канале до 10 Gbps без лимита трафика. Скрапинг идёт всплесками и большими объёмами: обход крупного каталога может вытянуть сотни гигабайт. На хостинге с учётом трафика это превращается в реальные расходы или жёсткий потолок. У нас нет платы за гигабайты исходящего трафика, поэтому масштаб вы подбираете под задачу, а не под счёт.

Блок /64 IPv6 заслуживает отдельного внимания. Для целей, доступных по IPv6, подсеть /64 даёт 2^64 адресов для назначения: каждого воркера или каждую логическую сессию можно привязать к своему IPv6-источнику из собственной выделенной подсети — это куда чище, чем покупать сомнительные сторонние прокси. Добавьте выделенный IPv4 как запасной вариант — и у вас будет собственная подотчётная адресная поверхность. Подробности по регионам смотрите в тарифах VPS.

VPS даёт вам возможность краулить в полную силу. Дисциплина — на вас. Ответственный скрапинг — это и этическая основа, и практичный способ уберечь краулер от блокировок. Считайте следующее обязательным:

• Читайте robots.txt и соблюдайте его. Сначала запросите /robots.txt, уважайте правила Disallow и любой Crawl-delay. Это опубликованное заявление владельца сайта о его пожеланиях.
• Ограничивайте частоту запросов сами. Один запрос раз в несколько секунд на хост — это цивилизованно; заваливать маленький сайт параллельными запросами — нет. Добавьте задержки с джиттером и экспоненциальные повторы при ответах 429/503.
• Представляйтесь. Задайте информативный User-Agent с контактом, чтобы владелец сайта мог с вами связаться. Подделывать браузер, чтобы уйти от обнаружения, — неверная позиция для законного исследования.
• Соблюдайте условия использования и закон. Действует всё сразу: условия использования (ToS), CFAA (США), права на базы данных и GDPR (ЕС), а также авторское право. Публичные данные — не универсальная лицензия; персональные данные налагают обязательства независимо от того, как вы их получили.
• Кешируйте и убирайте дубликаты. Не скачивайте повторно то, что у вас уже есть. Условные запросы (If-Modified-Since, ETag) снижают нагрузку с обеих сторон.

Наша Политика допустимого использования недвусмысленна: законный краулинг с ограничением частоты допустим; массовое сканирование третьих лиц как злоупотребление, атаки с амплификацией и трафик, ухудшающий работу другой инфраструктуры, недопустимы. Скрапер, который ведёт себя как DDoS, — это нарушение, и точка. Напишите вежливый краулер — и до этой черты вы никогда не дойдёте.

Цель ротации — распределить нагрузку так, чтобы ни один источник не перегружал цель, а не замаскировать злоупотребление. В общих чертах:

• Ротация IPv6-источников — привязывайте воркеры к разным адресам из собственной /64. Это самая чистая ротация из возможных: каждый адрес принадлежит вам, и вы за него отвечаете.
• Размещение в нескольких регионах — запускайте сборщики в Париже, Рейкьявике, Цюрихе или Бухаресте, чтобы разместить краулер рядом с данными и распределить запросы географически.
• Гигиена заголовков и сессий — реалистичные, согласованные заголовки и корректная работа с cookie и сессиями; ротируйте сессии, а не вводите сайт в заблуждение.
• Лимиты параллелизма и очереди — глобальный ограничитель частоты (token bucket) на каждый целевой домен важнее любых фокусов с IP.

Типичный набор на Debian 12 для S2 Pro:

apt update && apt install -y python3 python3-venv git
python3 -m venv ~/scrape && source ~/scrape/bin/activate
pip install scrapy playwright httpx beautifulsoup4
playwright install --with-deps chromium

Используйте scrapy с AUTOTHROTTLE_ENABLED = True для статического HTML, а headless Chromium под управлением Playwright — только для страниц, которые рисует JavaScript: браузеры прожорливы по памяти, поэтому так важны 16 ГБ и больше. Складывайте результаты на NVMe-диск, а затем отправляйте их в объектное хранилище или базу данных. Выберите ОС из наших образов (Debian 12/13, Ubuntu 22.04/24.04, Rocky 9, Alpine и другие).

У исследователей, журналистов и дата-инженеров нередко есть веские причины не привязывать проект по сбору данных к своей юридической личности: расследование деятельности оппонента, работа с чувствительным набором данных или просто нежелание иметь хостинг-аккаунт, который заодно служит досье на вас. CryptoVpsHost не требует ни удостоверения личности, ни телефона, ни документов, ни подтверждения email — учётные данные состоят лишь из email и пароля, а одноразовый email только приветствуется.

Оплата — только криптовалютой, в 8 монетах: Bitcoin, Monero (XMR), Litecoin, Ethereum, TRON, USDT (ERC-20 и TRC-20) и Solana. Система основана на балансе: вы пополняете его, а при развёртывании сумма списывается с баланса. Monero зачисляется примерно за 30 секунд; Bitcoin — за несколько минут. Бонусы за пополнение достигают +30 % при $100 и +70 % при $1000. Для долгих проектов 12-месячный цикл — со скидкой 50 %. Ничто из этого не привязывает ваш краулер к карте на ваше имя.

Развёртывание быстрое — медиана около 47 секунд (I квартал 2026 года), — так что поднять дополнительные сборщики под разовую пиковую задачу и потом удалить их недорого и быстро. Если юрисдикция входит в вашу модель угроз, изучите варианты офшорного хостинга.

Подбирайте тариф под профиль краулера:

• Лёгкий статический скрапинг (HTTP + разбор HTML, умеренный параллелизм): S2 Pro — 4 vCPU / 16 ГБ DDR5 / 320 ГБ NVMe Gen5, от $15/мес — правильный вариант по умолчанию и самый популярный тариф. 16 ГБ спокойно вмещают несколько вкладок headless-браузера рядом с парсером.
• Парки headless-браузеров или высокий параллелизм: S3 Power — 8 vCPU / 32 ГБ / 640 ГБ, от $30/мес — даёт ядра и память, чтобы одновременно запускать много экземпляров Chromium без свопинга.
• Сбор промышленного масштаба (непрерывные крупные обходы, дедупликация в памяти, объёмное промежуточное хранилище): выделенный R1 (Ryzen 9 7950X, 16c/32t, 64 ГБ ECC, 2x2TB NVMe, от $89/мес) или R2 Pro (EPYC 9354, 32c/64t, 128 ГБ) на аплинке 10 Gbps без лимита трафика. Физический сервер полностью снимает фактор «шумных соседей».

Во всех тарифах есть выделенный IPv4, /64 IPv6, вычислительные мощности AMD EPYC и SLA по аптайму 99,97 %. Начните с S2 и закажите за минуту или переходите на выделенный сервер, когда одной машине нужны все ядра.