示意图:爬虫 VPS 通过 10 Gbps 不限流量的链路,在四个司法管辖区之间抓取网页
应用场景

专为网页抓取与数据采集打造的 VPS

爬虫 VPS 能给你一个干净的独立 IPv4 地址、一个 /64 IPv6 段、10 Gbps 不限流量的链路,以及 AMD EPYC 硬件上的 root 权限。CryptoVpsHost 在巴黎、雷克雅未克、苏黎世和布加勒斯特提供这些服务,免 KYC(无需实名认证):邮箱加密码就是全部的登录凭证。可用门罗币(Monero,XMR)、比特币(BTC)或另外六种币付款。S2 Pro(4 vCPU / 16 GB / 320 GB,每月 $15 起)能应付大多数爬虫;大型任务可升级到 S3 或 R1 独立服务器。

5 分钟阅读更新于 作者:CryptoVpsHost 团队

网页抓取从根本上说,是一个 I/O 与 IP 信誉的问题。你需要带宽来拉取页面,需要 CPU 和内存来解析、渲染页面,需要持久化磁盘来暂存数据,还需要一个信誉没有被上千个其他租户败光的 IP 地址。一台躲在类似家庭宽带的 NAT 之后、还被超卖的共享机器,这几项全都不合格。一台拥有 root 权限、独立地址和不限流量吞吐的干净 VPS,才是搭建爬虫的正确基础。

本页会讲清楚几件事:该开通什么配置,如何负责任且合法地抓取,让爬虫保持健康运行的 IP 与速率策略,以及为什么免 KYC、加密货币付款的主机适合研究人员和数据工程师。有一条硬性边界要先说在前面:我们的可接受使用政策(AUP)允许正当的抓取,但禁止以滥用为目的对第三方进行大规模扫描、放大攻击,以及任何会拖垮他人基础设施的行为。抓取是数据采集,而不是拒绝服务攻击。

干净的独立 IP 与不限流量的带宽为什么重要

决定爬虫成败的服务器属性有两个:IP 的信誉,以及它在不被限速、也不会被账单压垮的前提下能搬运多少数据。CryptoVpsHost 为每台服务器提供一个独立 IPv4 地址和一个已路由的 /64 IPv6 段。这个地址只属于你——它不是某个共享地址池的一部分,不会出现别人的激进机器人早已让整个网段被标记的情况。

带宽是另一半。每款套餐的链路最高可达 10 Gbps,不限流量。抓取具有突发性、高吞吐的特点;爬一遍大型目录站点,就可能拉下数百 GB 的数据。在按流量计费的主机上,这会变成一笔实打实的开销,或者一道硬性上限。而这里没有按 GB 计的出站流量费,所以你只需按任务规模来配置,不必迁就账单。

/64 IPv6 段值得特别关注。对于通过 IPv6 提供服务的目标站点,一个 /64 段能让你分配 2^64 个地址——可以让每个 worker 或每个逻辑会话绑定到你自己地址段内互不相同的 IPv6 源地址,这比购买来路不明的第三方代理要干净得多。再配上一个独立 v4 地址作为回退,你就拥有了一组完全自有、责任清晰的地址资源。各地区的具体规格请见 VPS 套餐。

负责任地抓取:robots、速率限制与法律

VPS 给了你猛烈抓取的能力,而自律要靠你自己。负责任的抓取既是道德底线,也是避免爬虫被封的务实做法。请把下面这几条当作不可商量的原则:

  • 读取 robots.txt 并遵守它。先获取 /robots.txt,遵守其中的 Disallow 规则和任何 Crawl-delay 设置。这是站点运营者公开表明的意愿。
  • 自己给自己限速。对每个主机每隔几秒发一次请求,才算文明;用并发请求猛砸一个小站,则不然。遇到 429/503 时,加入带随机抖动的退避,并采用指数退避重试。
  • 亮明机器人的身份。设置一个有描述性的 User-Agent,并附上联系方式,方便站点运营者联系到你。为了躲避检测而伪装成浏览器,对正当的研究来说是错误的做法。
  • 尊重服务条款和法律。服务条款(ToS)、美国《计算机欺诈和滥用法》(CFAA)、数据库权利和欧盟 GDPR,以及版权,全都适用。公开数据并不等于一张通用的许可证;无论个人数据是怎么获得的,处理它都伴随着相应的义务。
  • 缓存并去重。已经拿到的内容不要重复抓取。条件请求(If-Modified-Since、ETag)能降低双方的负载。

我们的可接受使用政策写得很明确:正当、限速的抓取没有问题;以滥用为目的对第三方进行大规模扫描、放大攻击,以及拖垮其他基础设施的流量,则不被允许。行为像 DDoS 的爬虫就是违规,没有商量余地。把爬虫写得彬彬有礼,你就永远不会碰到那条线。

轮换策略与入门技术栈

轮换的目的,是分散负载,让任何单一来源都不会压垮目标站点,而不是掩饰滥用。概括来说:

  • IPv6 源地址轮换——把各个 worker 绑定到你自己 /64 段内互不相同的地址上。这是你能做到的最干净的轮换,因为每个地址都归你所有、责任清晰。
  • 多地区部署——在巴黎、雷克雅未克、苏黎世或布加勒斯特运行采集节点,让爬虫靠近数据,并在地域上分散请求。
  • 请求头与会话规范——使用真实、一致的请求头,并正确处理 Cookie 和会话;轮换的是会话,而不是欺骗手段。
  • 并发上限与队列——针对每个目标域名设置全局限速器(令牌桶),比任何 IP 技巧都重要。

S2 Pro 上一套典型的 Debian 12 环境:

apt update && apt install -y python3 python3-venv git
python3 -m venv ~/scrape && source ~/scrape/bin/activate
pip install scrapy playwright httpx beautifulsoup4
playwright install --with-deps chromium

静态 HTML 用 scrapy,并开启 AUTOTHROTTLE_ENABLED = True;只有遇到靠 JavaScript 渲染的页面,才用 Playwright 驱动无头 Chromium——浏览器很吃内存,这正是 16 GB 以上内存的意义所在。把结果先暂存到 NVMe 磁盘,再转存到对象存储或数据库。操作系统可以从我们的镜像中选择(Debian 12/13、Ubuntu 22.04/24.04、Rocky 9、Alpine 等)。

为什么免 KYC 和加密货币付款适合数据工作

研究人员、记者和数据工程师往往有充分的理由,不愿把一个采集项目与自己的法律身份绑在一起:调查某个对手、处理敏感数据集,或者仅仅是不想让一个托管账户兼作身份档案。CryptoVpsHost 不要求证件、手机号、任何文件,也不要求邮箱验证——邮箱加密码就是全部的登录凭证,一次性邮箱同样欢迎。

计费仅限加密货币,共 8 种币:比特币、Monero(XMR)、莱特币、以太坊、波场(TRON)、USDT(ERC-20 与 TRC-20)以及 Solana。采用余额制——先充值,部署时再从余额中扣费。Monero 约 30 秒到账;比特币需要几分钟。充值奖励为:$100 档 +30%,$1000 档 +70%。对于周期较长的项目,12 个月周期可优惠 50%。这一切都不会把你的爬虫与某张以你名义持有的银行卡绑在一起。

部署速度很快——开通时间中位数约 47 秒(2026 年第一季度)——所以为一次突发任务临时拉起更多采集节点、用完再销毁,既便宜又迅速。如果司法管辖区是你威胁模型的一部分,可以看看我们的离岸托管方案。

该选哪款套餐

让套餐与爬虫的形态相匹配:

  • 轻量静态抓取(HTTP + HTML 解析,并发适中):S2 Pro——4 vCPU / 16 GB DDR5 / 320 GB NVMe Gen5,每月 $15 起——是合适的默认选择,也是最受欢迎的套餐。16 GB 内存足以在运行解析器的同时,从容地开几个无头浏览器标签页。
  • 无头浏览器集群或高并行度任务:S3 Power——8 vCPU / 32 GB / 640 GB,每月 $30 起——提供足够的核心和内存,让你同时运行大量 Chromium 实例而不发生内存交换。
  • 工业级规模的采集(持续的大规模爬取、内存去重、大容量暂存):独立服务器 R1(Ryzen 9 7950X,16 核 32 线程,64 GB ECC,2x2TB NVMe,每月 $89 起)或 R2 Pro(EPYC 9354,32 核 64 线程,128 GB),均配 10 Gbps 不限流量上行链路。裸金属服务器彻底消除了“吵闹邻居”(noisy neighbour)这一变量。

所有套餐都包含独立 IPv4、/64 IPv6、AMD EPYC 算力以及 99.97% 的在线率 SLA。可以先从 S2 起步,一分钟内下单;当一台机器需要用到全部核心时,再升级到独立服务器。

FAQ

常见问题解答

CryptoVpsHost 允许网页抓取吗?
允许——正当、限速且遵守 robots 规则的抓取,属于允许的用途。我们的 AUP 只禁止演变成滥用的抓取:以攻击为目的对第三方进行大规模扫描、放大攻击,或任何会拖垮他人基础设施的流量。把爬虫写得有礼貌,你就完全在规则之内。
爬虫能分到独立 IP 吗?
每台服务器都包含一个不与其他租户共用的独立 IPv4 地址,以及一个已路由的 /64 IPv6 段。这个 /64 段为你提供了一大批属于自己的地址,可以干净地轮换各 worker 的出口来源,而不必依赖来源不明的第三方代理。
做网页抓取该选哪款套餐?
S2 Pro(4 vCPU / 16 GB / 320 GB,每月 $15 起)能应付大多数爬虫,包括同时开几个无头浏览器标签页。大型无头浏览器集群请选 S3 Power(8 vCPU / 32 GB);工业级的持续爬取,则选 R1 或 R2 独立服务器,配 10 Gbps 不限流量的上行链路。
高强度抓取会产生带宽账单吗?
不会。网络最高 10 Gbps 不限流量,没有按 GB 计的出站流量费,所以大规模爬取不会冒出意外账单。请按任务所需的 CPU 和内存来选套餐;带宽既不是瓶颈,也不是成本。
可以匿名为爬虫服务器付款吗?
可以。这里免 KYC——邮箱加密码就是全部的登录凭证,不需要证件或手机号——并且仅限加密货币付款,共 8 种币。Monero(XMR)约 30 秒到账,因此研究项目的基础设施不必与你的法律身份绑定。

部署你的离岸服务器。

选择地区。选择套餐。粘贴密钥。付款。接下来的 47 秒由我们负责。