B 站小站爬虫:用 Playwright 遍历发现 72 个兴趣社区
本文介绍了作者在 B 站发现“我的世界小站”功能后,对 MC 玩家社区需求的分析以及通过技术手段批量探索小站的过程。作者认为玩家真正缺失的不是论坛形式,而是优质资源和联机玩伴。为了了解 B 站共建了多少个小站,作者尝试编写爬虫,但发现网站采用 Vue 等前端框架进行客户端渲染,普通 HTTP 请求无法获取完整 HTML。随后利用 Playwright 库调用无头 Chromium 浏览器,模拟真实用户加载页面,等待 JS 执行完毕后提取 div.name 元素内容。脚本从数字 1 开始递增访问,遇到超时(视为 404)自动停止,成功获取到共 72 个小站的名称列表,包括艾尔登法环小站、Switch 小站、佛学学习分享小站等。文章还分享了脚本的 UA 伪装、依赖库配置、以及开发者对开源文档的考量,最终为读者提供了一个可直接运行的自动化工具,并鼓励对 B 站小站生态感兴趣的用户收藏使用。




