novaya-gazeta-ru/archive

这是对俄罗斯独立媒体 novayagazeta.ru 的抢救性存档：网站已宣布 2026 年 11 月 9 日关停服务器，该项目赶在截止日前把 2000 至 2026 年间的 93,933 篇文章连同配图抓取为 Markdown 文件，共 1.1 GB 文本和 8.3 GB 图片，按日期归档。它不依赖浏览器和第三方包，只用 Python 标准库直接读取页面内嵌的 JSON 数据，因此速度很快，约每秒 14 个请求，两万篇二十分钟即可完成；由于站点不公开完整索引，脚本还从 sitemap、Common Crawl、搜索接口和 Wayback Machine 等多个来源拼凑 URL，抓取可断点续跑。对做俄语语料、新闻文本挖掘或媒体史研究的人来说，这是一份现成的大规模语料库；如果你的工作与俄语内容、新闻数据无关，这个项目基本不用看。

Star 趋势

仓库信息