最新文章
20STWP 02026 五月 meetup
公元 02026 年的五月底到六月初，我到各地跟 saveweb 一些成员们面基了。以下为照片。 好耶！ 好耶 … Continue reading "STWP 02026 五月 meetup"
阅读全文
02LTO 磁带存储初探
HC550: 02023 年时，我只需 800 块，那时你对我爱答不理，今天我让你高攀不起。 如今的存储市场， … Continue reading "LTO 磁带存储初探"
阅读全文
03The Chaotic Web, Headless Archiving — GSoC 2025 Final Report
Summer is quietly coming to an end. As Google Summer of Code (GSoC) 2025 wraps up, it’s time to hand in my summer homework — this GSoC final report.
阅读全文
04混乱Web，无头存档，开源拖拉机——2025 GSoC 最终报告
夏天夏天悄悄过去，今年的 Google 编程之夏（Google Summer of Code, GSoC）即将结束，是时候赶在DDL（9月2日）前写份最终报告了。
阅读全文
05STWP 2025 第 26 周周报
还是全是 Zeno 。
阅读全文STWP 2025 第 20-25 周合并周报
过去一个月是期末，没时间。现在好久没发周报了，快速过一下最近5周做了啥。主要做的事是 Zeno，没有开其它存档 … Continue reading "STWP 2025 第 20-25 周合并周报"
阅读全文STWP 2025 第 11-19 周合并周报
STWP 2025 第 11 周周报 无事。 STWP 2025 第 12 周周报 整两个小活： STWP 2 … Continue reading "STWP 2025 第 11-19 周合并周报"
阅读全文STWP 2025 第 4-10 周合并周报
STWP 2025 第 4 周周报 STWP 2025 第 5 周周报 STWP 2025 第 6 周周报 S … Continue reading "STWP 2025 第 4-10 周合并周报"
阅读全文存档误入深水区——If Summer is calling us
去年我在寻 Golang 写的 WARC archiver，然后发现了 Zeno。把玩一番，发现些问题，然后发 … Continue reading "存档误入深水区——If Summer is calling us"
阅读全文丑搜 v3 出炉
姐妹们！我又来啦！上次给大家安利的宝藏搜索引擎「丑搜」竟然又双叒叕更新啦！速度也太快了吧！简直是光速迭代！ h … Continue reading "丑搜 v3 出炉"
阅读全文使「対多」避免被删库——PostgreSQL RSP/RLS 这件小事
没东西写了，写点还没在博客上发的流水账。 一个月前，一款偽中国語掲示板 APP——「対多」，横空出世，迅速火爆 … Continue reading "使「対多」避免被删库——PostgreSQL RSP/RLS 这件小事"
阅读全文STWP 2024 第 43-52 周合并周报
STWP 2024 第 43 周 STWP 2024 第 45 周周报 STWP 本周趣闻： STWP 202 … Continue reading "STWP 2024 第 43-52 周合并周报"
阅读全文STWP 2024 第 42 周周报
本周新闻： IA 即便宕机也要办活动 —— Escaping the Memory Hole 活动将于下周周三 2024-10-23 17:00 (UTC+8) 开始并有线上直播。活动主题是：「在一个主要娱乐网站一夜之间消失、流媒体毫无征兆地从平台上消失的世界里，我们的数字文化面临着被抹去的风险。有哪些保障措施可以保存我们的集体记忆？」 WordPress Foundation 向 IA 捐款十万$。究竟是人文关怀还是公关支出？ STWP 本周进展： 某项目：单机数据库迁副本集。重构，错误处理，Redis 队列，并行化。 @luoingly 天涯小筑：打好了 warc ，等待上传。 @yzqzss 某项目：4 号开始，已存四千万 p…
阅读全文感谢 GitHub 的 $617 欢乐赞助（误）
虽然这不是“赞助”，但我们确实收到了来自 GitHub 的 $615 ，过程挺欢乐的。
阅读全文
15我们救下了一千万张画作
画吧是于 2013 年成立的绘画 APP。其特色功能是用户上传作品到社区时，APP 会同时上传工程文件。浏览者 … Continue reading "我们救下了一千万张画作"
阅读全文如何存档任意 WordPress 站点？
将任意 WordPress 的全部文章的 URL 推送到 Wayback Machine
阅读全文STWP 2023 第 25 周周报
第 25 周项目摘要 萤火圈 已为 5 位萤火圈用户提供了个人公开数据备份。 半次元 半次元全部图片已下载完毕，总量 95 TB；source 半次元存档状态见 here by @MistyNya。 播客 尝试使用 Golang 重写播客存档的工具；source 小宇宙保护性存档；source 存档范围确定，忽略 iTunes 平台上的播客。source BiliBili 自动化 OCR 识别“周刊哔哩哔哩排行榜”的视频编号 (bvid/avid) 的程序 schroedinger-extractor 开发中。source, demo] by @OverflowCat 广播电台 正协助 Internet Archive 从 radi…
阅读全文已存档「萤火圈」，提供个人公开数据备份
在半次元宣布停服前几天，小众APP萤火圈也宣布将停服。这款以女性游戏用户为主的APP运营3年，日活5万的情况下，付费不到5%，官方曾在抖音直播带货自救。——「半次元停服了，我的快乐老家没有了-36氪」 感谢 @OverflowCat 的投稿。（2023-6-13） 截止到关站前，我们成功存档了全站的公开内容： 1.3G uids/ 用户信息 4.3G posts/ 帖子信息 148G user_avatars/ 用户头像 1.3T post_media/ 帖子中的媒体文件 由于此站意外的有很多 NSFW 内容，以及考虑到萤火圈作为女性社区的社区性质，我们目前决定不将全站存档上传到 Internet Archive 或者网盘之类的地方…
阅读全文STWP 2023 第 15 周周报
第 15 周项目摘要 尝试联系 wikiteam bot 的原所有者无果，于是在 wikiapiary 上部署了我们的 savewebbot 。 准备/宣传 第一届存档马拉松活动（主题是 DokuWiki 存档）。 给 savewebbot 开了 10 线程，wikiapiary 管理员说 bot 编辑页面频率太猛。于是加上1分钟编辑一次的限制。 原来的 wikiteam bot 用很灵车的正则来改 wikitext 。弃用，saveweb bot 改用“更科学”的方法。 继续 写/修 播客存档工具。修了个 RSS 的 enclosure 如果报非法的大小，工具会炸的 BUG 。 应 wikiteam IRC 中 @JAA 的请求，…
阅读全文如何存档 DokuWiki 站点（第一届存档马拉松活动）
遇到问题，请给我们反馈 准备工作 Internet Archive 先去 IA 注册个帐号 https://archive.org/account/signup 然后到 https://archive.org/account/s3.php 生成并记下你 S3-Like API 的 access key 和 secret key 。 安装 Python 及 dokuWikiDumper dokuWikiDumper 要求 Python 3.8+ ，如果你是 Windows 用户，随便在 Python 官网下个别太旧的版本就行。 装好 Python 后，运行 pip install dokuWikiDumper ，好了， dokuWik…
阅读全文