From e1f760e1fbfdcb732d91d4245f174b6655ab9d4f Mon Sep 17 00:00:00 2001 From: github-actions <41898282+github-actions[bot]@users.noreply.github.com> Date: Thu, 8 Jun 2023 20:07:48 +0000 Subject: [PATCH] [U] Update channel content --- exports/hykilp/atom.xml | 2 +- exports/hykilp/index.html | 2 +- exports/hykilp/posts.json | 8 ++++---- exports/hykilp/rss.xml | 2 +- 4 files changed, 7 insertions(+), 7 deletions(-) diff --git a/exports/hykilp/atom.xml b/exports/hykilp/atom.xml index 3ccbc6bc4..d425f59a0 100644 --- a/exports/hykilp/atom.xml +++ b/exports/hykilp/atom.xml @@ -2,7 +2,7 @@ https://aza.moe/life 小桂桂的回忆录 📒 - 2023-06-08T18:08:20.638622+00:00 + 2023-06-08T20:07:46.290778+00:00 python-feedgen https://aza.moe/meru_256px.png diff --git a/exports/hykilp/index.html b/exports/hykilp/index.html index 8c59e9dd1..a8a3d81ac 100644 --- a/exports/hykilp/index.html +++ b/exports/hykilp/index.html @@ -27,7 +27,7 @@ diff --git a/exports/hykilp/posts.json b/exports/hykilp/posts.json index 5cd403ac1..7a84f68d1 100644 --- a/exports/hykilp/posts.json +++ b/exports/hykilp/posts.json @@ -30249,7 +30249,7 @@ "id": 2250, "date": "2023-06-05T06:30:58", "text": "好,无意间翻到了 31 号写到一半的年度总结 🤗", - "views": 89, + "views": 90, "forwards": 1, "reply": { "id": 1687, @@ -30309,7 +30309,7 @@ "id": 2255, "date": "2023-06-07T03:35:24", "text": "在 MS 工作就必须用 Azure,发现 Azure 还没有我的 homelab 好用 🐱\n\n上周从 GCR 申请了一台有 GPU 的服务器,他们在 Azure 上分配给我了一个 A100 VPS,配了两个 1TB HDD。第二周爬数据,爬的时候懒得做处理直接把 json 存下来了,爬了大概 100GB 九百万个 json,然后清理数据分析的时候读的特别慢,刚开始还以为是 python json 解析慢结果换成 rust simd-json 还是一样慢,然后 btop 一下看 100% IO 读速居然只有 5 MB/s 😨 好,读本地硬盘比从网上爬还慢了\n\n找解决方案的时候 fdisk -l 发现有一个没有初始化的 800GB NVMe,测一下顺序写 825 MB/s。群友告诉我这是重启都有可能清空的临时盘,但是没办法呀就用这个吧,然后就把数据 rsync 过去了,可能因为 rsync 是顺序读快一点,50 MB/s。同时又发邮件找 GCR 客服要了一块 SSD,一串邮件之后,他们在五分钟内重启了服务器并给我把那块 1T HDD “扩容成” 2TB SSD 了... 这是什么魔法 😨\n\nfdisk 显示甚至分区表都没有变但是空间确实多了 1T,新的数据写入 233 MB/s,但是旧的数据读取更慢了,900 KB/s。算了算了,那就搬数据吧,然后发现重启之后那个临时 NVMe 盘居然真的被清空了... 重新从扩容 SSD 拷到 NVMe 再重新建文件系统拷回去,前者 900 KB/s 拷了两整天才拷完,不过后者两个小时就拷完啦。\n\n好,终于有一个能用的 SSD 了,做了些数据分析,发现数据不太能用,开始爬新的数据。新的爬虫改成了 postgres,因为实在不想再折腾这么多小文件了,虽然 pg 也有 pg 的问题... 总之踩了各种坑把新的爬虫写好了。全都跑起来之后发现即使在 SSD 上跑 pg 也会遇到读写瓶颈,似乎占到 100% IO 也只能写到 50MB/s。结果再次迁移到临时 NVMe 上面去了,写到 400MB/s 瓶颈反而更平衡一些,又写了一个备份脚本每小时把数据同步回 SSD 上,终于有望在有限的时间内把数据爬完了 ;-;", - "views": 42, + "views": 43, "forwards": 1, "media_group_id": 13488871396425789, "images": [ @@ -30339,7 +30339,7 @@ "id": 2256, "date": "2023-06-07T05:16:19", "text": "#桂桂今天吃什么\nJessica 住在这里的最后一天一起做了土豆肥牛和速冻混沌 👩‍🍳\n\n明天她搬走之后这里会做饭的就只剩下我一个人了... 呜", - "views": 41, + "views": 42, "forwards": 0, "images": [ { @@ -30358,7 +30358,7 @@ "id": 2257, "date": "2023-06-08T05:44:20", "text": "发现我即使是在中文语境下说数字也还是会习惯用英文的语法排列,比如 1/5 我会说成“一除五”,之前聊爬数据的时候 16,000,000 说成了“十六百万”,和父母聊天也总会随口说出二十千一百千的 🌚\n\n感觉这样好 whitewashed,但是真的去转换的话就会觉得啊脑子转不过来了", - "views": 35, + "views": 36, "forwards": 0 } ] \ No newline at end of file diff --git a/exports/hykilp/rss.xml b/exports/hykilp/rss.xml index b93d6a1da..a722d53e3 100644 --- a/exports/hykilp/rss.xml +++ b/exports/hykilp/rss.xml @@ -12,7 +12,7 @@ https://aza.moe/life zh-cn - Thu, 08 Jun 2023 18:08:20 +0000 + Thu, 08 Jun 2023 20:07:46 +0000 小桂桂的回忆录 📒 #2257 https://aza.moe/life?post=2257