[U] Update channel content

2024-08-15 10:11:06 +00:00
parent 74be336581
commit e9a9fa7664
7 changed files with 57 additions and 20 deletions
@@ -2,11 +2,19 @@
 <feed xmlns="http://www.w3.org/2005/Atom" xml:lang="zh-cn">
  <id>https://aza.moe/life</id>
  <title>小桂桂的回忆录 📒</title>
-  <updated>2024-08-15T08:09:41.239673+00:00</updated>
+  <updated>2024-08-15T10:11:03.333655+00:00</updated>
  <link href="https://aza.moe/life" rel="alternate"/>
  <generator uri="https://lkiesow.github.io/python-feedgen" version="0.9.0">python-feedgen</generator>
  <logo>https://aza.moe/meru_256px.png</logo>
  <subtitle>「我们所经历的每个平凡的日常，也许就是连续发生的奇迹」</subtitle>
+  <entry>
+    <id>4326</id>
+    <title>小桂桂的回忆录 📒 #4326</title>
+    <updated>2024-08-15T08:25:05+00:00</updated>
+    <content>&lt;p&gt;聊聊：想让你像猫猫 gif 里那样 rua 我
+我：好，天降抱枕 &lt;i class="custom-emoji" emoji-src="emoji/4981340762533790955.webp"&gt;😺&lt;/i&gt;&lt;/p&gt;</content>
+    <link href="https://aza.moe/life?post=4326" rel="alternate"/>
+  </entry>
  <entry>
    <id>4323</id>
    <title>小桂桂的回忆录 📒 #4323</title>
@@ -55518,7 +55518,7 @@
  {
    "id": 4072,
    "date": "2024-06-29T06:40:59",
-    "views": 310,
+    "views": 311,
    "forwards": 4,
    "files": [
      {
@@ -58651,7 +58651,7 @@
    "id": 4295,
    "date": "2024-08-09T03:18:49",
    "text": "<a href=\"##ML\">#ML</a> 今天把 Sekai LLM 的大模型部署到新的 V100 服务器上了！\n\n为了最大化部署效率试了很多不同的框架，首先看到了别人的<a href=\"https://bentoml.com/blog/benchmarking-llm-inference-backends\">测试结果</a>，大概是 LMDeploy 效率最高，其次是 MLC，再其次是 vLLM。所以我首先试了 LMDeploy，然后遇到了一堆问题...\n\n首先试了 vLLM 因为它是星星<i class=\"custom-emoji\" emoji-src=\"emoji/6107338590335799902.webp\">⭐️</i>最多的，但是发现它会提示内存不够，即使在 24GB 的 4090 上加载 4bit 量化过的模型都提示内存不够（量化过之后用一般的 HF Transformers 加载只需要 8GB 多一点的显存）可能 vLLM 在尝试把 Qwen2 的 128K 上下文全都预留出来吧，那肯定是不够的。试了各种解决方案都跑不起来就放弃了 <i class=\"custom-emoji\" emoji-src=\"emoji/6323582802050680516.webp\">🛌</i>\n\n把训练好的 7B LoRA 模型文件挪到新机器上之后跑 LMD 发现 16GB 显存不够，确实不够，那试试两个显卡一起吧，然后直接 segfault 崩溃了 <i class=\"custom-emoji\" emoji-src=\"emoji/6323343426343404864.webp\">❓</i> 那用 AWQ 量化到 4bit 之后总可以了吧？发现输出是乱码，去 issue 里面查才发现最新版本的 LMD 还不支持 V100 AWQ <i class=\"custom-emoji\" emoji-src=\"emoji/6323582802050680516.webp\">🛌</i> 但是已经有人加了支持，开了一个 <a href=\"https://github.com/InternLM/lmdeploy/pull/2090\">+12120 -4990 的巨大 PR</a> 还没有合进去，那试试吧？发现用这个 PR 的话 AWQ 可以跑了但是很慢，而且多卡还是会崩溃... 算了算了换别的试试吧\n\n最后试了 MLC，从量化到运行没有遇到任何问题，多显卡推理也是加一个参数没有调其他的就成功了，每个请求 0.43 秒的性能也相当不错。不过发现多加一张 V100 在没有批量的情况下跑张量并行只能提升 13% 的性能，基本上就只能作为一张显存更大的 V100 用... 还是对 Sxm2 的带宽好失望，不过也很够用啦",
-    "views": 76,
+    "views": 77,
    "forwards": 0,
    "media_group_id": 13785388234834757,
    "images": [
@@ -58722,7 +58722,7 @@
    "id": 4299,
    "date": "2024-08-09T08:48:10",
    "text": "<a href=\"##戴上耳机\">#戴上耳机</a>\n神のまにまに！\n\n今天打プロセカ发现的这首歌，好久没有听到这么欢乐治愈的ボカロ曲了 qwq\n\n<a href=\"https://www.youtube.com/watch?v=b2GJcYBoVyg\">原曲MV</a> | <a href=\"https://www.youtube.com/watch?v=cb1s5_U0wd0\">プロセカ 3DMV</a>",
-    "views": 83,
+    "views": 84,
    "forwards": 0,
    "files": [
      {
@@ -58744,14 +58744,14 @@
    "id": 4300,
    "date": "2024-08-09T21:36:19",
    "text": "奇妙，我在 VSCode 上连接 SSH 终端，在 SSH 那边打了一个 git push，它弹了一个窗口在本地打开浏览器选择账号登录，然后跳转连接跳转回了 VSCode 过一会 push 成功了... 现在 VSCode 的集成已经这么厉害了吗 <i class=\"custom-emoji\" emoji-src=\"emoji/6170139473288890346.webm\">🤩</i>",
-    "views": 77,
+    "views": 78,
    "forwards": 0
  },
  {
    "id": 4301,
    "date": "2024-08-09T23:44:01",
    "text": "<i class=\"custom-emoji\" emoji-src=\"emoji/6323267916523374069.webp\">🥺</i>",
-    "views": 104,
+    "views": 106,
    "forwards": 2,
    "images": [
      {
@@ -58770,7 +58770,7 @@
    "id": 4302,
    "date": "2024-08-10T06:43:02",
    "text": "<a href=\"##ML\">#ML</a> 之前模型还部署在 menci 学校机器上的时候，发现它有一个很大的问题就是说话人非常不准，比如你找瑞希说话的时候突然初音出来说话了...\n\n前几天决定测一下这个问题，写脚本给每个队伍生成了 200 组测试数据，每条是一个随机的人问另一个人最近过得怎么样（比如”絵名：瑞希你最近怎么样？“）让模型生成下一句，看看回复的人对不对。测试出来发现最高居然只有 70% 正确率，明明是这么基础的对话逻辑...\n\n然而昨天把推理库换从 LMD 换成 MLC 之后，测速的时候偶然发现似乎每一条都是正确的，即使运气好也不应该这样。测一下好了，然后发现 MLC 的回复人准确率到了 98% <i class=\"custom-emoji\" emoji-src=\"emoji/6323275213672810256.webp\">😀</i>\n\n第一次知道原来推理库不止影响模型速度，对回复质量影响也这么大",
-    "views": 67,
+    "views": 68,
    "forwards": 0,
    "reply": {
      "id": 4295,
@@ -58794,7 +58794,7 @@
    "id": 4303,
    "date": "2024-08-10T07:22:00",
    "text": "发现自己做研究的时候，找到一个比较好的方案就不是很有动力再去从零开始尝试其他的方案了，只会去想办法优化这个方案，因为做新的尝试会消耗很多时间精力和计算资源，也不一定会更好... 可是如果不尝试，即使有更好的方案也没办法知道 <i class=\"custom-emoji\" emoji-src=\"emoji/6323582802050680516.webp\">🛌</i>\n\n<span class=\"spoiler\"><span>也许人类这个集体就是某种分布式的梯度下降算法，每个人都只会从其他人知识库的顶端继续向下走，直到慢慢在某个局部最低点聚合。真的从零开始走少经之路的人没办法获得资源，靠自己也做不到什么吧...\n\n暴论一下，如果我们的现实是某种模拟的话，我大概理解为什么会有人想要模拟一切事物从零发展了。解决梯度下降卡住一个很常用的办法就是模拟很多次，从不同的随机起点重新跑... 也许我们的现实就是随机起点之一吧</span></span> <i class=\"custom-emoji\" emoji-src=\"emoji/5445083289314401705.tgs\">🪟</i>",
-    "views": 69,
+    "views": 70,
    "forwards": 0,
    "reply": {
      "id": 4302,
@@ -58805,7 +58805,7 @@
    "id": 4304,
    "date": "2024-08-11T07:18:27",
    "text": "<a href=\"##桂桂今天吃什么\">#桂桂今天吃什么</a> （昨天？\n看到信达超市的鸡皮又有货了就做了烤鸡皮 <i class=\"custom-emoji\" emoji-src=\"emoji/6170139473288890346.webm\">🤩</i> $2 够两个人吃两顿好便宜\n\n之前很长一段时间都下架了（x",
-    "views": 60,
+    "views": 61,
    "forwards": 0,
    "media_group_id": 13786885663459205,
    "images": [
@@ -58912,7 +58912,7 @@
    "id": 4313,
    "date": "2024-08-11T07:50:23",
    "text": "起床觅食有被拐角的新叶喵吓到 <i class=\"custom-emoji\" emoji-src=\"emoji/6323556186138346934.webp\">😢</i>\n\n...以及拍照的时候手机没拿稳拍出了奇妙照片 quq",
-    "views": 69,
+    "views": 74,
    "forwards": 0,
    "media_group_id": 13786900988263349,
    "images": [
@@ -58942,7 +58942,7 @@
    "id": 4315,
    "date": "2024-08-11T08:40:04",
    "text": "<a href=\"##ADHD\">#ADHD</a> 发现自己忘了要干什么的时候就会在命令行里反复打 ll <i class=\"custom-emoji\" emoji-src=\"emoji/6170424195260877091.webm\">🤗</i>",
-    "views": 72,
+    "views": 73,
    "forwards": 0,
    "images": [
      {
@@ -58961,14 +58961,14 @@
    "id": 4316,
    "date": "2024-08-11T20:12:30",
    "text": "日语输入法的 romaji 键盘和かな键盘的关系是不是就像中文输入法的拼音键盘和双拼一样 <i class=\"custom-emoji\" emoji-src=\"emoji/5445226814236533679.tgs\">🧐</i>",
-    "views": 65,
+    "views": 67,
    "forwards": 0
  },
  {
    "id": 4317,
    "date": "2024-08-11T21:56:19",
    "text": "哈哈哈哈这是在画啥",
-    "views": 64,
+    "views": 65,
    "forwards": 0,
    "images": [
      {
@@ -58987,7 +58987,7 @@
    "id": 4318,
    "date": "2024-08-11T23:43:24",
    "text": "写了一个 iOS shortcut 在打开音游的时候自动进入音游模式 qwq",
-    "views": 67,
+    "views": 69,
    "forwards": 0,
    "media_group_id": 13787358434236013,
    "images": [
@@ -59017,7 +59017,7 @@
    "id": 4320,
    "date": "2024-08-11T23:59:23",
    "text": "切肉肉差点切到手了，还好有指甲 <i class=\"custom-emoji\" emoji-src=\"emoji/6323267916523374069.webp\">🥺</i>",
-    "views": 64,
+    "views": 67,
    "forwards": 0,
    "images": [
      {
@@ -59036,14 +59036,14 @@
    "id": 4321,
    "date": "2024-08-13T00:56:50",
    "text": "有点想做一个白嫖互联万物获得无限容量无限冗余的存储方案——网络上很多和存储无关的服务也会存一些元数据，从最简单的比如用户名和简介到推文到游戏存档，即使每个位置都只有很短的长度限制，加起来也是无穷大的。在想能不能做一个框架把自己的数据分成碎片塞进世界的所有角落\n\n而且说不定可以用爬虫自动爬整个互联网的链接树，让 LLM 帮忙找到所有可以塞数据的角落",
-    "views": 72,
+    "views": 74,
    "forwards": 2
  },
  {
    "id": 4322,
    "date": "2024-08-13T04:56:19",
    "text": "行会会长是雕像",
-    "views": 54,
+    "views": 57,
    "forwards": 0,
    "images": [
      {
@@ -59062,7 +59062,7 @@
    "id": 4323,
    "date": "2024-08-13T05:35:06",
    "text": "入坑了 ff14! 我是魔法大猫咪 <i class=\"custom-emoji\" emoji-src=\"emoji/5443042995165209696.tgs\">🧙‍♂</i>\n\n目前在国际版日服免费试玩过了新手村，感觉这个游戏作为 2010 年的游戏真的很有年代感了，入坑之前有期待过的画质还是剧情还是玩法都有些失望。\n\n画质作为那个时代的作品不算差，但是实在太一般了，很多材质面数都出奇的低，光影阴影也很生硬，走路动作没有过渡，嘴唇动作也不跟语音... 椅子还不能坐 <i class=\"custom-emoji\" emoji-src=\"emoji/5444876709977398781.tgs\">😸</i> <del>要是 ff14 有 optifine / iris 就好了</del>\n\n玩法的话，完全没有策略。如果说博门 3 的战斗像下一盘棋，那 ff14 的战斗就像打扫房间。小任务打野怪只要开局做体操、中间反反复复地点输出、掉了血就回血，数值够自然就能赢，数值不够再想办法也打不过。多人战斗虽然手忙脚乱，但是也只是看谁血低给谁回血就好了，不会打完全因为 ADHD <i class=\"custom-emoji\" emoji-src=\"emoji/5445397062445178872.tgs\">😓</i> 不用大模型，一个条件判断脚本就能比我打得好了\n\n不过新手村也不是全部，也有些期待之后的剧情或者技能多起来之后的战斗会有所不同。而且可能玩 ff14 的感觉像以前玩 minecraft 一样，游戏乐趣很大程度来源于社交吧 quq",
-    "views": 44,
+    "views": 53,
    "forwards": 0,
    "media_group_id": 13788218452876189,
    "images": [
@@ -59097,5 +59097,27 @@
        "thumb": "media/4325.jpg_thumb.jpg"
      }
    ]
+  },
+  {
+    "id": 4326,
+    "date": "2024-08-15T08:25:05",
+    "text": "聊聊：想让你像猫猫 gif 里那样 rua 我\n我：好，天降抱枕 <i class=\"custom-emoji\" emoji-src=\"emoji/4981340762533790955.webp\">😺</i>",
+    "views": 32,
+    "forwards": 0,
+    "files": [
+      {
+        "file_name": "({$1@}3%{JK~SO%453JZ[`A.gif.mp4",
+        "mime_type": "video/mp4",
+        "date": "2020-12-03T12:25:19",
+        "width": 224,
+        "height": 224,
+        "duration": 5,
+        "media_type": "animation",
+        "original_name": "({$1@}3%%{JK%fgSO%%453JZ[`A.gif.mp4",
+        "url": "media/4326.mp4",
+        "size": 65677,
+        "thumb": "media/4326.mp4_thumb.jpg"
+      }
+    ]
  }
 ]
@@ -12,7 +12,14 @@
      <link>https://aza.moe/life</link>
    </image>
    <language>zh-cn</language>
-    <lastBuildDate>Thu, 15 Aug 2024 08:09:41 +0000</lastBuildDate>
+    <lastBuildDate>Thu, 15 Aug 2024 10:11:03 +0000</lastBuildDate>
+    <item>
+      <title>小桂桂的回忆录 📒 #4326</title>
+      <link>https://aza.moe/life?post=4326</link>
+      <description>&lt;p&gt;聊聊：想让你像猫猫 gif 里那样 rua 我
+我：好，天降抱枕 &lt;i class="custom-emoji" emoji-src="emoji/4981340762533790955.webp"&gt;😺&lt;/i&gt;&lt;/p&gt;</description>
+      <guid isPermaLink="false">4326</guid>
+    </item>
    <item>
      <title>小桂桂的回忆录 📒 #4323</title>
      <link>https://aza.moe/life?post=4323</link>