diff --git a/exports/hykilp/atom.xml b/exports/hykilp/atom.xml index 5045f9679..3d500652c 100644 --- a/exports/hykilp/atom.xml +++ b/exports/hykilp/atom.xml @@ -2,11 +2,30 @@ https://aza.moe/life 小桂桂的回忆录 📒 - 2024-08-10T06:04:45.285417+00:00 + 2024-08-10T10:10:52.919467+00:00 python-feedgen https://aza.moe/meru_256px.png 「我们所经历的每个平凡的日常,也许就是连续发生的奇迹」 + + 4303 + 小桂桂的回忆录 📒 #4303 + 2024-08-10T07:22:00+00:00 + <p>发现自己做研究的时候,找到一个比较好的方案就不是很有动力再去从零开始尝试其他的方案了,只会去想办法优化这个方案,因为做新的尝试会消耗很多时间精力和计算资源,也不一定会更好... 可是如果不尝试,即使有更好的方案也没办法知道 <i class="custom-emoji" emoji-src="emoji/6323582802050680516.webp">🛌</i></p> +<p><span class="spoiler"><span>也许人类这个集体就是某种分布式的梯度下降算法,每个人都只会从其他人知识库的顶端继续向下走,直到慢慢在某个局部最低点聚合。真的从零开始走少经之路的人没办法获得资源,靠自己也做不到什么吧...</p> +<p>暴论一下,如果我们的现实是某种模拟的话,我大概理解为什么会有人想要模拟一切事物从零发展了。解决梯度下降卡住一个很常用的办法就是模拟很多次,从不同的随机起点重新跑... 也许我们的现实就是随机起点之一吧</span></span> <i class="custom-emoji" emoji-src="emoji/5445083289314401705.tgs">🪟</i></p> + + + + 4302 + 小桂桂的回忆录 📒 #4302 + 2024-08-10T06:43:02+00:00 + <p><a href="##ML">#ML</a> 之前模型还部署在 menci 学校机器上的时候,发现它有一个很大的问题就是说话人非常不准,比如你找瑞希说话的时候突然初音出来说话了...</p> +<p>前几天决定测一下这个问题,写脚本给每个队伍生成了 200 组测试数据,每条是一个随机的人问另一个人最近过得怎么样(比如”絵名:瑞希你最近怎么样?“)让模型生成下一句,看看回复的人对不对。测试出来发现最高居然只有 70% 正确率,明明是这么基础的对话逻辑...</p> +<p>然而昨天把推理库换从 LMD 换成 MLC 之后,测速的时候偶然发现似乎每一条都是正确的,即使运气好也不应该这样。测一下好了,然后发现 MLC 的回复人准确率到了 98% <i class="custom-emoji" emoji-src="emoji/6323275213672810256.webp">😀</i></p> +<p>第一次知道原来推理库不止影响模型速度,对回复质量影响也这么大</p> + + 4301 小桂桂的回忆录 📒 #4301 diff --git a/exports/hykilp/emoji/6323275213672810256.webp b/exports/hykilp/emoji/6323275213672810256.webp new file mode 100644 index 000000000..01a485ac7 Binary files /dev/null and b/exports/hykilp/emoji/6323275213672810256.webp differ diff --git a/exports/hykilp/index.html b/exports/hykilp/index.html index 964d71869..b314a31c5 100644 --- a/exports/hykilp/index.html +++ b/exports/hykilp/index.html @@ -27,7 +27,7 @@ diff --git a/exports/hykilp/media/4302.jpg b/exports/hykilp/media/4302.jpg new file mode 100644 index 000000000..dc18df3ec Binary files /dev/null and b/exports/hykilp/media/4302.jpg differ diff --git a/exports/hykilp/media/4302.jpg_thumb.jpg b/exports/hykilp/media/4302.jpg_thumb.jpg new file mode 100644 index 000000000..3a9a638b4 Binary files /dev/null and b/exports/hykilp/media/4302.jpg_thumb.jpg differ diff --git a/exports/hykilp/posts.json b/exports/hykilp/posts.json index ed88f3cf3..74f7b8a81 100644 --- a/exports/hykilp/posts.json +++ b/exports/hykilp/posts.json @@ -644,7 +644,7 @@ "id": 54, "date": "2021-09-17T21:01:11", "text": "房间里总算有点绿色啦ww", - "views": 59, + "views": 60, "forwards": 0, "media_group_id": 13055299770104269, "images": [ @@ -701,7 +701,7 @@ "id": 61, "date": "2021-09-18T03:28:19", "text": "在黑夜中点亮这个房间、这条街道的不只是这里的灯光——店主对花的热情点亮了我心中这整座无聊的城市。这是晚上九点这条街两个红绿灯之间唯一营业的一家店。我也好想在我的这座城市中开这样一家花店——想找到我热爱的,能让我愿意晚上九点还留下来的工作,无论收入怎样都好。", - "views": 53, + "views": 54, "forwards": 0, "reply": { "id": 54, @@ -58404,7 +58404,7 @@ "id": 4277, "date": "2024-08-04T01:14:03", "text": "#戴上耳机\n在飞机上又看了一遍《秒速五厘米》,也许是因为看到了 Cryolitia 的头像,又或许是和 syama 的事情有些共鸣,不过更可能只是因为正好在飞机系统里面翻到了。\n\n想起来小学的时候第一次听天门的《樱花抄》的时候还没有看过秒五,同样只是偶然在当时的酷狗音乐上翻到了,觉得很好听就添加到了 iPod nano 的存储里。那时候在合唱团例常排练,和一位同样在高声部的同学是很好的朋友。第一次和别人共享耳机听歌也是在这里,在排练休息的间隙,觉得她会喜欢所以选了天门的歌单。那个时候还对感情的复杂完全不熟,只觉得是一个很好的朋友,现在回想起来大概是喜欢的人吧。\n\n升到初中先是转到了朝阳区,之后又转去了北美,很快就失去了联系... 不过现在的我的性格中也有她的一部分,也许喜欢和想要成为就是分不清的吧", - "views": 92, + "views": 93, "forwards": 0, "files": [ { @@ -58447,7 +58447,7 @@ "id": 4280, "date": "2024-08-04T20:25:34", "text": "回到加拿大的家发现家变成了盒盒... 整理起来还好麻烦 ;-;\n\n一想到明年三月还要搬走就不想把所有东西都摆出来了...", - "views": 107, + "views": 110, "forwards": 0, "images": [ { @@ -58466,7 +58466,7 @@ "id": 4281, "date": "2024-08-05T03:55:00", "text": "debug 了半天为什么 arch 输出没有声音,看了文档还问了群友...\n\n然后发现只是声音太小了 🌚", - "views": 98, + "views": 102, "forwards": 0, "images": [ { @@ -58485,7 +58485,7 @@ "id": 4282, "date": "2024-08-06T04:28:46", "text": "鬼故事,2017 已经是七年前了", - "views": 88, + "views": 92, "forwards": 0, "images": [ { @@ -58504,14 +58504,14 @@ "id": 4283, "date": "2024-08-06T08:53:55", "text": "升级计算服务器之前硬件是瓶颈,升级之后发现自己变成了瓶颈... 想睡觉之前挂一个计算任务跑着,发现写这个任务需要的时间比计算需要的时间长,可是我又不想让计算闲时浪费,结果就是自己要被累死了 🛌", - "views": 80, + "views": 83, "forwards": 1 }, { "id": 4284, "date": "2024-08-07T22:28:04", "text": "和聊聊去附近新开的模玩店买了一个镜音凛的粘土人 qwq 它的包装打开是不透明的铝反光小袋子,看起来是为了抽盲盒设计的,还好没有作为盲盒卖\n\n运气太差了不喜欢盲盒,记得几天前和 menci 和 syama 去观前喵咕屋买了プロセカ和孤独摇滚的盲盒胸针,结果孤独摇滚开出了没什么存在感的きくり,プロセカ开出了不那么能认出来的初音未来和 KAITO...\n(╯’ – ‘)╯︵ ┻━┻", - "views": 67, + "views": 71, "forwards": 0, "media_group_id": 13784557476954909, "images": [ @@ -58591,7 +58591,7 @@ "id": 4291, "date": "2024-08-07T23:38:26", "text": "第一次在加拿大见到路边摊", - "views": 62, + "views": 67, "forwards": 0, "media_group_id": 13784591251588581, "images": [ @@ -58621,7 +58621,7 @@ "id": 4293, "date": "2024-08-08T04:59:22", "text": "让 DALLE 画了一些服务器的图标,终于不怕找不到标签页了", - "views": 64, + "views": 69, "forwards": 0, "media_group_id": 13784745301187333, "images": [ @@ -58651,7 +58651,7 @@ "id": 4295, "date": "2024-08-09T03:18:49", "text": "#ML 今天把 Sekai LLM 的大模型部署到新的 V100 服务器上了!\n\n为了最大化部署效率试了很多不同的框架,首先看到了别人的测试结果,大概是 LMDeploy 效率最高,其次是 MLC,再其次是 vLLM。所以我首先试了 LMDeploy,然后遇到了一堆问题...\n\n首先试了 vLLM 因为它是星星⭐️最多的,但是发现它会提示内存不够,即使在 24GB 的 4090 上加载 4bit 量化过的模型都提示内存不够(量化过之后用一般的 HF Transformers 加载只需要 8GB 多一点的显存)可能 vLLM 在尝试把 Qwen2 的 128K 上下文全都预留出来吧,那肯定是不够的。试了各种解决方案都跑不起来就放弃了 🛌\n\n把训练好的 7B LoRA 模型文件挪到新机器上之后跑 LMD 发现 16GB 显存不够,确实不够,那试试两个显卡一起吧,然后直接 segfault 崩溃了 那用 AWQ 量化到 4bit 之后总可以了吧?发现输出是乱码,去 issue 里面查才发现最新版本的 LMD 还不支持 V100 AWQ 🛌 但是已经有人加了支持,开了一个 +12120 -4990 的巨大 PR 还没有合进去,那试试吧?发现用这个 PR 的话 AWQ 可以跑了但是很慢,而且多卡还是会崩溃... 算了算了换别的试试吧\n\n最后试了 MLC,从量化到运行没有遇到任何问题,多显卡推理也是加一个参数没有调其他的就成功了,每个请求 0.43 秒的性能也相当不错。不过发现多加一张 V100 在没有批量的情况下跑张量并行只能提升 13% 的性能,基本上就只能作为一张显存更大的 V100 用... 还是对 Sxm2 的带宽好失望,不过也很够用啦", - "views": 56, + "views": 64, "forwards": 0, "media_group_id": 13785388234834757, "images": [ @@ -58681,7 +58681,7 @@ "id": 4297, "date": "2024-08-09T05:03:32", "text": "今天七七在 AquaDX 群里说 AquaDX 的群头像看起来总感觉像是没加载出来的模糊图的样子,怎么办呢?正好昨天是国际猫猫日,让 DALLE 在里面填一些猫吧", - "views": 61, + "views": 68, "forwards": 0, "images": [ { @@ -58700,7 +58700,7 @@ "id": 4298, "date": "2024-08-09T07:26:45", "text": "看数一在玩 Slither Link 我也去试了试,好难 🥺 每日谜题花了 1:42 小时才做出来\n\n(放一个 100 倍速的视频", - "views": 60, + "views": 68, "forwards": 2, "files": [ { @@ -58722,7 +58722,7 @@ "id": 4299, "date": "2024-08-09T08:48:10", "text": "#戴上耳机\n神のまにまに!\n\n今天打プロセカ发现的这首歌,好久没有听到这么欢乐治愈的ボカロ曲了 qwq\n\n原曲MV | プロセカ 3DMV", - "views": 59, + "views": 67, "forwards": 0, "files": [ { @@ -58744,14 +58744,14 @@ "id": 4300, "date": "2024-08-09T21:36:19", "text": "奇妙,我在 VSCode 上连接 SSH 终端,在 SSH 那边打了一个 git push,它弹了一个窗口在本地打开浏览器选择账号登录,然后跳转连接跳转回了 VSCode 过一会 push 成功了... 现在 VSCode 的集成已经这么厉害了吗 🤩", - "views": 50, + "views": 62, "forwards": 0 }, { "id": 4301, "date": "2024-08-09T23:44:01", "text": "🥺", - "views": 69, + "views": 85, "forwards": 2, "images": [ { @@ -58765,5 +58765,40 @@ "thumb": "media/4301.jpg_thumb.jpg" } ] + }, + { + "id": 4302, + "date": "2024-08-10T06:43:02", + "text": "#ML 之前模型还部署在 menci 学校机器上的时候,发现它有一个很大的问题就是说话人非常不准,比如你找瑞希说话的时候突然初音出来说话了...\n\n前几天决定测一下这个问题,写脚本给每个队伍生成了 200 组测试数据,每条是一个随机的人问另一个人最近过得怎么样(比如”絵名:瑞希你最近怎么样?“)让模型生成下一句,看看回复的人对不对。测试出来发现最高居然只有 70% 正确率,明明是这么基础的对话逻辑...\n\n然而昨天把推理库换从 LMD 换成 MLC 之后,测速的时候偶然发现似乎每一条都是正确的,即使运气好也不应该这样。测一下好了,然后发现 MLC 的回复人准确率到了 98% 😀\n\n第一次知道原来推理库不止影响模型速度,对回复质量影响也这么大", + "views": 43, + "forwards": 0, + "reply": { + "id": 4295, + "text": "#ML 今天把 Sekai LLM 的大模型部署到新的 V100 服务器上了!\n\n为了最大化部署效率试了很多不同的框架,首先看到了别人的测试结果,大概是 LMDeploy 效率最高,其次是 MLC,再其次是 vLLM。所以我首先试了 LMDeploy,然后遇到了一堆问题...\n\n首先试了 vLLM 因为它是星星⭐️最多的,但是发现它会提示内存不够,即使在 24GB 的 4090 上加载 4bit 量化过的模型都提示内存不够(量化过之后用一般的 HF Transformers 加载只需要 8GB 多一点的显存)可能 vLLM 在尝试把 Qwen2 的 128K 上下文全都预留出来吧,那肯定是不够的。试了各种解决方案都跑不起来就放弃了 🛌\n\n把训练好的 7B LoRA 模型文件挪到新机器上之后跑 LMD 发现 16GB 显存不够,确实不够,那试试两个显卡一起吧,然后直接 segfault 崩溃了 那用 AWQ 量化到 4bit 之后总可以了吧?发现输出是乱码,去 issue 里面查才发现最新版本的 LMD 还不支持 V100 AWQ 🛌 但是已经有人加了支持,开了一个 +12120 -4990 的巨大 PR 还没有合进去,那试试吧?发现用这个 PR 的话 AWQ 可以跑了但是很慢,而且多卡还是会崩溃... 算了算了换别的试试吧\n\n最后试了 MLC,从量化到运行没有遇到任何问题,多显卡推理也是加一个参数没有调其他的就成功了,每个请求 0.43 秒的性能也相当不错。不过发现多加一张 V100 在没有批量的情况下跑张量并行只能提升 13% 的性能,基本上就只能作为一张显存更大的 V100 用... 还是对 Sxm2 的带宽好失望,不过也很够用啦", + "thumb": "media/4295.jpg_thumb.jpg" + }, + "images": [ + { + "width": 489, + "height": 419, + "date": "2024-08-10T06:43:01", + "media_type": "photo", + "original_name": "photo_2024-08-10_06-43-01.jpg", + "url": "media/4302.jpg", + "size": 38727, + "thumb": "media/4302.jpg_thumb.jpg" + } + ] + }, + { + "id": 4303, + "date": "2024-08-10T07:22:00", + "text": "发现自己做研究的时候,找到一个比较好的方案就不是很有动力再去从零开始尝试其他的方案了,只会去想办法优化这个方案,因为做新的尝试会消耗很多时间精力和计算资源,也不一定会更好... 可是如果不尝试,即使有更好的方案也没办法知道 🛌\n\n也许人类这个集体就是某种分布式的梯度下降算法,每个人都只会从其他人知识库的顶端继续向下走,直到慢慢在某个局部最低点聚合。真的从零开始走少经之路的人没办法获得资源,靠自己也做不到什么吧...\n\n暴论一下,如果我们的现实是某种模拟的话,我大概理解为什么会有人想要模拟一切事物从零发展了。解决梯度下降卡住一个很常用的办法就是模拟很多次,从不同的随机起点重新跑... 也许我们的现实就是随机起点之一吧 🪟", + "views": 37, + "forwards": 0, + "reply": { + "id": 4302, + "text": "#ML 之前模型还部署在 menci 学校机器上的时候,发现它有一个很大的问题就是说话人非常不准,比如你找瑞希说话的时候突然初音出来说话了...\n\n前几天决定测一下这个问题,写脚本给每个队伍生成了 200 组测试数据,每条是一个随机的人问另一个人最近过得怎么样(比如”絵名:瑞希你最近怎么样?“)让模型生成下一句,看看回复的人对不对。测试出来发现最高居然只有 70% 正确率,明明是这么基础的对话逻辑...\n\n然而昨天把推理库换从 LMD 换成 MLC 之后,测速的时候偶然发现似乎每一条都是正确的,即使运气好也不应该这样。测一下好了,然后发现 MLC 的回复人准确率到了 98% 😀\n\n第一次知道原来推理库不止影响模型速度,对回复质量影响也这么大" + } } ] \ No newline at end of file diff --git a/exports/hykilp/rss.xml b/exports/hykilp/rss.xml index 2b2356593..594c988cf 100644 --- a/exports/hykilp/rss.xml +++ b/exports/hykilp/rss.xml @@ -12,7 +12,24 @@ https://aza.moe/life zh-cn - Sat, 10 Aug 2024 06:04:45 +0000 + Sat, 10 Aug 2024 10:10:52 +0000 + + 小桂桂的回忆录 📒 #4303 + https://aza.moe/life?post=4303 + <p>发现自己做研究的时候,找到一个比较好的方案就不是很有动力再去从零开始尝试其他的方案了,只会去想办法优化这个方案,因为做新的尝试会消耗很多时间精力和计算资源,也不一定会更好... 可是如果不尝试,即使有更好的方案也没办法知道 <i class="custom-emoji" emoji-src="emoji/6323582802050680516.webp">🛌</i></p> +<p><span class="spoiler"><span>也许人类这个集体就是某种分布式的梯度下降算法,每个人都只会从其他人知识库的顶端继续向下走,直到慢慢在某个局部最低点聚合。真的从零开始走少经之路的人没办法获得资源,靠自己也做不到什么吧...</p> +<p>暴论一下,如果我们的现实是某种模拟的话,我大概理解为什么会有人想要模拟一切事物从零发展了。解决梯度下降卡住一个很常用的办法就是模拟很多次,从不同的随机起点重新跑... 也许我们的现实就是随机起点之一吧</span></span> <i class="custom-emoji" emoji-src="emoji/5445083289314401705.tgs">🪟</i></p> + 4303 + + + 小桂桂的回忆录 📒 #4302 + https://aza.moe/life?post=4302 + <p><a href="##ML">#ML</a> 之前模型还部署在 menci 学校机器上的时候,发现它有一个很大的问题就是说话人非常不准,比如你找瑞希说话的时候突然初音出来说话了...</p> +<p>前几天决定测一下这个问题,写脚本给每个队伍生成了 200 组测试数据,每条是一个随机的人问另一个人最近过得怎么样(比如”絵名:瑞希你最近怎么样?“)让模型生成下一句,看看回复的人对不对。测试出来发现最高居然只有 70% 正确率,明明是这么基础的对话逻辑...</p> +<p>然而昨天把推理库换从 LMD 换成 MLC 之后,测速的时候偶然发现似乎每一条都是正确的,即使运气好也不应该这样。测一下好了,然后发现 MLC 的回复人准确率到了 98% <i class="custom-emoji" emoji-src="emoji/6323275213672810256.webp">😀</i></p> +<p>第一次知道原来推理库不止影响模型速度,对回复质量影响也这么大</p> + 4302 + 小桂桂的回忆录 📒 #4301 https://aza.moe/life?post=4301