azalea/blog-data
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

[U] Update channel content

Browse Source
This commit is contained in:
github-actions
2024-08-09 04:09:35 +00:00
parent a52360bfa3
commit f818e2dd1b
9 changed files with 120 additions and 69 deletions
Download Patch File Download Diff File Expand all files Collapse all files
exports/hykilp/atom.xml
+14 -3
View File
@@ -2,11 +2,22 @@
<feed xmlns="http://www.w3.org/2005/Atom" xml:lang="zh-cn">
<id>https://aza.moe/life</id>
<title>小桂桂的回忆录 📒</title>
<updated>2024-08-09T02:26:25.720502+00:00</updated>
<updated>2024-08-09T04:09:27.991623+00:00</updated>
<link href="https://aza.moe/life" rel="alternate"/>
<generator uri="https://lkiesow.github.io/python-feedgen" version="0.9.0">python-feedgen</generator>
<logo>https://aza.moe/meru_256px.png</logo>
<subtitle>「我们所经历的每个平凡的日常，也许就是连续发生的奇迹」</subtitle>
<entry>
<id>4295</id>
<title>小桂桂的回忆录 📒 #4295</title>
<updated>2024-08-09T03:18:49+00:00</updated>
<content>&lt;p&gt;&lt;a href="##ML"&gt;#ML&lt;/a&gt; 今天把 Sekai LLM 的大模型部署到新的 V100 服务器上了！&lt;/p&gt;
&lt;p&gt;为了最大化部署效率试了很多不同的框架，首先看到了别人的&lt;a href="https://bentoml.com/blog/benchmarking-llm-inference-backends"&gt;测试结果&lt;/a&gt;，大概是 LMDeploy 效率最高，其次是 MLC，再其次是 vLLM。所以我首先试了 LMDeploy，然后遇到了一堆问题...&lt;/p&gt;
&lt;p&gt;首先试了 vLLM 因为它是星星&lt;i class="custom-emoji" emoji-src="emoji/6107338590335799902.webp"&gt;⭐️&lt;/i&gt;最多的，但是发现它会提示内存不够，即使在 24GB 的 4090 上加载 4bit 量化过的模型都提示内存不够（量化过之后用一般的 HF Transformers 加载只需要 8GB 多一点的显存）可能 vLLM 在尝试把 Qwen2 的 128K 上下文全都预留出来吧，那肯定是不够的。试了各种解决方案都跑不起来就放弃了 &lt;i class="custom-emoji" emoji-src="emoji/6323582802050680516.webp"&gt;🛌&lt;/i&gt;&lt;/p&gt;
&lt;p&gt;把训练好的 7B LoRA 模型文件挪到新机器上之后跑 LMD 发现 16GB 显存不够，确实不够，那试试两个显卡一起吧，然后直接 segfault 崩溃了 &lt;i class="custom-emoji" emoji-src="emoji/6323343426343404864.webp"&gt;❓&lt;/i&gt; 那用 AWQ 量化到 4bit 之后总可以了吧？发现输出是乱码，去 issue 里面查才发现最新版本的 LMD 还不支持 V100 AWQ &lt;i class="custom-emoji" emoji-src="emoji/6323582802050680516.webp"&gt;🛌&lt;/i&gt; 但是已经有人加了支持，开了一个 &lt;a href="https://github.com/InternLM/lmdeploy/pull/2090"&gt;+12120 -4990 的巨大 PR&lt;/a&gt; 还没有合进去，那试试吧？发现用这个 PR 的话 AWQ 可以跑了但是很慢，而且多卡还是会崩溃... 算了算了换别的试试吧&lt;/p&gt;
&lt;p&gt;最后试了 MLC，从量化到运行没有遇到任何问题，多显卡推理也是加一个参数没有调其他的就成功了，每个请求 0.43 秒的性能也相当不错。不过发现多加一张 V100 在没有批量的情况下跑张量并行只能提升 13% 的性能，基本上就只能作为一张显存更大的 V100 用... 还是对 Sxm2 的带宽好失望，不过也很够用啦&lt;/p&gt;</content>
<link href="https://aza.moe/life?post=4295" rel="alternate"/>
</entry>
<entry>
<id>4293</id>
<title>小桂桂的回忆录 📒 #4293</title>
@@ -129,7 +140,7 @@
<id>4260</id>
<title>小桂桂的回忆录 📒 #4260</title>
<updated>2024-07-31T15:56:09+00:00</updated>
<content>&lt;p&gt;V100 因为是靠服务器风道散热所以散热块没有风扇，前几天买了六个 ThermalRight 热右右牌的 60mm 静音风扇，今天给它设计了一个 3D 打印的外壳，正好卡在散热器上 qwq&lt;/p&gt;</content>
<content>&lt;p&gt;&lt;a href="##ML"&gt;#ML&lt;/a&gt; V100 因为是靠服务器风道散热所以散热块没有风扇，前几天买了六个 ThermalRight 热右右牌的 60mm 静音风扇，今天给它设计了一个 3D 打印的外壳，正好卡在散热器上 qwq&lt;/p&gt;</content>
<link href="https://aza.moe/life?post=4260" rel="alternate"/>
</entry>
<entry>
@@ -235,7 +246,7 @@
<id>4235</id>
<title>小桂桂的回忆录 📒 #4235</title>
<updated>2024-07-27T13:20:00+00:00</updated>
<content>&lt;p&gt;今天把 V100 插上了！踩了很多坑&lt;/p&gt;
<content>&lt;p&gt;&lt;a href="##ML"&gt;#ML&lt;/a&gt; 今天把 V100 插上了！踩了很多坑&lt;/p&gt;
&lt;p&gt;这是我第一次用 Sxm2 接口的计算卡，用了超微的 AOM-Sxm2 扩展板，它需要两个非标 PCIe x16 接口所以买了两根很贵的转接线。计算卡是像 CPU 一样卡到插槽里，拧螺丝固定然后涂硅脂安装散热。因为是给服务器用的散热所以并没有风扇，自己配了两个 120mm 风扇，不知道够不够呢&lt;/p&gt;
&lt;p&gt;第一启动的时候上电开机自检到 91 之后 FF 掉电，FF 是 CPU 没有供电的意思，debug 了超级久之后发现换一个 PCIe 口就好了... 为什么呢？因为这个主板是双路板，有两个 CPU，有四个 PCIe x16 每两个连着不同的 CPU... 必须连到同一个 CPU 上才能工作&lt;/p&gt;
&lt;p&gt;解决了这个问题之后启动发现识别了 PLX 设备但是没有识别 NVIDIA，发现插卡的顺序和标记是反的，要从 GPU4 开始插&lt;/p&gt;
exports/hykilp/emoji/6107338590335799902.webp
BIN
View File
Binary file not shown.
Side by Side

After

Width:  |  Height:  |  Size: 4.4 KiB

exports/hykilp/index.html
+1 -1
View File
File diff suppressed because one or more lines are too long
exports/hykilp/media/4295.jpg
BIN
View File
Binary file not shown.
Side by Side

After

Width:  |  Height:  |  Size: 116 KiB

exports/hykilp/media/4295.jpg_thumb.jpg
BIN
View File
Binary file not shown.
Side by Side

After

Width:  |  Height:  |  Size: 22 KiB

exports/hykilp/media/4296.jpg
BIN
View File
Binary file not shown.
Side by Side

After

Width:  |  Height:  |  Size: 150 KiB

exports/hykilp/media/4296.jpg_thumb.jpg
BIN
View File
Binary file not shown.
Side by Side

After

Width:  |  Height:  |  Size: 61 KiB

exports/hykilp/posts.json
+92 -62
View File
@@ -11496,7 +11496,7 @@
"id": 948,
"date": "2022-06-28T04:12:55",
"text": "剩下的奶油做了抹茶冰淇淋！\n\n聊聊评价：有咸蛋黄的味道 😭\n\n确实，食材里面用了有鸡蛋黄和盐，盐还放多了... 本来要放一克来着但是没有那么精细的称，可能这个称显示一克的时候已经三四克了吧（\n\n不过还挺好吃的w",
"views": 74,
"views": 75,
"forwards": 0,
"media_group_id": 13251116603426413,
"images": [
@@ -57026,7 +57026,7 @@
"id": 4183,
"date": "2024-07-20T09:44:20",
"text": "草 \n\n我: 在 /gen 请求参数面加了一个变量，你加一下\nsyama: 我找找，是这个类吗 GenerateResponse... 好像是返回类。找不到欸 <i class=\"custom-emoji\" emoji-src=\"emoji/6323412532367198064.webp\">🍔</i>",
"views": 88,
"views": 89,
"forwards": 0,
"images": [
{
@@ -57045,7 +57045,7 @@
"id": 4184,
"date": "2024-07-20T11:05:17",
"text": "感觉是怎样设计模型都绕不开的问题",
"views": 86,
"views": 87,
"forwards": 0,
"images": [
{
@@ -57064,7 +57064,7 @@
"id": 4185,
"date": "2024-07-20T16:16:20",
"text": "入一些灵车",
"views": 95,
"views": 96,
"forwards": 1,
"images": [
{
@@ -57083,14 +57083,14 @@
"id": 4186,
"date": "2024-07-20T16:34:51",
"text": "0721 是什么日子？",
"views": 83,
"views": 84,
"forwards": 0
},
{
"id": 4187,
"date": "2024-07-20T17:38:44",
"text": "是人类的一大步",
"views": 79,
"views": 80,
"forwards": 0,
"forwarded_from": {
"name": "Tarocca Leohearts ad Astra, 芋头",
@@ -57113,7 +57113,7 @@
"id": 4188,
"date": "2024-07-20T19:43:02",
"text": "是同一个游戏",
"views": 78,
"views": 79,
"forwards": 0,
"images": [
{
@@ -57132,7 +57132,7 @@
"id": 4189,
"date": "2024-07-21T10:35:56",
"text": "兔兔苹果！",
"views": 80,
"views": 81,
"forwards": 0,
"media_group_id": 13772465252381349,
"images": [
@@ -57172,14 +57172,14 @@
"id": 4192,
"date": "2024-07-21T10:55:30",
"text": "syama: 下雨的时候鸟为什么不飞到云上面避雨呢 <i class=\"custom-emoji\" emoji-src=\"emoji/6323315689444607430.webp\">☁️</i>",
"views": 82,
"views": 83,
"forwards": 0
},
{
"id": 4193,
"date": "2024-07-21T14:01:31",
"text": "楼下新开了一家米线店，原来直接用廉价建材装修成「很老旧装修的气氛」也能很好看 quq",
"views": 71,
"views": 72,
"forwards": 0,
"media_group_id": 13772563932384525,
"images": [
@@ -57259,7 +57259,7 @@
"id": 4200,
"date": "2024-07-21T14:13:54",
"text": "把这张打出来定了一个相框 qwq",
"views": 81,
"views": 82,
"forwards": 0,
"media_group_id": 13772569879446949,
"images": [
@@ -57283,7 +57283,7 @@
"id": 4202,
"date": "2024-07-21T16:20:56",
"text": "刚刚试着用 LMDeploy 优化了一下 Sekai LLM，现在每个请求只需要 ~150ms 了！大进步\n\n...不过发现固定输入的话每次生成的结果都是一样的，完全没有随机性，即使把温度增加到 1.5 也一样。\n\n查了查发现填了一个随机的种子就好了... 然后把随机种子的这个参数注释掉发现不填种子也一样有随机 <i class=\"custom-emoji\" emoji-src=\"emoji/6323343426343404864.webp\">❓</i> 怎么回事呢？\n\n之后发现这个种子为 Null 的时候是在 GeneratorConfig 构造器里填一个随机的进去，所以只要用同样的 GeneratorConfig 种子就不会随机 <i class=\"custom-emoji\" emoji-src=\"emoji/6170424195260877091.webm\">🤗</i> 真的感觉第一次在现实中见到 xkcd 级别的 💩",
"views": 73,
"views": 74,
"forwards": 0,
"media_group_id": 13772630852604181,
"images": [
@@ -57323,7 +57323,7 @@
"id": 4205,
"date": "2024-07-21T19:18:02",
"text": "...更新到 24.7.1 不仅没有修 bug 还会蓝屏。回退到已知没有 bug 的版本 23.12 了",
"views": 80,
"views": 81,
"forwards": 0,
"reply": {
"id": 4182,
@@ -57346,7 +57346,7 @@
"id": 4206,
"date": "2024-07-21T20:33:07",
"text": "<del>快进到女同</del>",
"views": 85,
"views": 86,
"forwards": 0,
"forwarded_from": {
"name": "Azalea",
@@ -57369,7 +57369,7 @@
"id": 4207,
"date": "2024-07-22T05:17:14",
"text": "syama: 你看那个水杯旁边的镜头像不像一个水杯\n\n...它就是个水杯 🌚",
"views": 82,
"views": 84,
"forwards": 0,
"images": [
{
@@ -57388,7 +57388,7 @@
"id": 4208,
"date": "2024-07-22T12:13:18",
"text": "没见过女的吗",
"views": 84,
"views": 86,
"forwards": 1,
"forwarded_from": {
"name": "Azalea",
@@ -57411,7 +57411,7 @@
"id": 4209,
"date": "2024-07-22T20:00:52",
"text": "好用的",
"views": 76,
"views": 78,
"forwards": 0,
"images": [
{
@@ -57430,7 +57430,7 @@
"id": 4210,
"date": "2024-07-22T20:10:58",
"text": "帮 syama 搬家搬到了苏州 qwq\n\nsyama 搬家好奇妙，当天来苏州刚看了一栋房就觉得还不错当场决定好签合同住进来了，然后马上打车回杭州打包东西叫货拉拉搬过来... <i class=\"custom-emoji\" emoji-src=\"emoji/6169979404152735531.webm\">❓</i> 好快！\n\n...然后发现这个房子有好多小问题，比如厕所很小没有地方可以放纸不被淋湿，厕所几乎没有抽风，窗户外面也是不太能通风的封闭小空间 <i class=\"custom-emoji\" emoji-src=\"emoji/6323315689444607430.webp\">☁️</i>\n\n果然租房不应该很快决定呢...",
"views": 83,
"views": 85,
"forwards": 1,
"media_group_id": 13773432467958797,
"images": [
@@ -57510,14 +57510,14 @@
"id": 4217,
"date": "2024-07-22T20:32:45",
"text": "syama: 明天早点叫我起床，我怕起床他们下班了\n我：所以我们现在“早点起床”是“下午五点之前“吗 <i class=\"custom-emoji\" emoji-src=\"emoji/5445342095453725432.tgs\">😴</i>",
"views": 95,
"views": 97,
"forwards": 0
},
{
"id": 4218,
"date": "2024-07-23T08:45:19",
"text": "去实体店试了试华为的 Pura 60 Pro，感觉长焦好烂，AI 补得也好烂，真不愧是 ����VAFIVE AI CAVCDA",
"views": 91,
"views": 93,
"forwards": 0,
"images": [
{
@@ -57536,7 +57536,7 @@
"id": 4219,
"date": "2024-07-23T13:58:33",
"text": "第一次装 PVE",
"views": 96,
"views": 98,
"forwards": 0,
"images": [
{
@@ -57555,7 +57555,7 @@
"id": 4220,
"date": "2024-07-23T15:58:31",
"text": "好耶！22GB 的 2080Ti",
"views": 98,
"views": 100,
"forwards": 0,
"images": [
{
@@ -57574,7 +57574,7 @@
"id": 4222,
"date": "2024-07-24T21:00:51",
"text": "蚯蚓软软糖",
"views": 84,
"views": 86,
"forwards": 1,
"media_group_id": 13774838814594845,
"images": [
@@ -57604,7 +57604,7 @@
"id": 4223,
"date": "2024-07-25T07:36:57",
"text": "用键鼠玩 pjsk 是魔鬼吗",
"views": 88,
"views": 89,
"forwards": 0,
"images": [
{
@@ -57623,7 +57623,7 @@
"id": 4224,
"date": "2024-07-25T10:30:44",
"text": "V100！\n\n还没有装，但是把撕毁无效贴在防静电袋子上是什么鬼 <i class=\"custom-emoji\" emoji-src=\"emoji/6170424195260877091.webm\">🤗</i>",
"views": 87,
"views": 88,
"forwards": 0,
"media_group_id": 13775227556405245,
"images": [
@@ -57663,7 +57663,7 @@
"id": 4227,
"date": "2024-07-26T09:03:30",
"text": "要骂人了... 画板子画到一半突然",
"views": 86,
"views": 87,
"forwards": 0,
"images": [
{
@@ -57682,7 +57682,7 @@
"id": 4228,
"date": "2024-07-26T09:48:18",
"text": "V100 Sxm2 需要四个 CPU 8Pin 电源，觉得买 ATX 电源太贵了就买了 CSPS 服务器电源，魔改了一下 FrostAutumn 的 CSPS 转接板\n\n希望不会翻车 quq",
"views": 103,
"views": 104,
"forwards": 1,
"media_group_id": 13775898389425533,
"images": [
@@ -57717,7 +57717,7 @@
"id": 4230,
"date": "2024-07-26T17:31:57",
"text": "<a href=\"##产品开箱\">#产品开箱</a> <del>一只萌次猫</del><del><i class=\"custom-emoji\" emoji-src=\"emoji/6170139473288890346.webm\">🤩</del></i>\n\n<span class=\"spoiler\"><span>（好吧其实是 maimai 灯罩的箱子</span></span>",
"views": 90,
"views": 91,
"forwards": 2,
"media_group_id": 13776120940763933,
"images": [
@@ -57758,14 +57758,14 @@
"id": 4233,
"date": "2024-07-27T02:39:41",
"text": "原本以为 SSD 恢复数据会和以前 HDD 一样简单，通电扫一下文件系统文件树就可以了嘛... 然而今天才发现 SSD TRIM 之后只要通着电很快就会被写满 0 <i class=\"custom-emoji\" emoji-src=\"emoji/6320856404055820121.webp\">😨</i>",
"views": 91,
"views": 92,
"forwards": 1
},
{
"id": 4234,
"date": "2024-07-27T12:49:34",
"text": "看着屏幕上的 /dev/sdb 读成了 SDGB 🌚\n\n玩魔改玩的",
"views": 87,
"views": 88,
"forwards": 0,
"images": [
{
@@ -57783,8 +57783,8 @@
{
"id": 4235,
"date": "2024-07-27T13:20:00",
"text": "今天把 V100 插上了！踩了很多坑\n\n这是我第一次用 Sxm2 接口的计算卡，用了超微的 AOM-Sxm2 扩展板，它需要两个非标 PCIe x16 接口所以买了两根很贵的转接线。计算卡是像 CPU 一样卡到插槽里，拧螺丝固定然后涂硅脂安装散热。因为是给服务器用的散热所以并没有风扇，自己配了两个 120mm 风扇，不知道够不够呢\n\n第一启动的时候上电开机自检到 91 之后 FF 掉电，FF 是 CPU 没有供电的意思，debug 了超级久之后发现换一个 PCIe 口就好了... 为什么呢？因为这个主板是双路板，有两个 CPU，有四个 PCIe x16 每两个连着不同的 CPU... 必须连到同一个 CPU 上才能工作\n\n解决了这个问题之后启动发现识别了 PLX 设备但是没有识别 NVIDIA，发现插卡的顺序和标记是反的，要从 GPU4 开始插\n\n再次启动终于能在 lspci 里面看到 V100 了... 不过驱动还没调好，好累好累 <i class=\"custom-emoji\" emoji-src=\"emoji/6323396679642907960.webp\">😭</i>",
"views": 86,
"text": "<a href=\"##ML\">#ML</a> 今天把 V100 插上了！踩了很多坑\n\n这是我第一次用 Sxm2 接口的计算卡，用了超微的 AOM-Sxm2 扩展板，它需要两个非标 PCIe x16 接口所以买了两根很贵的转接线。计算卡是像 CPU 一样卡到插槽里，拧螺丝固定然后涂硅脂安装散热。因为是给服务器用的散热所以并没有风扇，自己配了两个 120mm 风扇，不知道够不够呢\n\n第一启动的时候上电开机自检到 91 之后 FF 掉电，FF 是 CPU 没有供电的意思，debug 了超级久之后发现换一个 PCIe 口就好了... 为什么呢？因为这个主板是双路板，有两个 CPU，有四个 PCIe x16 每两个连着不同的 CPU... 必须连到同一个 CPU 上才能工作\n\n解决了这个问题之后启动发现识别了 PLX 设备但是没有识别 NVIDIA，发现插卡的顺序和标记是反的，要从 GPU4 开始插\n\n再次启动终于能在 lspci 里面看到 V100 了... 不过驱动还没调好，好累好累 <i class=\"custom-emoji\" emoji-src=\"emoji/6323396679642907960.webp\">😭</i>",
"views": 87,
"forwards": 2,
"media_group_id": 13776691202656413,
"images": [
@@ -57829,7 +57829,7 @@
"id": 4238,
"date": "2024-07-27T14:37:09",
"text": "草 我的 shutdown 打进 llm 里面了",
"views": 90,
"views": 91,
"forwards": 0,
"forwarded_from": {
"name": "Azalea",
@@ -57852,7 +57852,7 @@
"id": 4239,
"date": "2024-07-28T08:26:04",
"text": "教 syama 写网页，今天第一次用 navigator.share 分享接口\n\n...然后发现 safari 上不能用，查查发现在 safari 上只有 HTTPS 可以用 <i class=\"custom-emoji\" emoji-src=\"emoji/6323237375010932266.webp\">😡</i>\n\n...然后发现 Firefox 上不能用，查查发现在 Firefox 上需要用户手动去 about:config 里面开启才能用 <i class=\"custom-emoji\" emoji-src=\"emoji/6323343426343404864.webp\">❓</i>\n\n实现都写了为什么不默认启用啊 <i class=\"custom-emoji\" emoji-src=\"emoji/6320856404055820121.webp\">😨</i>",
"views": 91,
"views": 92,
"forwards": 0,
"media_group_id": 13777241317603453,
"images": [
@@ -57881,7 +57881,7 @@
{
"id": 4241,
"date": "2024-07-28T20:10:15",
"views": 86,
"views": 87,
"forwards": 0,
"forwarded_from": {
"name": ".",
@@ -57903,7 +57903,7 @@
{
"id": 4242,
"date": "2024-07-28T20:10:29",
"views": 84,
"views": 85,
"forwards": 0,
"files": [
{
@@ -57928,7 +57928,7 @@
"id": 4244,
"date": "2024-07-28T21:09:43",
"text": "吃完海底捞出来听见了猫叫，找过去之后看到了猫，然后看到了第二只猫，第三只猫，还有第四只猫…\n桂桂随身带了猫条，拿出来打开了之后猫猫们不为所动，放在这里等了好一会猫猫左顾右盼之后才敢来吃 qwq",
"views": 71,
"views": 72,
"forwards": 0,
"forwarded_from": {
"name": "Memory Archive ✨"
@@ -57961,7 +57961,7 @@
"id": 4245,
"date": "2024-07-28T23:07:33",
"text": "一些深夜猫片 <i class=\"custom-emoji\" emoji-src=\"emoji/5445051141484190513.tgs\">👩‍👧‍👧</i>",
"views": 84,
"views": 85,
"forwards": 0,
"media_group_id": 13777664431653325,
"images": [
@@ -58021,7 +58021,7 @@
"id": 4250,
"date": "2024-07-29T17:14:16",
"text": "[object Object] is awesome",
"views": 88,
"views": 89,
"forwards": 1,
"images": [
{
@@ -58040,14 +58040,14 @@
"id": 4251,
"date": "2024-07-29T20:10:12",
"text": "今天和 menci 一起 debug 了一天还没搞明白为什么 mai pico 接上触屏的串口就开不了机\n\n然后准备睡觉了在床上再想了一眼突然想明白了，触屏是 rs232，pico 是 TTL... 我们在用 232 接 TTL 🌚\n\n还好 pico 没有被 232 的 5V 烧掉",
"views": 87,
"views": 88,
"forwards": 1
},
{
"id": 4252,
"date": "2024-07-29T22:46:27",
"text": "之前 Arc 浏览器刚出来的时候很喜欢用 Arc，但是用着用着觉得各种问题太劝退了...\n\n启动进程经常卡很久才能起来，下载没有固定长度的文件的时候没有任何视觉提示，新标签打中文之后需要多打一个空格才能识别... 重装系统之后发现浏览器插件没了，发现它的同步居然只能同步标签页，不能同步插件、收藏夹、历史、密码、快捷键... <i class=\"custom-emoji\" emoji-src=\"emoji/6323343426343404864.webp\">❓</i>\n\n立即卸载，去用 Edge 了",
"views": 94,
"views": 95,
"forwards": 0,
"images": [
{
@@ -58066,14 +58066,14 @@
"id": 4253,
"date": "2024-07-30T00:27:42",
"text": "已经会把 LLVM 看成 VLLM 了",
"views": 88,
"views": 89,
"forwards": 0
},
{
"id": 4254,
"date": "2024-07-30T06:40:24",
"text": "储存条件：冷冻",
"views": 85,
"views": 86,
"forwards": 0,
"media_group_id": 13778572998537549,
"images": [
@@ -58135,7 +58135,7 @@
"id": 4258,
"date": "2024-07-31T11:56:19",
"text": "🀄",
"views": 81,
"views": 82,
"forwards": 0,
"media_group_id": 13779415838615309,
"images": [
@@ -58164,8 +58164,8 @@
{
"id": 4260,
"date": "2024-07-31T15:56:09",
"text": "V100 因为是靠服务器风道散热所以散热块没有风扇，前几天买了六个 ThermalRight 热右右牌的 60mm 静音风扇，今天给它设计了一个 3D 打印的外壳，正好卡在散热器上 qwq",
"views": 68,
"text": "<a href=\"##ML\">#ML</a> V100 因为是靠服务器风道散热所以散热块没有风扇，前几天买了六个 ThermalRight 热右右牌的 60mm 静音风扇，今天给它设计了一个 3D 打印的外壳，正好卡在散热器上 qwq",
"views": 69,
"forwards": 0,
"media_group_id": 13779530958546629,
"images": [
@@ -58222,7 +58222,7 @@
],
"reply": {
"id": 4235,
"text": "今天把 V100 插上了！踩了很多坑\n\n这是我第一次用 Sxm2 接口的计算卡，用了超微的 AOM-Sxm2 扩展板，它需要两个非标 PCIe x16 接口所以买了两根很贵的转接线。计算卡是像 CPU 一样卡到插槽里，拧螺丝固定然后涂硅脂安装散热。因为是给服务器用的散热所以并没有风扇，自己配了两个 120mm 风扇，不知道够不够呢\n\n第一启动的时候上电开机自检到 91 之后 FF 掉电，FF 是 CPU 没有供电的意思，debug 了超级久之后发现换一个 PCIe 口就好了... 为什么呢？因为这个主板是双路板，有两个 CPU，有四个 PCIe x16 每两个连着不同的 CPU... 必须连到同一个 CPU 上才能工作\n\n解决了这个问题之后启动发现识别了 PLX 设备但是没有识别 NVIDIA，发现插卡的顺序和标记是反的，要从 GPU4 开始插\n\n再次启动终于能在 lspci 里面看到 V100 了... 不过驱动还没调好，好累好累 <i class=\"custom-emoji\" emoji-src=\"emoji/6323396679642907960.webp\">😭</i>",
"text": "<a href=\"##ML\">#ML</a> 今天把 V100 插上了！踩了很多坑\n\n这是我第一次用 Sxm2 接口的计算卡，用了超微的 AOM-Sxm2 扩展板，它需要两个非标 PCIe x16 接口所以买了两根很贵的转接线。计算卡是像 CPU 一样卡到插槽里，拧螺丝固定然后涂硅脂安装散热。因为是给服务器用的散热所以并没有风扇，自己配了两个 120mm 风扇，不知道够不够呢\n\n第一启动的时候上电开机自检到 91 之后 FF 掉电，FF 是 CPU 没有供电的意思，debug 了超级久之后发现换一个 PCIe 口就好了... 为什么呢？因为这个主板是双路板，有两个 CPU，有四个 PCIe x16 每两个连着不同的 CPU... 必须连到同一个 CPU 上才能工作\n\n解决了这个问题之后启动发现识别了 PLX 设备但是没有识别 NVIDIA，发现插卡的顺序和标记是反的，要从 GPU4 开始插\n\n再次启动终于能在 lspci 里面看到 V100 了... 不过驱动还没调好，好累好累 <i class=\"custom-emoji\" emoji-src=\"emoji/6323396679642907960.webp\">😭</i>",
"thumb": "media/4235.jpg_thumb.jpg"
}
},
@@ -58230,7 +58230,7 @@
"id": 4265,
"date": "2024-08-01T03:54:23",
"text": "今天去 syama 家帮忙破解了移动光光猫 <i class=\"custom-emoji\" emoji-src=\"emoji/6327798110588242183.webp\">🌞</i>\n\n型号是 SK-D747，想要关掉 ipv6 防火墙但是用户配置界面并没有这个设置，想要找到 CMCCAdmin 超管密码。通常来说超管密码直接找宽带师傅要或者找移动内鬼查就能查到，但是这台是公寓提供的集客宽带所以没办法联系师傅，内鬼也查不到密码。去网络论坛上看了其他人的破解方法，也试了很多 hidden_version_switch.html 之类的漏洞，但是这些都被堵住了。看来软件是没办法了，拆机看看\n\n拆开后盖马上发现有八个测试孔，四个焊了排针，四个没焊。电表测一下发现孔 0 4 7 都是接地。又测了一下电压，孔 1 是 5V，孔 5 是 3V，6 是 0.074V。群友猜 5 6 分别是 UART 的 TX 和 RX，但是插上 UART 串口工具发现并没有输出，反过来也没有。\n\n然后突然想到，既然买了示波器就看看这些孔的波形好了，把夹子接地，针点到每个引脚，发现脚 2 是稳定 3V，脚 3 有零到 3V 的 TTL 高低电平切换，由此推断 2 3 才是 TX 和 RX。这次接上 UART 终于进终端了！\n\n接上之后就交给 menci 了，重启路由器，终端打了很多日志，等开机结束之后导出搜索 \"pwd\" 找到了 root 密码 🌚 真安全。登录进 root 之后去读文件 /userconfig/cfg/db_user_cfg.xml 就拿到了超管密码，然后我累累睡睡，menci 念了几串魔法配好了桥接和公网 v6 直通，好厉害\n\n总之学会了用示波器很开心！ <del>会用之后就看到什么都忍不住想用示波器点点了</del>",
"views": 70,
"views": 72,
"forwards": 2,
"media_group_id": 13779875706431301,
"images": [
@@ -58294,7 +58294,7 @@
"id": 4270,
"date": "2024-08-01T16:56:34",
"text": "收拾家里的各种东西\n\n桂桂：这个是 mai 机的主板盒子…这个里是 GPU 服务器的东西…然后这个盒子放各种电源线…\n我：啊我有标签打印机，我来打标签贴上去\n桂桂：啊早知道就不用写上了\n……\n桂桂：这个标签…有一种我被 RIIR 了的感觉（",
"views": 66,
"views": 69,
"forwards": 0,
"forwarded_from": {
"name": "Memory Archive ✨"
@@ -58316,7 +58316,7 @@
"id": 4271,
"date": "2024-08-02T08:09:45",
"text": "一只桂桂 ￥115.3",
"views": 98,
"views": 100,
"forwards": 0,
"images": [
{
@@ -58335,8 +58335,8 @@
"id": 4272,
"date": "2024-08-02T16:01:41",
"text": "时间过得好快，一转眼就已经在这里三个月了，到了要告别的时间... 和 Menci 收拾了一下房间和行李，拉上 syama 一起吃了一顿午饭就匆匆忙忙地出发了。\n\n好不舍... 下次来这里会是什么时候呢？这里会变成什么样子呢？",
"views": 83,
"forwards": 0,
"views": 85,
"forwards": 1,
"media_group_id": 13780916009305461,
"images": [
{
@@ -58385,7 +58385,7 @@
"id": 4276,
"date": "2024-08-03T05:26:20",
"text": "这是何等的巧合\n\n没有任何提前计划，在机场登机的时候遇到了三位群友坐同一班飞机 <i class=\"custom-emoji\" emoji-src=\"emoji/6170139473288890346.webm\">🤩</i>",
"views": 99,
"views": 100,
"forwards": 2,
"images": [
{
@@ -58404,7 +58404,7 @@
"id": 4277,
"date": "2024-08-04T01:14:03",
"text": "<a href=\"##戴上耳机\">#戴上耳机</a>\n在飞机上又看了一遍《秒速五厘米》，也许是因为看到了 Cryolitia 的头像，又或许是和 syama 的事情有些共鸣，不过更可能只是因为正好在飞机系统里面翻到了。\n\n想起来小学的时候第一次听天门的《樱花抄》的时候还没有看过秒五，同样只是偶然在当时的酷狗音乐上翻到了，觉得很好听就添加到了 iPod nano 的存储里。那时候在合唱团例常排练，和一位同样在高声部的同学是很好的朋友。第一次和别人共享耳机听歌也是在这里，在排练休息的间隙，觉得她会喜欢所以选了天门的歌单。那个时候还对感情的复杂完全不熟，只觉得是一个很好的朋友，现在回想起来大概是喜欢的人吧。\n\n升到初中先是转到了朝阳区，之后又转去了北美，很快就失去了联系... 不过现在的我的性格中也有她的一部分，也许喜欢和想要成为就是分不清的吧",
"views": 88,
"views": 89,
"forwards": 0,
"files": [
{
@@ -58425,7 +58425,7 @@
"id": 4279,
"date": "2024-08-04T20:17:22",
"text": "<a href=\"##戴上耳机\">#戴上耳机</a>\n听听民谣团 ハンバート ハンバート 的佐野遊穂唱 rap，好可爱好可爱！！！<i class=\"custom-emoji\" emoji-src=\"emoji/6323267916523374069.webp\">🥺</i>",
"views": 89,
"views": 91,
"forwards": 0,
"files": [
{
@@ -58447,7 +58447,7 @@
"id": 4280,
"date": "2024-08-04T20:25:34",
"text": "回到加拿大的家发现家变成了盒盒... 整理起来还好麻烦 ;-;\n\n<span class=\"spoiler\"><span>一想到明年三月还要搬走就不想把所有东西都摆出来了...</span></span>",
"views": 97,
"views": 99,
"forwards": 0,
"images": [
{
@@ -58466,7 +58466,7 @@
"id": 4281,
"date": "2024-08-05T03:55:00",
"text": "debug 了半天为什么 arch 输出没有声音，看了文档还问了群友...\n\n然后发现只是声音太小了 🌚",
"views": 85,
"views": 88,
"forwards": 0,
"images": [
{
@@ -58485,7 +58485,7 @@
"id": 4282,
"date": "2024-08-06T04:28:46",
"text": "鬼故事，2017 已经是七年前了",
"views": 71,
"views": 72,
"forwards": 0,
"images": [
{
@@ -58504,14 +58504,14 @@
"id": 4283,
"date": "2024-08-06T08:53:55",
"text": "升级计算服务器之前硬件是瓶颈，升级之后发现自己变成了瓶颈... 想睡觉之前挂一个计算任务跑着，发现写这个任务需要的时间比计算需要的时间长，可是我又不想让计算闲时浪费，结果就是自己要被累死了 <i class=\"custom-emoji\" emoji-src=\"emoji/6323582802050680516.webp\">🛌</i>",
"views": 67,
"views": 68,
"forwards": 1
},
{
"id": 4284,
"date": "2024-08-07T22:28:04",
"text": "和聊聊去附近新开的模玩店买了一个镜音凛的粘土人 qwq 它的包装打开是不透明的铝反光小袋子，看起来是为了抽盲盒设计的，还好没有作为盲盒卖\n\n运气太差了不喜欢盲盒，记得几天前和 menci 和 syama 去观前喵咕屋买了プロセカ和孤独摇滚的盲盒胸针，结果孤独摇滚开出了没什么存在感的きくり，プロセカ开出了不那么能认出来的初音未来和 KAITO...\n(╯’ – ‘)╯︵ ┻━┻",
"views": 58,
"views": 60,
"forwards": 0,
"media_group_id": 13784557476954909,
"images": [
@@ -58591,7 +58591,7 @@
"id": 4291,
"date": "2024-08-07T23:38:26",
"text": "第一次在加拿大见到路边摊",
"views": 53,
"views": 55,
"forwards": 0,
"media_group_id": 13784591251588581,
"images": [
@@ -58621,7 +58621,7 @@
"id": 4293,
"date": "2024-08-08T04:59:22",
"text": "让 DALLE 画了一些服务器的图标，终于不怕找不到标签页了",
"views": 45,
"views": 54,
"forwards": 0,
"media_group_id": 13784745301187333,
"images": [
@@ -58646,5 +58646,35 @@
"thumb": "media/4294.jpg_thumb.jpg"
}
]
},
{
"id": 4295,
"date": "2024-08-09T03:18:49",
"text": "<a href=\"##ML\">#ML</a> 今天把 Sekai LLM 的大模型部署到新的 V100 服务器上了！\n\n为了最大化部署效率试了很多不同的框架，首先看到了别人的<a href=\"https://bentoml.com/blog/benchmarking-llm-inference-backends\">测试结果</a>，大概是 LMDeploy 效率最高，其次是 MLC，再其次是 vLLM。所以我首先试了 LMDeploy，然后遇到了一堆问题...\n\n首先试了 vLLM 因为它是星星<i class=\"custom-emoji\" emoji-src=\"emoji/6107338590335799902.webp\">⭐️</i>最多的，但是发现它会提示内存不够，即使在 24GB 的 4090 上加载 4bit 量化过的模型都提示内存不够（量化过之后用一般的 HF Transformers 加载只需要 8GB 多一点的显存）可能 vLLM 在尝试把 Qwen2 的 128K 上下文全都预留出来吧，那肯定是不够的。试了各种解决方案都跑不起来就放弃了 <i class=\"custom-emoji\" emoji-src=\"emoji/6323582802050680516.webp\">🛌</i>\n\n把训练好的 7B LoRA 模型文件挪到新机器上之后跑 LMD 发现 16GB 显存不够，确实不够，那试试两个显卡一起吧，然后直接 segfault 崩溃了 <i class=\"custom-emoji\" emoji-src=\"emoji/6323343426343404864.webp\">❓</i> 那用 AWQ 量化到 4bit 之后总可以了吧？发现输出是乱码，去 issue 里面查才发现最新版本的 LMD 还不支持 V100 AWQ <i class=\"custom-emoji\" emoji-src=\"emoji/6323582802050680516.webp\">🛌</i> 但是已经有人加了支持，开了一个 <a href=\"https://github.com/InternLM/lmdeploy/pull/2090\">+12120 -4990 的巨大 PR</a> 还没有合进去，那试试吧？发现用这个 PR 的话 AWQ 可以跑了但是很慢，而且多卡还是会崩溃... 算了算了换别的试试吧\n\n最后试了 MLC，从量化到运行没有遇到任何问题，多显卡推理也是加一个参数没有调其他的就成功了，每个请求 0.43 秒的性能也相当不错。不过发现多加一张 V100 在没有批量的情况下跑张量并行只能提升 13% 的性能，基本上就只能作为一张显存更大的 V100 用... 还是对 Sxm2 的带宽好失望，不过也很够用啦",
"views": 28,
"forwards": 0,
"media_group_id": 13785388234834757,
"images": [
{
"width": 996,
"height": 571,
"date": "2024-08-09T03:18:48",
"media_type": "photo",
"original_name": "photo_2024-08-09_03-18-48.jpg",
"url": "media/4295.jpg",
"size": 118515,
"thumb": "media/4295.jpg_thumb.jpg"
},
{
"width": 1574,
"height": 920,
"date": "2024-08-09T03:18:48",
"media_type": "photo",
"original_name": "photo_2024-08-09_03-18-48.jpg",
"url": "media/4296.jpg",
"size": 153430,
"thumb": "media/4296.jpg_thumb.jpg"
}
]
}
]
exports/hykilp/rss.xml
+13 -3
View File
@@ -12,7 +12,17 @@
<link>https://aza.moe/life</link>
</image>
<language>zh-cn</language>
<lastBuildDate>Fri, 09 Aug 2024 02:26:25 +0000</lastBuildDate>
<lastBuildDate>Fri, 09 Aug 2024 04:09:27 +0000</lastBuildDate>
<item>
<title>小桂桂的回忆录 📒 #4295</title>
<link>https://aza.moe/life?post=4295</link>
<description>&lt;p&gt;&lt;a href="##ML"&gt;#ML&lt;/a&gt; 今天把 Sekai LLM 的大模型部署到新的 V100 服务器上了！&lt;/p&gt;
&lt;p&gt;为了最大化部署效率试了很多不同的框架，首先看到了别人的&lt;a href="https://bentoml.com/blog/benchmarking-llm-inference-backends"&gt;测试结果&lt;/a&gt;，大概是 LMDeploy 效率最高，其次是 MLC，再其次是 vLLM。所以我首先试了 LMDeploy，然后遇到了一堆问题...&lt;/p&gt;
&lt;p&gt;首先试了 vLLM 因为它是星星&lt;i class="custom-emoji" emoji-src="emoji/6107338590335799902.webp"&gt;⭐️&lt;/i&gt;最多的，但是发现它会提示内存不够，即使在 24GB 的 4090 上加载 4bit 量化过的模型都提示内存不够（量化过之后用一般的 HF Transformers 加载只需要 8GB 多一点的显存）可能 vLLM 在尝试把 Qwen2 的 128K 上下文全都预留出来吧，那肯定是不够的。试了各种解决方案都跑不起来就放弃了 &lt;i class="custom-emoji" emoji-src="emoji/6323582802050680516.webp"&gt;🛌&lt;/i&gt;&lt;/p&gt;
&lt;p&gt;把训练好的 7B LoRA 模型文件挪到新机器上之后跑 LMD 发现 16GB 显存不够，确实不够，那试试两个显卡一起吧，然后直接 segfault 崩溃了 &lt;i class="custom-emoji" emoji-src="emoji/6323343426343404864.webp"&gt;❓&lt;/i&gt; 那用 AWQ 量化到 4bit 之后总可以了吧？发现输出是乱码，去 issue 里面查才发现最新版本的 LMD 还不支持 V100 AWQ &lt;i class="custom-emoji" emoji-src="emoji/6323582802050680516.webp"&gt;🛌&lt;/i&gt; 但是已经有人加了支持，开了一个 &lt;a href="https://github.com/InternLM/lmdeploy/pull/2090"&gt;+12120 -4990 的巨大 PR&lt;/a&gt; 还没有合进去，那试试吧？发现用这个 PR 的话 AWQ 可以跑了但是很慢，而且多卡还是会崩溃... 算了算了换别的试试吧&lt;/p&gt;
&lt;p&gt;最后试了 MLC，从量化到运行没有遇到任何问题，多显卡推理也是加一个参数没有调其他的就成功了，每个请求 0.43 秒的性能也相当不错。不过发现多加一张 V100 在没有批量的情况下跑张量并行只能提升 13% 的性能，基本上就只能作为一张显存更大的 V100 用... 还是对 Sxm2 的带宽好失望，不过也很够用啦&lt;/p&gt;</description>
<guid isPermaLink="false">4295</guid>
</item>
<item>
<title>小桂桂的回忆录 📒 #4293</title>
<link>https://aza.moe/life?post=4293</link>
@@ -120,7 +130,7 @@
<item>
<title>小桂桂的回忆录 📒 #4260</title>
<link>https://aza.moe/life?post=4260</link>
<description>&lt;p&gt;V100 因为是靠服务器风道散热所以散热块没有风扇，前几天买了六个 ThermalRight 热右右牌的 60mm 静音风扇，今天给它设计了一个 3D 打印的外壳，正好卡在散热器上 qwq&lt;/p&gt;</description>
<description>&lt;p&gt;&lt;a href="##ML"&gt;#ML&lt;/a&gt; V100 因为是靠服务器风道散热所以散热块没有风扇，前几天买了六个 ThermalRight 热右右牌的 60mm 静音风扇，今天给它设计了一个 3D 打印的外壳，正好卡在散热器上 qwq&lt;/p&gt;</description>
<guid isPermaLink="false">4260</guid>
</item>
<item>
@@ -210,7 +220,7 @@
<item>
<title>小桂桂的回忆录 📒 #4235</title>
<link>https://aza.moe/life?post=4235</link>
<description>&lt;p&gt;今天把 V100 插上了！踩了很多坑&lt;/p&gt;
<description>&lt;p&gt;&lt;a href="##ML"&gt;#ML&lt;/a&gt; 今天把 V100 插上了！踩了很多坑&lt;/p&gt;
&lt;p&gt;这是我第一次用 Sxm2 接口的计算卡，用了超微的 AOM-Sxm2 扩展板，它需要两个非标 PCIe x16 接口所以买了两根很贵的转接线。计算卡是像 CPU 一样卡到插槽里，拧螺丝固定然后涂硅脂安装散热。因为是给服务器用的散热所以并没有风扇，自己配了两个 120mm 风扇，不知道够不够呢&lt;/p&gt;
&lt;p&gt;第一启动的时候上电开机自检到 91 之后 FF 掉电，FF 是 CPU 没有供电的意思，debug 了超级久之后发现换一个 PCIe 口就好了... 为什么呢？因为这个主板是双路板，有两个 CPU，有四个 PCIe x16 每两个连着不同的 CPU... 必须连到同一个 CPU 上才能工作&lt;/p&gt;
&lt;p&gt;解决了这个问题之后启动发现识别了 PLX 设备但是没有识别 NVIDIA，发现插卡的顺序和标记是反的，要从 GPU4 开始插&lt;/p&gt;