量化权重约 2.5 GB,可通过 Ollama 在笔记本上运行。按作者自建的风格检测器,在训练时未见过的提示上,这类习惯的得分明显下降,事实问答仍然全部答对。
作者把一组助手腔写成检测器,包括破折号、「it's not X, it's Y」、三项并列、当场自问自答、「here's the thing」一类套话、用来强调的短句,以及 delve、seamless 等词。每种习惯有权重,得分是每千词的加权计数,他称之为 slop 分。他写道,认真的人类作者接近 0 分,人类写作通常低于 15,原模型平均为 121。正则表达式区分不了好坏文章,因此他还用别的检查看模型有没有被训坏:在 22 段人类散文上测量预测相对原模型的偏移,用 30 道题看它是否还知道事实,并用规则标出句首未大写、跑题等损坏输出,同时抽读回答。
测试集是训练中未使用的 10 个话题,各写 4 种体裁(博客、LinkedIn 帖、解释文、评论),温度 0.7,无系统提示,每个提示抽一条回答。发布方自测:slop 分从 121 降到 12.5,68% 的回答落在人类写作的分数区间,破折号从每千词 20.5 个降到 0。30 道事实题全部答对,体裁和长度的符合程度与原模型相当。作者还称,该模型在人类散文上的预测偏移,大约只有运行时转向时的三分之一。
作者的家庭实验室是一台 M2 MacBook Air。基座是 bf16 的 Qwen3-4B-Instruct-2507。他用蒸馏把习惯写进权重:由当时效果最好的老师回答 288 个训练提示,留下通过检查的答案,再让一个小型 LoRA 适配器从裸提示学会生成这类答案。每个适配器都是加在全部注意力层和 MLP 投影上的 rank-16 LoRA,训练两个 epoch,损失只算回答,每轮大约一到三小时。第一轮在不另加提示、也不在生成时挂钩子的情况下,把分数降到大约 20。
第二轮的老师是第一轮模型,加上四个神经元的符号翻转和朴素文风提示。作者曾再叠一层方向转向,测到自己见过的最低分 9.5,但文本没有大写并且跑题,于是拿掉了这一层。老师平均 7.4,用它最好的 171 条答案训出的学生得 9.9,其中 80% 的回答落在人类分数区间。作者写道,这一版会把公司换 CRM 的评论写成不表态的事件记录,把搬家博文写成第三人称家庭故事,并引用自己编造的「悉尼科技大学一项研究」。几乎每句都用「, which」或「, so」接下去,频率约为原模型的 28 倍;作者认为这来自自己的老师提示,其中要求用 because、so、but、which 连接句子,两轮模仿把习惯放大了。
他随后加入任务符合性检查:评论要尽早表态,个人反思要用第一人称,邮件要以问候开头,篇幅要大致符合要求,并另计「, which」「, so」连接以及编造的研究和百分比。按这些规则,第二轮只有 60% 的回答完成了提示要求,原模型为 78%。
第三轮让老师把任务放在前面:该表态就表态,个人内容用第一人称,句式要有变化,不要编造研究或人名。每个提示写三条,只保留分数低于 12、并通过损伤检查和全部任务检查的答案,大约 30% 能留下,覆盖 288 个提示中的 161 个。用这些答案训出的模型就是发布版。作者自测,分数从 9.9 升到 12.5,任务符合率回到 80%,「, which」连接从每百词 1.4 次降到 0.3 次,编造的研究和百分比几乎消失。
量化版为 Q4_K_M,2.5 GB,可用 Ollama 或 llama.cpp 在笔记本上运行。Ollama 的运行名为 hf.co/erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M。全精度权重以 erikkannike/qwen3-4b-deslop-v4 提供,可用 transformers 像普通 Qwen3-4B 检查点一样加载。仓库另附 126 MB 的 LoRA 适配器,以及一份 175 字节的神经元编辑,列出四个权重列及其缩放。适配器是在该编辑生效时训练的,两者需要一起使用。GGUF 由合并权重先转到 Q8_0 再量化而来。
作者自述局限:文风平到发扁,多为短陈述句,个人文章读起来像日记。研究和百分比现在少见,但人名和地名仍常编造,例如枫树街上一家由名叫 Maria 的人经营的咖啡馆,因为每一轮奖励的都是具体细节。篇幅也偏长,要求大约 150 词时,回答常常接近 200 词。他只测过这些体裁的英文短文;代码、长对话、其他语言和工具调用,可能并不好于原模型,也可能更差。分数是他写成正则表达式的风格指南,尚无读者盲测。数字也会随采样浮动:同一模型经适配器得 10.2,合并权重得 12.5。任务检查较粗,训练数据又用同一套规则筛过,因此任务符合率在一定程度上偏乐观。