qwen3模型

科技人工智能

开发者发布微调Qwen3-4B模型,消除AI写作套路

开发者Erik Kannike在Hacker News上推出了Qwen3-4B的改进版本,通过蒸馏学习和神经元编辑技术有针对性地移除了AI生成文本中的常见写作陈词滥调。这些问题包括过度使用破折号、修辞问题和三项列表等特征化表达。该模型的AI写作陈词滥调评分从原始版本的121大幅下降至12.5,取得了显著的改善。

科技人工智能

从雅可比空间提取转向向量

研究者探索了从概念词元在雅可比空间(J space)中反演通用激活转向向量的方法。J space被定义为激活层L到非嵌入矩阵之间的线性映射。在Qwen3-1.7B模型上的实验中,研究人员采用了一套系统化的算法流程:收集20至30个相关词元、随机抽取其中5个词元用于计算激活向量、重复此过程后对结果取平均,最终得到转向向…