qwen3模型

科技人工智能

从雅可比空间提取转向向量

研究者探索了从概念词元在雅可比空间(J space)中反演通用激活转向向量的方法。J space被定义为激活层L到非嵌入矩阵之间的线性映射。在Qwen3-1.7B模型上的实验中,研究人员采用了一套系统化的算法流程:收集20至30个相关词元、随机抽取其中5个词元用于计算激活向量、重复此过程后对结果取平均,最终得到转向向…