如果把开源模型中词表中的每一个token的维度按照每三个一组转化为rgb 颜色,每个token 对应一张图,图会是什么样的,不同token间的差异大吗?
ai 回答:词表的空间维度间不存在相关性,故出来的是噪点
那么有无其他更好的映射方法能增强可视化呢,或许将有助于增加ai的可解释性。
又或者能否增加一种简单的空间相关性,并来利用它呢

a sweet mi
如果把开源模型中词表中的每一个token的维度按照每三个一组转化为rgb 颜色,每个token 对应一张图,图会是什么样的,不同token间的差异大吗?
ai 回答:词表的空间维度间不存在相关性,故出来的是噪点
那么有无其他更好的映射方法能增强可视化呢,或许将有助于增加ai的可解释性。
又或者能否增加一种简单的空间相关性,并来利用它呢
