token转图像

如果把开源模型中词表中的每一个token的维度按照每三个一组转化为rgb 颜色,每个token 对应一张图,图会是什么样的,不同token间的差异大吗?

ai 回答:词表的空间维度间不存在相关性,故出来的是噪点

那么有无其他更好的映射方法能增强可视化呢,或许将有助于增加ai的可解释性。

又或者能否增加一种简单的空间相关性,并来利用它呢

{“AIGC”: {“Label”: “1”, “ContentProducer”: “001191110108MA01KP2T5U00000”, “ProduceID”: “6ad6d33ccf54e013be8a1420_1”, “ReservedCode1”: “6d24ee34”, “ContentPropagator”: “001191110108MA01KP2T5U00000”, “PropagateID”: “6ad6d33ccf54e013be8a1420_1”, “ReservedCode2”: “6d24ee34”}}

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注