如果把开源模型中词表中的每一个token的维度按照每三个一组转化为rgb 颜色,每个token 对应一张图,图会是什么样的,不同token间的差异大吗?
ai 回答:词表的空间维度间不存在相关性,故出来的是噪点
那么有无其他更好的映射方法能增强可视化呢,或许将有助于增加ai的可解释性。
又或者能否增加一种简单的空间相关性,并来利用它呢

a sweet mi
如果把开源模型中词表中的每一个token的维度按照每三个一组转化为rgb 颜色,每个token 对应一张图,图会是什么样的,不同token间的差异大吗?
ai 回答:词表的空间维度间不存在相关性,故出来的是噪点
那么有无其他更好的映射方法能增强可视化呢,或许将有助于增加ai的可解释性。
又或者能否增加一种简单的空间相关性,并来利用它呢

文字的浅薄亦在于抽象
汉字一开始来源于对图像的简化,在构建出基本的单词基础后,又慢慢派生出其他日常需要但并无实体事务对应的单词,比如时间长度心情政治。
语言的虚弱在于”一图胜千言“,在表述一个具体的事物时图像往往传达了更多细节,这些细节如果用语言表达出来会占据不少篇幅,但很难说一段文字是否完备的描述了一张图片,想来80%的比例只需要少数文字,20%的却要占尽绝大部分篇幅。
在实体走向抽象的过程中,抽象出的描述往往高于实体。在抽象变为实体的过程的,往往有损抽象。抽象并不天生”高于“实体,但在与其他个体交互、发生联系方面抽象要更胜一筹。比如在描述两张图像的差异点时,这种描述目前似乎只能落地到抽象的文字上,比如感觉有80%的相似、作品风格的年代不一样等等,这种能力来源于人们为了日常生活已经创造了大量抽象的文字概念,可以使得进行这种抽象的任务时十分方便的调用。那么有无可能使用图像来方便的表达,两张图片的差异处呢,我想目前是有困难的,这主要受限于缺乏一致的符合直觉的图像语言。
这让我想到了有意思的三个维度:
1 压缩即智能
2 矩阵中的SVD 分解
3 为何ai 起始于LLM(大语言模型),为何LLM 成了多模态大模型的基座