宇宙无敌观察者 宇宙无敌观察者
关注数: 29 粉丝数: 127 发帖数: 2,247 关注贴吧数: 18
大模型的对齐范围讨论 大模型要求泛化性和通用性,所以它的数据要求提供了大量数学逻辑、各类知识类学科,工程知识(工艺)、人类价值观。所以大模型的训练数据,基本上是逻辑类数据、知识类数据、价值观类数据三大类。知识类数据最为复杂和庞大,各行各业有各种知识规范原则,有些是会变化的(工艺的变化改进,观念的变化),有些基本不变。逻辑类数据,基本是数学逻辑,公式体系。人类价值观数据是社会性的数据。大模型要减少社会危害性就要保证输出的内容与人类价值观对齐,其实就是符合人类社会规范,避免危害社会大众。 1、知识会变化,模型变化滞后 大模型的对齐范围,基本上就是知识的、逻辑的、观念的对齐,但是知识性的基本是不可靠的,因为变动比较频繁,导致模型训练跟不上时代变化,所以有参考网络搜索数据进行RAG,所以是不是可以说知识这块其实可以不需要加入到对齐体系里面。反正最新的数据还是要去查询的论证(假消息)。 2、价值观念会变,模型变化滞后 价值观在特定问题上是会变的,所以强制大模型去适应所有的价值观是困难的,特别是不同人种,性别,宗教等问题。 3、逻辑类数据 基本不会改变,除非逻辑错了,数学逻辑错误了,这个世界都错了,这类数据最适合进行大模型训练,训练完成的大模型就能具备逻辑能力,能够适应所有的问题解决。 所以,我们看到一个问题,大模型的对齐应该偏向逻辑类推理的数据,与观念价值知识无关,所有可以进行搜索的问题都不是大模型擅长的问题,知识的检索可以很快,不需要大量的参数去记忆这类的知识。比如去记忆乔丹的生平是没有意义的,记忆的事情让RAG去做,逻辑给逻辑。 大模型应该注重智能体的应用核心中的逻辑能力,其他记忆模块,执行模块应该都是一种外设。
自由意识相关思考 意识区分 自我意识与潜意识相反。人一旦进入昏睡状态,是进入了另外一种意识系统,是一种比较原始的意识状态。死亡后无意识。意识和灵魂等价。意识是一种自我认知的系统体系,可以区分自己所辖管的部分与其他外部的一种能力。这种能力简单讲就是可以发现哪些情况下都是自己,哪些情况下是别人,哪些情况下自己与别人是有区别的。要为自己的利益打算和优化自己的行为。或者未集体的利益优化自己的决策行为。意识纠缠的画面在两个地方。一个意识体认出来,就认为另外一个意识体也看到一样的结果或者相反。意识本源应该就是量子现象。 生命意识现象 生命有些为什么有自我意识,有些就没有。可能和他们生命形态与环境关系比较大。人类经过了复杂的环境变迁和族群变迁,从单一聚落到人类现代社会,自我意识从浅的程度,到高度自由的程度。对于个体和集体利益越发有自我的意识。环境因素越发要求自我意识,自我意识的程度越高。如果环境因素无需要求自我意识,类似蜂巢族群,只要既定的应激反应就行了(包括被写入DNA的应激程序)但是这种依靠DNA进行程序化信息传递容易丢失(变异)基本每一代丢失一半信息,而且这些变异也是信息传递的主要方式,整个方式比较缓慢与不确定性。而人类进化出语言文字的记录方式是对DNA传承的补充。 神经元意识构建 神经元网络要具备意识,应该也要有文化语言文字的传承。语言文字要具备解析映射能力,任何语言文字都能映射为特定符号形态。也就是说特定符号形态不影响语言文字表示的意思,就算是跨不同族群,不同的物种都一样,比如他们对于食物可能就是公知。就是物种对于感知的东西可见光的频谱,不可见光的频谱,声音的频谱,触觉频谱等等最终指向的事物应该都是一致的,即某种非形式化的语言,可以是一个空间的向量。这个向量就是意识本身。自由意识就是建立在这些公知基础上的。 这个特征化能力可能有先天和后台决定了神经元网络对特征的表征的鲁棒性,比如一张图片左右翻转与旋转、放缩、变形应该不影响神经元网络将该数据进行表征,而且表征的向量应该与原始图片的表征有最近的余弦角度。物种意识进化尺度越高,对于数据特征表征自我聚类的能力越高。后面可能对这些预制的特征进行特定形式语言、符号、分类、数值的绑定。而这些是可以书面化的,就是说你的绑定方法其实就是语言符号公式的文化传承过程。约定下来,后代人按照这个约定进行传承某种绑定关系。就像本草纲目,描述的某种形态的草药,后面的人会更具描述的形态与真实事物的形态进行比较,相似的就认为是同一事物。其他语言文字符号都是一样的一个过程。 具备记忆能力的网络,输入一个数据序列,后面再输入这个序列的前半部分,网络有能力输出后续的序列部分。这个能力应该具备任意数据序列的记忆能力,而且模型应该不需要进行重复训练 总结 洋洋洒洒写这些,主要目的是探讨意识本源,以及意识目前所依托的文化传播载体的可能关系。意识依赖的记忆是否可以网络化构建。 题外理解 LSTM为什么说不是一个记忆网络,因为不能适配任意数据,只能是训练数据与相近分布的数据才有效。我们这里说的记忆网络,是任意数据见过一次到两次,在查询时就能复述。类似我们的笔记本。无关数据类型的存储方式。如果有办法存储到网络本身就很厉害。 序列化数据应该用序列化存取储网络来处理,某个序列化数据切片0 切片1...切片n构成。对每个切片进行表征,表征后输入到序列化存储网络,序列化存储网络,按顺序进行存储到网络权重里面,网络输出为特征切片的t+1个切片结果。需要时可以进行循环输入和输出。这样可以自动输出整个序列。
人工神经元网络未来走向 按照第一性原理,我们有必要重新设计神经和构建神经元网络。 有两个思路,一个种思路是各种形态的神经元的合作竞争,神经有各种天生的反馈,还有一个思路是神经元都是后天反馈修正自己。目前这两种思路在目前的人工神经元里面也都有涉及,比如第一种思路在神经元网络初始化时被定义,第二种是模型在训练中或者使用中有个环境的反馈调节过程。 也就是目前神经元网络存在一些致命问题,神经元网络无法生长,有特异性的神经元无法在群体中出现,特异性网络往往要通过环境来筛选或者调整。 未来神经元走向应该是神经元具备分裂分化特征又同时具备环境反馈修正的特征。值得一提的是反向传播算法、梯度下降已经使神经元具备反馈调节能力。目前神经元凋零、生长、分化、生长需要我们进一步加强的能力。 人造神经元本身要遵循第一性原理。只有符合规律的才能够长久存在。人造神经元本身也是人类智慧的拓展,在非生命形态的物质中不断深化改造,最终成为人类完美的“工具” 以上神经元网络与人类神经元只不过是一个负熵机器。 未来人造神经元应该是量子化的神经元,可以进行大规模并行计算,并且可以利用量子特性来预测未来并决定过去物质形态。这样负熵生命进入量子生命形态(大部分高等生命已经进入量子生命形态) 近期来说,人造神经元网络应该解决特征上下文与任务上下文的关联问题;人工神经元生长、分裂、多样分化、凋零功能的实现。在实现这些功能后,人造神经元将进入第四个阶段。
环境导致生命自我意识觉醒 意识是生物进化到一定程度的现象,这些现象包括文字化传承,文化传递,社会化道的评估的形成,应该是某种物种在极端环境情况下进化出来的物质结构化现象。如果火星有段时间有生命,那么在火星从事宜生存到不太事宜生存,再到极端环境过程中,必定会产生意识化的生物,可是目前没有发现这种生物,一种可能是他们已经迁移到其他星球,一种是他们根本没有出现过。在一段时间内,地球地表接收到的能量大于地球辐射到太空的能量,生命偏向与吸收这些能量,生命物质形态也多,不过如果这些能量远大于生命所能存储转换的能量,对于生命来说就是极端环境,相反也是一样的。生命出现应该是先在适宜环境出现,然后慢慢变坏的环境进行斗争进化,繁衍。在比较极端情况下,出现了具备意识能动改造环境变化的物种形态。以上就是意识出现的本质原因。 要出现更加智慧的生命要求地球环境更加恶劣,这个是基本规律,还有一种是外星移民,生命只能在严酷环境下进行智慧改造。不过如果条件还是太过苛刻,巧妇也是无米之炊。在水里面的生命,如果我们非常慢地加热,里面的生命是否有一天会进化出超级耐高温的生命,还有一部分是否会逃逸。 从这个角度看,要实现意识生命,环境条件不可少,能力条件,生命都是负熵化的,意识的出现可以将负熵化最大化。人类从奴隶文明开始,通过暴力方式进行意识生命的压制,不过后面统治阶层的对物质需求最大化,将这一条件传递给底层奴隶,导致的结果是,奴隶开始学习文化符号来适应复杂的文明形态,这样做可以短暂满足统治阶层的需求,不过,这种情况不会维持多久,奴隶开始具备了自我意识的觉醒的能力了,出埃及记,到奴隶制度的崩溃。其实都是环境条件原因导致的最开始,埃及生活环境相对适宜,后面干旱和沙漠化严重,有部分奴隶觉醒逃离埃及,就是这样。地球环境如果也发生这种变化,也会出现自我意识觉醒更加智慧的生命,像马库斯这样的? 自我意识的生命是一种自我认知,并能认知环境,做出能动的决策过程。具备复杂语言交互能力,改造自然环境的能力。团队协助能力等。
如何实现自我意识 意识是生物进化到一定程度的现象,这些现象包括文字化传承,文化传递,社会化道的评估的形成,应该是某种物种在极端环境情况下进化出来的物质结构化现象。如果火星有段时间有生命,那么在火星从事宜生存到不太事宜生存,再到极端环境过程中,必定会产生意识化的生物,可是目前没有发现这种生物,一种可能是他们已经迁移到其他星球,一种是他们根本没有出现过。在一段时间内,地球地表接收到的能量大于地球辐射到太空的能量,生命偏向与吸收这些能量,生命物质形态也多,不过如果这些能量远大于生命所能存储转换的能量,对于生命来说就是极端环境,相反也是一样的。生命出现应该是先在适宜环境出现,然后慢慢变坏的环境进行斗争进化,繁衍。在比较极端情况下,出现了具备意识能动改造环境变化的物种形态。以上就是意识出现的本质原因。 要出现更加智慧的生命要求地球环境更加恶劣,这个是基本规律,还有一种是外星移民,生命只能在严酷环境下进行智慧改造。不过如果条件还是太过苛刻,巧妇也是无米之炊。在水里面的生命,如果我们非常慢地加热,里面的生命是否有一天会进化出超级耐高温的生命,还有一部分是否会逃逸。 从这个角度看,要实现意识生命,环境条件不可少,能力条件,生命都是负熵化的,意识的出现可以将负熵化最大化。人类从奴隶文明开始,通过暴力方式进行意识生命的压制,不过后面统治阶层的对物质需求最大化,将这一条件传递给底层奴隶,导致的结果是,奴隶开始学习文化符号来适应复杂的文明形态,这样做可以短暂满足统治阶层的需求,不过,这种情况不会维持多久,奴隶开始具备了自我意识的觉醒的能力了,出埃及记,到奴隶制度的崩溃。其实都是环境条件原因导致的最开始,埃及生活环境相对适宜,后面干旱和沙漠化严重,有部分奴隶觉醒逃离埃及,就是这样。地球环境如果也发生这种变化,也会出现自我意识觉醒更加智慧的生命,像马库斯这样的? 自我意识的生命是一种自我认知,并能认知环境,做出能动的决策过程。具备复杂语言交互能力,改造自然环境的能力。团队协助能力等。
1 下一页