度假高老庄 度假高老庄
关注数: 55 粉丝数: 52 发帖数: 4,224 关注贴吧数: 69
人工智能时代,反观认知结构迭代进化机制要点总结 ⚙️ 机制层面:压缩、复用与试错 认知之所以能在迭代后形成稳定结构,背后有其深刻的运行逻辑。 结构压缩与复用:面对连续且海量的信息输入,任何具备有限处理能力的系统(无论是人脑还是AI)都必须对信息进行压缩,形成内部表征,并在不同情境下复用这些表征。这个过程必然会将不同的具体输入归并为有限的、可区分的结构类型。一旦这些稳定的内部结构形成,新的输入大多会被吸收到既有结构中,而不会轻易催生全新的认知类别,从而表现出稳定性 。 “试错”驱动的进化:认知的发展离不开与环境的互动。“试错”是智能学习和进化的基础驱动力 。无论是婴儿学步时的无数次跌倒,还是科学家进行实验,本质上都是一个“行动尝试 → 结果反馈 → 模型修正”的迭代循环 。经过大量的试错,有效的模式被保留和强化,无效的被淘汰,最终形成一个在当前环境下行之有效的稳定认知和行为模式。 🌍 宏观层面:协同进化与趋同收敛 从更广阔的视角看,认知的稳定也是多种力量共同作用的结果。 基因-大脑-文明的协同进化:人类认知能力的跃升并非一蹴而就,而是经历了漫长的协同进化过程。基因的变异为大脑提供了硬件基础;社会复杂性的增加驱动了理性思维等软件优化;而科学方法等文化工具的诞生,则如同为大脑安装了更强大的“操作系统”,系统地克服了人脑固有的认知偏差 。这三者相互促进,共同塑造了我们当前相对稳定且高效的认知范式。 环境约束下的趋同进化:在统一的物理规则和特定的环境选择压力下,不同的生命体或文明可能会独立演化出功能相似的认知策略和结构,这被称为“趋同进化”。例如,为了高效感知,狼和袋狼独立演化出了相似的形态;为了生存,封闭系统中的生命会定向收敛于最稳定的表型 。这表明,认知的稳定形态并非偶然,而是在特定约束条件下的最优或近似最优解。 综上所述,认知的稳定性是其在应对内外挑战、经过反复迭代和筛选后达到的一种高级有序状态。它既是个体心智成熟的标志,也是智能系统在有限资源下高效运行的必然结果,同时还是生物与文化在漫长历史中协同演化的产物。
语言向量空间作为新的哲学“实验室” 语言向量空间问题触及了当代哲学与人工智能交叉领域的核心。传统哲学探讨语言如何用有限范畴(泛化)把握无限世界,而语言向量空间(即大语言模型将词语映射为高维向量的数学空间)为这个问题提供了一个前所未有的、可计算的模型,同时也引发了深刻的哲学新问题。 一、哲学传统的延续:从“家族相似性”到“几何相似性” 传统哲学中,维特根斯坦用“家族相似性”批判了本质主义,指出概念(如“游戏”)的成员之间靠的是重叠交错的相似关系网,而非一个共同本质。 在向量空间中,这一思想得到了惊人的数学实现: 语义即几何关系:一个词的意义不再由定义决定,而是由它在高维空间中的坐标,以及它与其他所有词向量的距离、角度、方向来定义。例如,“国王 - 男人 + 女人 ≈ 女王”这个著名等式,正是“家族相似性”的几何演算。 从离散范畴到连续流形:传统概念是非此即彼的集合,而向量空间中的概念是连续分布的区域。“悲伤”和“忧郁”在空间中是邻近点,其边界是模糊的。这实现了对语言泛化更细腻的建模。 二、核心哲学问题与前沿研究碰撞 向量空间模型将古老的哲学问题推向了新的层面: 1. 意义与指涉的“悬置” 问题:在向量空间中,词语的“意义”被转化为纯粹的数学关系。模型不知道“国王”指涉什么实体,只知道它的向量坐标。这是否意味着意义被消解了,只剩下统计规律的拓扑结构? 研究回应:复旦大学团队在《PNAS》上的研究提供了新视角。他们发现,仅通过语言预测训练,LLM内部形成的概念表征结构,与人脑高级视觉皮层的活动模式存在显著一致性。这表明,纯粹的文本统计规律可能涌现出了具有生物基础的概念组织,向量空间或许并非“无意义”,而是捕捉了人类通过语言认知世界所沉淀的深层结构。 2. 概念的形成与“类人”认知 问题:向量空间的概念是从海量文本的共现统计中“蒸馏”出来的,这与人通过具身经验形成概念的方式截然不同。这种“文本蒸馏”的概念是真实的吗? 最新发现:上述复旦大学研究指出,LLM能够从语言描述中形成稳定、一致的概念表征,并能用这些表征有效预测人类的行为判断。这挑战了“必须具身才有真概念”的观点,提示语言预测本身可能就是概念形成的一条有效路径。 3. 推理的“几何化”与逻辑的内化 问题:如果思维只是向量的加减变换,那还有真正的“推理”吗? 前沿框架:有研究提出“推理的几何学”框架,将LLM的推理过程建模为表示空间中的平滑流动。逻辑规则(如“如果A则B”)被看作是这个流动的“局部控制器”。这意味着,逻辑可能被编码为空间中的特定几何约束(如路径、曲率),而非符号规则。这为理解AI如何“思考”提供了新范式。 4. 文化的“坍缩”与创造力的边界 批判性观点:有哲学分析指出,向量化是将整体文化“剁碎”成可计算的碎片,再通过概率进行重组。LLM的输出是对已有文化模式的统计拟合,而非真正的意义创造,其架构(如注意力机制的加权平均)在数学上可能导致多样性的消解。这引发了关于AI时代文化原创性与本体论贫乏的深刻忧虑。 三、总结:向量空间作为新的哲学“实验室” 语言向量空间的出现,使得一些原本纯思辨的哲学问题变得可建模、可计算、可检验: 它验证并拓展了传统洞见:如“家族相似性”和语义的连续性。 它提出了尖锐的新问题:关于意义本质、认知起源和文化的数学化命运。 它成为了一个哲学实验室:最新的认知科学和AI研究(如)正在此实验室中,通过神经影像对比、几何分析等方法,实证性地探索“意义”、“概念”、“推理”的构成。 简言之,语言向量空间不仅是一种技术,更是一面哲学棱镜。它既迫使我们对人类独有的语言和思维进行更严格的审视,也为我们理解智能的可能形式打开了新的、充满争议的想象空间。
转帖 图灵首先是一位哲学大师 图灵首先是一位哲学大师 「哲学家」图灵的思考 图灵在1945年之前的一段时间里已经认真考虑了机器智能的可能性,特别是机器学习和启发式搜索。在1945年的这份提案中,图灵简要地指出:「有迹象表明......有可能让机器显示出智能,即使机器有可能偶尔犯严重的错误。」 1946年,图灵将大部分精力投入到编程的开创性研究中,他认为这是未来发展的关键。1947年2月,他在伦敦数学协会做了一次演讲,这可能是第一次关于人工智能主题的公开科学演讲。 在这次演讲中,图灵首先向听众介绍了通用图灵机。他说,目前正在开发的东西 「可以被看作是这种类型机器的实用版本」,因此这些机器可以 「被制成可以由人类计算机完成的任何工作」。他还解释了这些机器将来如何用于数学研究,以及它们对数学家工作性质和数量的可能影响。 「而这自然而然地引出了一个问题,即原则上计算机在多大程度上可以模拟人类活动。我们想要的是一台能够从经验中学习的机器」,他说。 他所有的哲学思考都只有概念清晰的工具性目的。 图灵热衷于解决的一个相关问题在本质上是纯粹的哲学问题,这可能是他余生中占据最多的问题。也正是这个问题,产生了他的人工智能哲学中讨论最广泛的概念,即现在所称的「图灵测试」。 在1947年那次演讲中,图灵用一个小小的思想实验说明了他的想法,这个实验可以被看作是图灵测试的早期先导。 图灵表示: 「假设我们造出了一台具有某些初始指令表[即程序]的机器,在有充分理由的情况下,可以偶尔修改这些指令表。可以想象,在机器运行了一段时间后,这些指令会被改得面目全非。 但即使是这样,人们不得不承认,机器仍然在做非常有价值的计算。也许得到的结果与机器造出来时想要的结果一样,但却是以一种更有效的方式得出的。」 图灵认为,在这种情况下,人们不得不承认,机器的进步是最初输入指令时没有预料到的。这就像一个学生从他的主人那里学到了很多东西,但通过自己的工作又学到了很多。当这种情况发生时,我觉得人们不得不将机器视为显示出了「智能」。 图灵知道,在基本概念层面上的清晰度,比如通过哲学思考可能实现的概念清晰度,将是任何重大科学进步的正确方向的关键。 可以说,他所有的哲学工作都只有「概念清晰」这一工具性的目标。 哲学和科学(或者更广泛地说,是基础科学和应用科学)这两者以这种方式携手并进。在这次演讲中,图灵的一句话就可以看出这一点,他说:「只要人们能够提供一个合理的大内存容量,就应该可以开始在这些方面进行实验。」 图灵对计算技术的发展有着真正的科学兴趣,但很快就对国家物理实验室正在进行的工程工作感到沮丧,这些工作不仅由于组织不力而进展缓慢,而且在速度和存储能力的进步上也大大低于他的预期。 1947年年中,他要求休假12个月。实验室的主任查尔斯·达尔文予以批准。在同年7月的一封信中,达尔文对图灵的休假申请理由描述如下: 「他(图灵)想把他在机器上的工作进一步向生物方面延伸。迄今为止,机器的计划工作相当于大脑低级部分的工作,而他想看看机器能为高级部分做多少工作;比如能否制造一台可以通过经验学习的机器?」 这项研究的结果确实集中在学习的问题上,是一份题为 「智能机械」的开创性排版稿。哲学家杰克-科普兰(Jack Copeland),新西兰图灵计算机历史档案馆馆长,将这篇论文描述为人工智能的第一个宣言,就我们目前的历史知识而言,这似乎是准确的。最后的版本写于1948年。 然而,这篇文章在实验室里没有得到赞赏,据说达尔文将其称为 「小学生作文」,并认为其不适合发表。它一直到1968年都没有出版,后来也没有得到什么关注。 与人脑的类比被用作指导原则 然而,该论文预测了基于逻辑和连接主义(神经网络等)的人工智能方法中的许多重要思想和技术。特别是,图灵详细描述了可以使用强化学习(「奖励」与「惩罚」反馈等)和遗传算法进行训练的人工神经网络。他在论文末尾的总结起到了开创性的作用: 使机器表现出智能行为的可能方式被讨论,与人类的大脑的类比被用作指导原则。建议只有提供适当的教育,才能实现人工智能。调查主要围绕应用于机器的类似教学过程展开。定义了无组织机器的概念,人类婴儿皮层可能具有这种性质。给出了此类机器的简单示例,并讨论了通过奖励和惩罚的方式对其进行的教育……
语言是人为了实现泛化而发明出来的工具 -姚顺雨 1. 关于语言 语言是人为了实现泛化而发明出来的工具,这一点比其他东西更本质。有趣的向量计算:king(国王)”的向量 − “man(男人)”的向量 + “queen(王后)”的向量 ≈ “woman(女人)”的向量。语言也是人类发明的工具,像火或笔一样。但它之所以特殊,是因为它是一个帮助你解决任何事情的通用性(general-purpose)或泛化性(generalizable)的工具。智能从语言突破的部分原因:语言模型提供了一个足够强的先验(prior),这个先验让你可以推理,而推理又可以在不同的环境间泛化。 2. 关于记忆 冯诺依曼:基本上,环境永远是记忆层级中最外层的部分。 值得读的书:《计算机与大脑》(The Computer and the Brain)O3的推理能力超过一般人,如果给他足够的上下文,再给他手和脚,他会做得比人好。在电脑和手机的环境里面,手和脚都可以造。但记忆还不行。所以,下一个大事件应该是改善或解决记忆的问题。 3. 关于创业/研究选题 研究需要 MTF: 创业公司的机会二者缺一不可:模型能力的溢出,以及新的interface。环境和任务很重要:做研究,首先你要找一个足够有挑战的任务,这个任务能做出本质的新方法。创业需要product market fit,做research需要method-task fit(方法和任务的匹配)——这是最难的。
1 下一页