level 8
c搞什麼班門弄斧呢？連網際網路都沒有滴。 c的AI就二三流檔次。
level 9
![[捂嘴笑]](/static/emoticons/u6342u5634u7b11.png)
level 9
level 9
Mistral之所以备受瞩目，核心在于其大模型的“混合专家模式”的MoE（Mixture of Experts）架构。
MoE架构主要由两个关键部分组成：专家网络和门控机制。
（1）专家网络：传统Tranformer架构的FFN（前馈网络）层是一个完全连接的神经网络，MoE架构的FFN层则划分成稀疏性的神经网络，这些被称之为“专家”的小FFN，每个都有自己的权重和激活函数，它们并行工作、专注于处理特定类型的信息。
（2）门控机制：用来决定每个token被发送到哪个专家网络的调配器，比如下图中“More”这个token在输入概率（p)为0.65时被分配到FFN2，而“Parameters”则在输入概率（p）为0.8时被分配到了FFN1。
2024年08月17日 09点08分
4
MoE架构主要由两个关键部分组成：专家网络和门控机制。
（1）专家网络：传统Tranformer架构的FFN（前馈网络）层是一个完全连接的神经网络，MoE架构的FFN层则划分成稀疏性的神经网络，这些被称之为“专家”的小FFN，每个都有自己的权重和激活函数，它们并行工作、专注于处理特定类型的信息。
（2）门控机制：用来决定每个token被发送到哪个专家网络的调配器，比如下图中“More”这个token在输入概率（p)为0.65时被分配到FFN2，而“Parameters”则在输入概率（p）为0.8时被分配到了FFN1。
level 9
通俗一些说，经典的Tranformer架构在运行时，无论下达的推理指令是什么，都会把系统中所有的员工全部调动起来问个遍，颇有些劳民伤财；MoE架构则是“术业有专攻”，把不同的问题交给相应领域的专家来解决。
这意味着MoE架构在推理时，最大程度实现了性能和参数规模之间的平衡，节省了科技大厂谈之色变的算力成本。
正因如此，Mistral 8x7B模型一经问世，让Meta的LLaMA2大模型都有些黯然失色，其背后是MoE架构对Transformer的创新性改造。
近期，Mistral又发布了性能逼近GPT-4的
超大杯
模型Mistral Large，虽然并未开源，但上线闭源大模型，意味着Mistral正式加入AI的商业化竞争。
Mistral在领英的页面也显示，近期从事商务拓展的员工比例大幅增加，已占其整体的近40%[4]。
按照其CEO Arthur Mensch的说法，Mistral Large的训练成本仅为2000万美元左右，而OpenAI的模型则超过5000万美元。
2024年08月17日 09点08分
5
这意味着MoE架构在推理时，最大程度实现了性能和参数规模之间的平衡，节省了科技大厂谈之色变的算力成本。
正因如此，Mistral 8x7B模型一经问世，让Meta的LLaMA2大模型都有些黯然失色，其背后是MoE架构对Transformer的创新性改造。
近期，Mistral又发布了性能逼近GPT-4的
超大杯
模型Mistral Large，虽然并未开源，但上线闭源大模型，意味着Mistral正式加入AI的商业化竞争。
Mistral在领英的页面也显示，近期从事商务拓展的员工比例大幅增加，已占其整体的近40%[4]。
按照其CEO Arthur Mensch的说法，Mistral Large的训练成本仅为2000万美元左右，而OpenAI的模型则超过5000万美元。
level 9
在法国国家人工智能战略的基础上，法国国防部于2019年针对人工智能在其国防军事发展领域的特别应用发布《支持国防的人工智能》战略文件（下文简称战略文件）。[10]法国国防部明确了优先发展的七大实际操作领域， 并制定各领域目标并赋予法国军队新的能力，即根据条令组织、训练和支持人员及装备，以供作战使用。
（一）计划和执行中的决策支持（decision support in planning and execution）
人工智能将帮助过滤、增强、利用和分享数据，并提供演习方面的帮助，从而为战斗人员提供智能化选择，使他们能更快做出决定，同时减少不确定性，但最后的决定权仍把握在指挥人员手中。
（二）协同作战（collaborative combat）
“协同作战”的概念强调的是为战术目的改善信息交流、共享和利用的重要性。协调系统和作战实体是加快各情景军事行动演习速度的关键因素，数据挖掘技术主要通过共享、合并和交叉引用信息，以帮助了解战术情况。在流程管理（flow management）方面，人工智能可以帮助选择集中和分散处理之间的最佳折中方案，增强异构系统间的互操作性，并对流程进行优先排序。
（三）网络防御和影响（cyberdefence and digital influence）
人工智能技术将会给网络防御带来决定性的实操影响。在该领域的人工智能应用包括：分析网络中的痕迹，检测入侵或恶意活动；根据现有信息来源（开放源）预测威胁；测量系统阻力水平；应对数字影响。
（四）后勤和行动准备（logistics and operational readiness）
人工智能在物流和维护方面的应用最具军民两用性。该领域的人工智能应用包括：流畅化运输流程，提高供应链效率；优化维修安排；通过优化预测性维护和预防性维护，更好地了解和管理设备的可用性；推动仓储、维护、订单等任务的自动化；个性化的技术培训。
（五）情报（Intelligence）
有限的人力资源难以有效利用不断增加的待处理情报数据，而人工智能技术能够实现自动处理并优化多来源和多领域数据的交叉引用，将处理器重新集中到高附加值的功能上。
（六）机器人技术和自主（robotics and autonomy）
随着更紧凑的载体、传感器和高性能电信设备的出现，法国武装部队已经将机器人和无人机用于扫雷和观察等任务。在陆地上，机器人技术和更好的人机界面是法国“蝎子”计划的关键目标。
（七）支撑服务中的人工智能（AI in support services）
该领域的人工智能应用包括数据处理和分析、语音识别、自然语言处理、传感器和软件机器人等。人工智能既可以帮助决策支持和预测分析，以便规划、模拟或优化资源消耗，也可应用于基础设施中的连接传感器，以实现自动数据收集、财产监测和预测性维护。简言之，人工智能有可能促进自动化和控制，实现人力资源工作重心转换，提高人机互补效率。
2024年08月17日 10点08分
6
（一）计划和执行中的决策支持（decision support in planning and execution）
人工智能将帮助过滤、增强、利用和分享数据，并提供演习方面的帮助，从而为战斗人员提供智能化选择，使他们能更快做出决定，同时减少不确定性，但最后的决定权仍把握在指挥人员手中。
（二）协同作战（collaborative combat）
“协同作战”的概念强调的是为战术目的改善信息交流、共享和利用的重要性。协调系统和作战实体是加快各情景军事行动演习速度的关键因素，数据挖掘技术主要通过共享、合并和交叉引用信息，以帮助了解战术情况。在流程管理（flow management）方面，人工智能可以帮助选择集中和分散处理之间的最佳折中方案，增强异构系统间的互操作性，并对流程进行优先排序。
（三）网络防御和影响（cyberdefence and digital influence）
人工智能技术将会给网络防御带来决定性的实操影响。在该领域的人工智能应用包括：分析网络中的痕迹，检测入侵或恶意活动；根据现有信息来源（开放源）预测威胁；测量系统阻力水平；应对数字影响。
（四）后勤和行动准备（logistics and operational readiness）
人工智能在物流和维护方面的应用最具军民两用性。该领域的人工智能应用包括：流畅化运输流程，提高供应链效率；优化维修安排；通过优化预测性维护和预防性维护，更好地了解和管理设备的可用性；推动仓储、维护、订单等任务的自动化；个性化的技术培训。
（五）情报（Intelligence）
有限的人力资源难以有效利用不断增加的待处理情报数据，而人工智能技术能够实现自动处理并优化多来源和多领域数据的交叉引用，将处理器重新集中到高附加值的功能上。
（六）机器人技术和自主（robotics and autonomy）
随着更紧凑的载体、传感器和高性能电信设备的出现，法国武装部队已经将机器人和无人机用于扫雷和观察等任务。在陆地上，机器人技术和更好的人机界面是法国“蝎子”计划的关键目标。
（七）支撑服务中的人工智能（AI in support services）
该领域的人工智能应用包括数据处理和分析、语音识别、自然语言处理、传感器和软件机器人等。人工智能既可以帮助决策支持和预测分析，以便规划、模拟或优化资源消耗，也可应用于基础设施中的连接传感器，以实现自动数据收集、财产监测和预测性维护。简言之，人工智能有可能促进自动化和控制，实现人力资源工作重心转换，提高人机互补效率。
level 9
![[哈哈]](/static/emoticons/u54c8u54c8.png)
