“我的车是白色的” 为什么分词软件分词的结果是“我的 车 是 白色 的”
而我需要“我的车 是 白色的” 这样的结果，怎么办？请教各位高手、各位吧主如何方法分词好，谢谢
@建设西路东口

NLP领域，我就学过一点点文法解析（编译原理）方面的知识，我根据我已有的知识回答这个问题。
“我的车是白色的”这一中文句子，符合【名词词组 是 形容词】这样的句式，程序尝试对中文句子进行分词，并建立一棵语法树。可以看到“我的车”是一个名词词组，它还可以细分为形容词（我的）和名词（车）。
把这棵树的叶子节点连起来，得到的结果是：我的 车 是 白色的 。这并没有什么问题。
要想让计算机把“我的车”这个名词词组看成一个整体，只能让它在这个节点上不再进行细分。
我之前接触的案例都是英文句子的文法解析，中文句子是不带空格的，我猜想中文NLP系统应该是先对句子进行机械分词，得到很多种分词方案，然后再调用语法分析程序，淘汰掉那些不符合语法的方案，不知道我说的对不对。

@见招拆招z

这个分词还要好，直接 ：“我 的 车 是 白色 的 ” 分的还要粗暴简单

“我的车”是一个整体性独立的概念
区别于“我的”和其他的“车”，是一个专有名词（组合）
AI应该能智能识别出我的车”，然后才能解决其他的问题
比如我问AI，我的车是什么颜色？AI应该不会回答我是什么颜色，或者回答其他车是什么颜色，而应该能调出“我的车”里的信息来解答：是白色

一般分词软件都可以自定义词组，自己定义“我的车“、”白色的”，应该就行了。

等一下，我突然发现这不是分词问题，这是后续智能识别语法成分，提取出关键概念信息的问题

“我/的/车”、“我的/车”、“我的车”关系到一个分词粒度问题，在分词阶段，“的”字一般是单独成词(“美的空调”这样的专有名词例外)，所以应该分成“我/的/车”。“我的车”这样的整体概念，是在合词阶段(或句树分析)来完成的，否则“我白色的车”也成了整体概念当作一个词，就不利于提取信息了。
要理解句子，需要从句子中提取有用的信息。提取之前，可以自定一种结构化信息作为概念模型，然后把信息填充到这个结构里。
例如：“我的车是白色的”
物体：车 | 颜色：白 | 所属者：我
“我白色的车开走了”
物体：车
颜色：白
所属者：我
动作：开(移动-被动)
动作结果：走(位置改变，移出原来的位置)
施动者：未知(被谁开走的？默认是‘我’)
再例如：“我和小明的车是白色的”
物体：车 | 颜色：白 | 所属者：我
物体：车 | 颜色：白 | 所属者：小明
当你问“我的车是什么颜色的？”，机器可以查找结构化数据再组织语言来回答问题，而不受限于词的匹配

我的 车
和
我的车
这个差别处理起来结果差异大么？
这个不应该有差异啊。

字符串处理是可以做一些常用工具的
最基础的，主要就是从中提取节点，然后尝试各种排列组合，通过一系列方法找到规律
例如基于词典的切分：“研究生命起源”，先找出所有可能的路径，然后根据规则找到最合理的路径
问题在于未登录词的识别。可以在找不到合理路径的情况下再尝试未登录词的组合，这样可以提高效率。
另外要求词典可以动态修改，如上文中明确提到“命起源”是个人名，那么这句就可以有新的解读。

自然语言的一些常见问题汇总

全部路径
标准的处理方式是处理全部路径节点的全概率得分，每两个节点和连线至少算出一个分数，取整条路径得分最高的作为句子的解释。
全部排列组合：
0 {拿 出 练 习 本 来 应 有 的 态 度}
1 {拿 出 练 习 本 来 应 有 的 态度}
2 {拿 出 练 习 本 来 应 有的 态 度}
3 {拿 出 练 习 本 来 应 有的 态度}
4 {拿 出 练 习 本 来 应有 的 态 度}
5 {拿 出 练 习 本 来 应有 的 态度}
6 {拿 出 练 习 本来 应 有 的 态 度}
7 {拿 出 练 习 本来 应 有 的 态度}
8 {拿 出 练 习 本来 应 有的 态 度}
9 {拿 出 练 习 本来 应 有的 态度}
10 {拿 出 练 习 本来 应有 的 态 度}
11 {拿 出 练 习 本来 应有 的 态度}
12 {拿 出 练习 本 来 应 有 的 态 度}
13 {拿 出 练习 本 来 应 有 的 态度}
14 {拿 出 练习 本 来 应 有的 态 度}
15 {拿 出 练习 本 来 应 有的 态度}
16 {拿 出 练习 本 来 应有 的 态 度}
17 {拿 出 练习 本 来 应有 的 态度}
18 {拿 出 练习 本来 应 有 的 态 度}
19 {拿 出 练习 本来 应 有 的 态度}
20 {拿 出 练习 本来 应 有的 态 度}
21 {拿 出 练习 本来 应 有的 态度}
22 {拿 出 练习 本来 应有 的 态 度}
23 {拿 出 练习 本来 应有 的 态度}
24 {拿 出 练习本 来 应 有 的 态 度}
25 {拿 出 练习本 来 应 有 的 态度}
26 {拿 出 练习本 来 应 有的 态 度}
27 {拿 出 练习本 来 应 有的 态度}
28 {拿 出 练习本 来 应有 的 态 度}
29 {拿 出 练习本 来 应有 的 态度}
简化版，去掉可以成词的单字
0 {拿出 练习 本来 应 有的 态度}
1 {拿出 练习 本来 应有 的 态度}
2 {拿出 练习本 来 应 有的 态度}
3 {拿出 练习本 来 应有 的 态度}
基于统计的话，更高效的是基于局部相邻的几个节点(基于“场”)来计算得分，例如条件随机场。
基于理解的话，可以同时保留几种读得通的、可能性(得分)较大的路径，再根据上下文和知识库来评分。