抑阳流光 抑阳流光
就这样吧.
关注数: 34 粉丝数: 69 发帖数: 6,366 关注贴吧数: 47
简单介绍一下大模型的数据来源 我此前在国内外的几家数据标注平台上干了一段时间,自觉对这部分比较了解。感觉吧里有时候的讨论有点缺乏事实基础,我就说说我知道的。 大模型的数据很多人说是来自网络的,实际上网络数据并不好拿,比如新闻报道,网友发言,一些人的博客等,一是数量和信息量少,二是里面偏见,逻辑错误等很多。所以很早就不再作为主要训练数据了。 ai生成的数据也是不能直接用于ai训练的,因为噪声会放大,有用ai画的图微调ai画图模型经验的人都可能体验过。现在或许有所谓数据合成的,那应该也是有专门方法的。 语言对ai训练的影响非常小,几乎所有模型都是混着各种语言的数据训练的,这从模型输出时偶尔会汉语夹杂英语,英语夹杂阿拉伯语等现象可以看出。数据标注中语言类的标注是最便宜的,只是用来学习方言,或者术语,或者习惯等。 最晚从chatgpt-4o开始,oa两家就开始了大量数据标注任务,也就是花钱买数据。分很多领域,自然科学领域最早是需要学士学位,后面学历越卡越高,需要qs前100的博士学位。具体标注方法是,首先,提出一个客观的科学问题难倒ai,然后指出ai回答中至少15条错误,或者不完整的地方,并提供依据与修改建议。最后提出好的回答需要避免的问题。这部分会引入大量的“不是...而是...”句式,和防御性的语句,为ai现在的回答风格产生了很大的影响。随后会有其它ai评价提出的问题是否真实存在,你的格式是否规范等,以及随机专人审核。专人审核是非常严格的,两次不合格会被任务开除。 可以想象,挑战ai是非常困难的,所以很多人会使用一些极其冷门,或者叫corner cases来让ai出错,这就导致有的ai训练完特别容易钻牛角尖。 此外,也有数学推理任务标注,图像识别标注,谜语标注等,总之ai的每一项能力都有对应的数据标注。这部分其实就像是从文献中偷知识,因为直接用文献训练存在版权问题,但是经过数据标注后,知识的结构更有助于训练,也避免了版权纠纷。
1 下一页