|
作者｜
油醋 邮箱｜zhuzheng@pingwest.com完了，又多了一个大模型能看懂我身份证了？
近期，杨植麟的创业机构月之暗面（Moonshot AI）发布了新版本模型moonshot-v1-20231225。
长长长长长的 Kimi Chat 第1次上新了。  图源：Kimi Chat点开Kimi Chat发掘，它回复速度好似比以前快了，网页端多了个浅色模式（月之亮面？），但最重要的是，它能读PDF扫描件了！
啥意思呢，便是我把我身份证的照片发给他，它直接给我把家庭住址择出来了，你要让它按姓名、出生日期...列成张表，它还能给你整的挺规矩。
月之暗面自己的描述是这般：
咱们实现了从扫描件（文档、合同、白板等等）提取文字的功能。日前已支持 PDF 格式的扫描文件上传解析。
例如能够提取白板上的手写内容。
在一段演示视频里，运用者给Kimi Chat发了一张关于它这次新功能介绍的草图，而后Kimi chat看着这个手写草稿，直接转换成为了一个信息表格。
在这之前，Kimi Chat的人设是“长”，能一口气读20万汉字。此刻它能读扫描件了，论文、手稿、盗版书（不是），想象空间又变大了。
这么说吧，做扫描全能王起家的那家机构，去年营收10个亿，今年要在上交所上市了。
但这能力到底有无说的这么好，得试试。我先扔了一份浙江省高院发布的《关于规范律师调查令制度的办法》的扫描件给它，看Kimi Chat能不可帮我理一下这份20页文件的大致内容，效果还不错：  图源：Kimi Chat接着我继续问，这份文件里“浙江省高级人民法院关于规范律师调查令制度的办法”目录下，第五条写的是什么。先说谜底：  图源：《关于规范律师调查令制度的办法》Kimi Chat找到了精确位置，第1遍没答完整，第二遍就全对了：  图源：Kimi Chat严肃的测试到此为止，而后我扔给了它一张即刻用户@我有猫之狸宝儿de麻麻贴出的手稿，让它帮我整理成一份更清晰的表格：  图源：即刻用户@我有猫之狸宝儿de麻麻这手稿讲的什么，肯定有人一眼就能看出来。倘若没看出来的话，跟着Kimi Chat的思路试试：  图源：Kimi Chat它一眼就看出这是一份家族谱系了，而后我顺着继续问它怎样理解这份族谱。让我惊讶的是，它已然隐约判断出这是一个文学作品中的虚构家族，并且在其中看到了世代传承的繁杂性，乃至有些悲剧元素。
恰当猜测，Kimi Chat可能已然在背面对这些名字完成为了有些搜索的动作，但这族谱到底出自何处，它无给出判断：  图源：Kimi Chat不外，当我告诉它这份族谱出自一个“文学名著”，有个这个关键的限定词，它完全推理出了准确答案（我很可疑它早就晓得了）——《百年孤独》：  图源：Kimi Chat到这儿我、或许有有些人会有疑问，针对大模型来讲，读照片（JPEG）和读PDF的区别到底是啥，谁更难？
我拿这个问题问GPT-4，针对GPT-4或所有基于文本预训练的大模型来讲，处理PDF文件比JPEG文件更加直接和简单，下面是GPT-4的回答：
针对GPT-4这般的大型语言模型来讲，处理JPEG文件和PDF文件在技术上存在明显差异，况且难度亦区别。
处理JPEG文件:
GPT-4本身是一个以文本为基本的模型，它并不直接处理图像数据。因此呢，针对JPEG这般的图像文件，GPT-4没法直接诠释图像内容。
倘若要让GPT-4处理JPEG文件，就需要先将图像内容转换为文本描述。这一般触及运用计算机视觉模型来识别图像中的元素并将它们转换为文本描述，而后这个描述能够被GPT-4处理。
处理PDF文件:
PDF文件处理针对GPT-4来讲相对更直接，由于PDF文件一般包括海量的文本内容。GPT-4能够处理这些文本信息，进行理解、生成回复或进行其他文本关联的任务。
然而，倘若PDF文件中包括图像、表格或繁杂的格式化布局，这些非文本元素就可能难以被GPT-4直接处理。在这种状况下，可能需要运用OCR技术将非文本内容转换为文本，或进行特定的格式处理，才可有效地利用GPT-4。
因此在难度上，针对大语言模型来讲，直接处理PDF文件还在模型的直接能力范围里，处理JPEG文件需要图像到文本的转换，这需要多模态能力的介入，使得全部处理过程更为繁杂和曲折。
这亦能解释为何当我尝试给Kimi Chat一张照片，它好似仍然在用读“文档”的规律理解这张图。我拍了一张Manner咖啡的杯套，照片是这般的：  图源：油醋Kimi Chat完全读懂了这个杯套上的文字内容，并且从这些字眼里推测出了这个物件来字咖啡或饮品店的杯状饮品身上：  图源：Kimi Chat但它没法识别图案，就没法识别这到底是一家咖啡店还是奶茶店的杯套——它似乎本能的跳过了符号化的部分。但当我给了它一点“观察图中符号”的倾向，它起始把重视力放在画面里的图形部分，最后——在Manner的标志里找到了“Manner”这几个字：  图源：Kimi ChatBingo！
给Kimi Chat累够呛，便是咖啡凉了。 
| 
发表于 2024-8-22 09:32:19
