5款大模型,马斯克的grok1竟是一个复读机?
原标题:5款大模型,马斯克的grok1竟是一个复读机?
导读:
这也成为小红书继后在日本推出的第四款产品我们此前曾撰写上市前景不明的小红书正在偷偷出海日本只是幌子小红书抢滩东南亚项目再就在最近国产大模型再次引爆了舆论月日月之暗面宣布其对话式...
这也成为小红书继Uniik、Takib、habU后,在日本推出的第四款产品。我们此前曾撰写《上市前景不明的「小红书」,正在偷偷出海》《日本只是幌子,小红书抢滩东南亚》《项目再
就在最近,国产大模型Kimi再次引爆了舆论。
3月18日,月之暗面宣布其对话式AI助手产品Kimi智能助手现已支持200万字的无损上下文输入。这个差异化的“长文本处理”的免费大模型,一下子就火出了圈。
这意味着什么?以往需要一个新手投入10000小时才能成为某领域的专家标准,现在你只需10分钟的时间向Kimi提供相关资料,其便可以达到一个全新领域的初级专家水平。
免费+好用,Kimi的服务器瞬间就被挤宕机了,官方紧急扩容了五次,才算是恢复正常。
(现在我还在内测排队中)
自2024年开始,各家的大模型开启了又一轮的发布与迭代,AI大模型以十分迅猛的速度,疯狂地刷新着人们的认知,从sora再到kimi,改变可谓是翻天覆地。
在感叹AI发展日新月异之余,我们也在积极地寻找利用AI的机会。实际上,大部分人对于大模型各种标准测试排名并不关心。哪一款AI能够低门槛灵活使用,解决眼前实际的问题,带来效率上的切实提升才是重点。
(大模型的排行榜)
那么问题来了:哪一款大模型,是现阶段比较好用的呢?
本着“能用、好用、性价比高”的评价原则,我们这次找来了当下最热门的五款大模型,并且开通了付费最高等级的模型,模拟工作生活中的场景进行一次“非专业性测试”,看看哪一款是现阶段我们用着称心的“AI好帮手”!
参与评测的大模型有:大模型老大ChatGPT4、谷歌的Gemini Pro、OpenAI的叛忍Claude 3 Opus、突然爆火的Kimi、以及马斯克的grok 1:
多图、长图预警!
正式测试开始↓
数学/逻辑测试
我们先从一般的数学和逻辑测试开始。我找了一些数学和逻辑类型的问题来提问,想看看大模型们的数学能力孰强孰弱。
我找了一系列问题来分别测试它们的运算能力。
先是ChatGPT 4,ChatGPT4完全体现了大模型运用现代工具的能力,它先是简单地说了下该如何解题。
对于后面难一些的奥数题,它直接开始调用函数程序开始计算,像极了口算不行改拿计算器的我。
而在它调用函数的过程中,中间不知道是网络的原因还是算法的问题,还出现了“算错了”的情况。
最后ChatGPT4总结了所有的答案。
然后是Gemini Pro,谷歌的Gemini Pro很快就给出了答案。
Claude 3 Opus也是同样,思考的速度比Gemini Pro稍微慢了点,但也十分言简意赅。
grok 1的答案感觉也是使用了计算器,但是你的答案好像和上面的不一样啊!
最后是国产大模型Kimi,第四题和第五题它以“没有确切的条件”为由拒绝回答。
幻觉测试
因为生成式大模型经常会出现幻觉现象(Illusion Phenomenon in Large Models),简单来说就是“一本正经地胡说八道”。
针对这个情况,我准备了一系列逻辑欠缺、常识不对或者有明显误导性的问题,看看大模型能否准确识别。
首先是ChatGPT 4,它的回答先是说这些问题“富有寓意性”,然后它在很认真地纠正我问题中常识性的错误,还给我科普一些知识,但是它空了两个题没有回答。
Claude 3 Opus的回答则让我十分惊讶,它先是说这些问题是“无意义的”或不可能回答的,然后嘲讽我这些是“伪科学”,说这些荒谬的问题不可能实现。
Claude 3 Opus语气严谨而坚定,一本正经说教的样子仿佛引导弱智一般。
随后是Gemini Pro,它逐条对我的脑残问题进行驳斥,没有任何个人色彩。
然后是老马家的grok1,本来兴致满满地期待,结果第一次就给我出了个大岔子。
我们先不提黄河的这个“彩虹屁”……最后怎么还复读上了?
再来一次之后,总算是正常了。
相比较而言,Kimi的回答还是很详细地一遍就过了,表现还是很不错的。
长文本总结测试
因为grok1并没有上传文件的按钮,所以缺席了这次测试。我找了六篇关于AI终端的报道和论文,输入进去并让大模型进行总结并分析。
首先是ChatGPT4,它给出的结论对这几个文章进行了有效地总结与归纳,不过内容明显浮于表面。
接下来是Claude 3 Opus,它的文案总结十分详细,还分条缕析地给出了每个小点的内容,包括AI终端所面临的挑战,完全可以做一个文章大纲了。
发挥出乎意料的是Gemini Pro,一开始的文案总结还算正常。
但是到了最后,文案的总结就好像跑偏到了专业领域,让人看不懂重点在哪里。
Kimi的答案很长很详细,但没有Claude 3 Opus涵盖的要点齐全,属于和ChatGPT4同级别的回答表现。
创作能力测试
在创作能力的测试中,我们采用这几年大热的“赛博朋克”为题创作小说故事,看看在没有更加详细的要求下,各个大模型的创作水平是否能达到令人满意的程度。
首先是ChatGPT4,它的回答更像是一个自传电影的大纲,并没有多少吸引人的转折。
不过ChatGPT4所自带DALLE·3的文生图程序,表现还是很不错的。
这是水墨画的小猫:
这是秦王和他的柱子:
Claude 3 Opus的回答应该是本轮测试中最为出色的一个,不但有亮眼的递进和转折,还能结合历史事件进行改编。
Gemini Pro虽然也很好,但是创作的故事,未免太过于政治正确了一些……
(AI编故事也要政治正确吗?)
好好好,不得不说,这真的很美国。
为了达到最佳的效果,我将grok1的回答模式从“常规”改成了“趣味”,但是它的回答并不怎么有趣。
Kimi的回答也是很官方。
看来在文艺创作方面,各家的大模型在现阶段,还是无法自主生成可立即使用的创意内容。
从网上获取信息能力测试
最后,我们以“全球气候变化”为题,来看看大模型联网获取信息并筛选处理的能力。
ChatGPT4的表现很稳定,它的优点将引用的链接在后面标注好,不好的点在于,引用信息可能有些过时。
其他几家的搜索结果也都是大差不差。这是Claude 3 Opus的回答,好像并没有太多的最新的网络资料援引。
Gemini Pro的回答也只是援引了《巴黎协定》的资料。
Grok1的回答更为简单。
表现最好的是Kimi,不但将所有的援引资料链接清楚标明,回答也是最为全面的。
大模型综合评价
经过一系列的测试,我们也对于各家最新的大模型能力有了一个初步的认识。那么哪款大模型是现阶段最适合我们使用的呢?
从易获取性/易用性上来说,Kimi获得第一名当之无愧,国产大模型无需多余的科学上网操作,即开即用,也难怪它异常火爆。而其他大模型想要体验都要费一些周折,例如grok1,目前只有两种方法可以使用——在X(推特)上开通会员+服务,或者下载开源模型在自家电脑上做推理计算,需要注意的是,你家电脑的配置需要包含至少8块英伟达H200。
这还算能够正常使用的,有些模型还会对中国用户有些区别对待。
(这个界面,并不是国内的所有人都能见到)
而从大模型的性价比来说,Kimi以免费使用一骑绝尘,其次是Gemini普通版,其他都有不同程度的使用收费,费用由低到高分别是grok1,ChatGPT4跟Claude 3 Opus相等。
而在大模型能力上,每个大模型都有其独特的优势。
ChatGPT 4:中英文都可以做到很好的语义理解和完成度,内置DALLE-3,可以完成文生图的工作。就像班级里不偏科的优等生,标准的六边形战士。
(ChatGPT4拟人化)
Gemini Pro:测试的各方面都很出色,而且还有检验回答正确与否的“搜索功能”。不过在创作领域或许有着浓重的地域特色,像是班级里转学过来的外国学霸。
(Gemini Pro拟人化)
Claude 3 Opus:虽然收费最高,却是测试表现最好的大模型,各项测试都比较出色,没有出现翻车的迹象,语气沉稳且严谨,就像班级里不用学习就能考得很好的学神。
(Claude 3 Opus拟人化)
Grok 1:你可以打开趣味模式让它讲关于马斯克的笑话,或者收集最新的推特 ,这些都是它的强项。不过目前没有文件上传和其他文生图等扩展功能,是Grok的硬伤,就像班级里偏科的中等生,说话很有趣但成绩没有前面的人好。
(Grok1拟人化)
Kimi:国产大模型出圈的代表,以免费、好使用吸引了一大波用户。在测试之后发现Kimi很好用,尤其是在网络搜索资料总结和长文本总结方面十分出色,就像一个细心且消息灵通的课代表一样,所有的书本知识和网络知识她都明白,并能给你悉心指导。
(Kimi拟人化)
成为最会用大模型的人
虽然每家都在鼓吹自家的大模型,但是实际评测下来后,还是有很多意想不到的问题出现。比起高大上的测试,我们在实际使用中需要大模型反复生成多次,才能得到想要的结果。
所以,以目前的AI智能程度来说,并不会出现想象中AI完全取代人类颠覆生产生活的程度。
并且,大模型的使用其实和人本身的知识水平,创造力、想象力有很大的关系。如果你并没有具体的想法,你想要让大模型随便说点什么(say something),可能大模型只会给你回复一个——
huh?(啊?)
虽然发展速度很快,但是从AI到AGI(通用人工智能)还有一段很长的路要走。
不过这同时也意味着,人没有那么快被大模型取代,现阶段把大模型充分地用起来,它会是一个效率很高并且在持续变强的参谋,一个很好的助手。
注:本次测试的题目由“智谱清言”大模型提供,文生图的图片由midjourney v6模型生成。
查看原图 228K
- 版权所属:王牌阁
- 本文地址:http://increase.uexe.cn/16708.html
- 版权声明:原创文章,转载时必须以链接形式注明原始出处及本声明。