人工智能开启狂飙进化路,见智研究(公众号:见智研究Pro)特邀中信证券研究部高级副总裁【丁奇】一起来聊聊人工智能GPT4的最新进展,并将核心内容整理如下:
(资料图片仅供参考)
摘要:
1、多模态带来成本的提升是非常正常的。
2、科技越往后成本会越低。从长远来看,OpenAI 的边际成本将无限趋近于 0 。
3、人机交互界面的改变是GPT3.5开始被产业界重视的原因
4、多模态4.0的本质:所有的文字,语音,图像,视频都可以抽象成一组向量。GPT本质上就是一个向量的输入,通过它的相关性输出另一组向量,从而转换成图像、语音或者视频,本质上是一样的,不同的是所消耗的算力资源。
5、现在其实有两个革命,一个是能源革命,基于锂电池,从过去的化石能源到我们的现在的锂电能源。另一个革命就是以ChatGPT为代表的 AGI通用人工智能,未来在有了更灵敏的机械反馈后,机器人就是最大的一个应用场景,但数字人一定会比机器人更先应用。
6、 AI演绎路径:肯定是先软件后硬件,先云端,后端,最后是边端。
正文
丁奇:微软将GPT4嵌入Bing、Office全家桶这是一次天作之合。GPT4的核心就是多模态,能够生成文字、图像和视频,这对搜索引擎和办公有非常大的促进作用,像搜索引擎的核心需要的不仅是链接,而是答案, GPT4就可以直接生成我们想要的具体关于某个问题的答案。
我们平时一般通过办公软件、PPT、Word、Excel来生成内容,现在GPT成了非常强大的助手,比如一键生成PPT,极大促进了办公效率。所以我们认为微软和OpenAI合作必将对生产内容带来革命性的变化,也希望国内相关办公软件尽快推出相关的功能,让人享受到办公的便利。
见智研究:如何看待GPT4 的运行成本?
丁奇:首先GPT4现在并没有公开论文说参数到底是多少,不过360董事长周鸿祎先生根据GPT4的效果做了一个预估,可能是万亿量级的参数。不过这点对于成本来讲还没有那么重要。
另外,过去的计价和现在的计价,都是基于token,现在的单位计价贵了30倍左右(过去是1000个token0.002美元,现在是0.06美元)。为什么会更贵了?因为token的计价方式不同。通用计价方式是你看输入的参数,现在输入同样词更贵了,因为不能光看输入端的成本,还要看输出端的成本。过去的输入和输出都是文字,所以成本是比较低的。而GPT 4.0输出完全可能是图片,甚至以后是视频,输出量是大幅增加的,所以多模态带来成本的提升是非常正常的。
见智研究:GPT 3.5 Turbo为什么能做到参数量更多,但是价格反而更低?
丁奇:3.5相比3.0,核心参数在调优后是有所下降的。成本可以分为两块,一块是训练成本,一块是推理成本。从3.0之后,模型是做好了一个大概的训练,很多成本是有所摊销的,到了3.5之后,大家摊的更多的是推理成本。
科技就是这样的,在一开始的时候肯定是贵的,因为它有大量的研发投入、大量的基础设施投入。当然越往后它会越便宜,因为用的人越多,成本也会分摊的越多。
所以OpenAI 说,从长远来看,它的边际成本是无限趋近于 0 的。其实就像我们现在的搜索引擎一样,现在点一次搜索成本是极其低的。只不过 4. 0相比过去的 3. 5生成的内容不一样,图像、视频对网络带宽、计算量消耗很大,所以短期成本也会提升。
见智研究:GPT4发布后,如何看待之前版本的价值量?GPT1、2、3、3.5到4代大模型的演进变化是怎样的?
丁奇:1. 0 是 2018 年出的, 2. 0 是 2019 年出的,但是其实在产业界没有激起太大的水花,都是 transformer往 NLP(自然语言理解)上的尝试。过去在NLP上大家体验效果其实不太好的,比如语音的转写,翻译效果其实是不太尽如人意的。
过去的人工智能,它的主要算法是基于CNN, RNN, LSTM这三种。它在模仿人的神经元,认为信号是从一个神经元传递到另一个神经元的,也就是从一个单词找到相邻单词之间的相关性。这种方法在图像上特别有效,因为从图像上来讲,相邻的颜色,纹理都会很相似,也诞生出了人工智能的CV领域。
但是像语音、文字就不一定是相邻相关的,需要结合上下文的语境,甚至在前几章就可能埋了伏笔,需要对上下文要有一个完整的记忆和解读。关键就是如何让机器能够实现语境理解。
Transformer 架构提供了一个非常好的思路。既然我们生活中的理解、智慧、经验跟很多东西都相关。那就把参数组扩大,一直扩大到十亿或者是几十亿的范围。这样就能从各种各样的训练数据里找到更多的相关性。
之前Transformer 架构没表现出厉害的特质,本质上只是做一个统计相关。当它只有 1. 17 亿参数的时候,也就是GPT1.0,大家也没有觉得多了不起。到 GPT2. 0 的时候,大概 15 亿的参数,大家也觉得好像也没有什么特别大的突破。GPT3.0 到 3. 5,大家就发现发生了本质的变化。当它的容量扩到上千亿参数的时候,可以想象关联了多少知识在里面,这个时候它的准确率就有一个飞跃。所以直到GPT3.0 和 3. 5 问世才被产业界真正开始重视起来。
3.5 跟 3. 0 的根本区别在于改变了人机交互的界面,这是非常大的一个突破。InstructGPT能够更好的将语言模型和人类的意图、偏好进行匹配,并且在反馈的机制上进行微调。而 4. 0的本质就是多模态了。
见智研究:多模态是如何实现的?
丁奇:无论中文还是英文,常用词也就上万个词,完全可以用矩阵做一个编码。图像其实是由像素点形成,每一个像素点是由三种颜色涂在一块,是三个数字的小矩阵,把若干个矩阵连在一起,就会形成一个大矩阵。图像本质上就是这样的。
每一个语音就是一个正弦波,对它抽样,它也变成一组数字视频,其实就是一张图像把它叠起来,所以本质上所有的文字,语音,图像,视频都可以抽象成一组向量。GPT本质上就是一个向量的输入,通过它的相关性输出另一组向量,向量转换成图像、语音或者视频,本质上是一样的,不同的是所消耗的算力资源。所以为什么能实现多模态?因为本质上都变成了一组矩阵,所有的东西都可以抽象成一组矩阵,这是能变成多模态的底层原因。
其实我们做Transformer 也好,做这GPT也好,根本目的是想使用一个通用人工智能( AGI)做到在不同的情境下都能用。过去都是专用人工智能,比如专门做人脸识别的,专门做车牌识别的,或者专门做工业检测的,都是在某些专业领域的。人机交互一定是多模态的,这也是为什么 4. 0能够让业界感到欢心鼓舞,这是意味着我们离 AGI 更近了一步。
见智研究:GPT4应用具有怎样的想象力?
丁奇:搜索一定是落地的第一个场景,比如New Bing最先接入;其次就是办公软件,比如office365;电子邮件、视频会议也是生成内容类的场景。此外,像服务机器人、智能客服也是非常好的应用领域。
现在其实有两个革命,一个是能源革命,基于锂电池,从过去的化石能源到我们的现在的锂电能源。另一个革命就是以ChatGPT为代表的 AGI通用人工智能,未来在有了更灵敏的机械反馈后,机器人就是最大的一个应用场景。
数字人一定会比机器人更先应用。因为机器人受掣肘的地方比较多,包括续航、关节自由度等等,落地的困难要大很多。如果是数字世界里面的一个数字人,它的到来可能就会快很多,比如主持人、直播带货、数字明星等等。
此外,对游戏行业的影响也很大,特别是能够直接大幅降低游戏的开发成本。用AI画图能够极大提高游戏创意师的工作效率。
未来AI机器能够替代很多简单的工作,所以人的创意,人的思想就变得特别重要。所以我们觉得对于内容创意者会带来特别大的需求提升。
见智研究:AI 产业是硬件迭代的速度更快,还是应用侧发展会更快?
丁奇:我觉得要分两个阶段,初期一定是应用会更快,现在海外有很多的企业都接入了API 接口。国内也有百度的文心一言,后面也会开放API 接入很多的应用。
现在看起来国内和海外的发展路径非常类似,有一两个企业做出一些通用的大模型,接入API后向上层的应用软件进行拓展,就可以极大提升效率。Office365 就是一个很典型的代表。
硬件的迭代要取决于几个条件。云端的硬件就是以GPU 服务器为代表, 国内相比英伟达还是有一定差距的,不是短期之内能够迅速追上的。而云端,我们相信以后在端侧也会有一些智能硬件,这些端侧硬件现在的计算能力、内存能力,肯定是难以支持千亿参数的大模型。
而一些应用变得智能,也需要对大模型去做剪枝。可能对参数范围进行圈定,在特定领域有特定应用,从一个大模型变成一个专用领域的特定模型,使得一些边缘侧的智能硬件也可以用。
我们认为首先起来的是云端的软件,以一种 SaaS 化的方式给大家提供。其次就是云端的硬件,因为云端的硬件要怎么去做,其实已经有标杆在那里了,只是大家要踏踏实实地基于路径去做。
后面才是端侧怎么做,现在 open AI 也没有答案,大家现在的精力也不在这上面,但我们相信未来的这些硬件一定会被智能化的,所以路径肯定是先软件后硬件,尤其是先云端,到后端,最后是边端。
本文来自华尔街见闻,欢迎下载APP查看更多
关键词:
上一篇 : 每日观察!蚂蚁金服井贤栋:普惠和协作是加速数字与实体经济融合的关键点
下一篇 : 每日消息!当袜子傍上高科技
最新推荐
晨报讯(索里宋慧半岛晨报、39度视频记者齐媛媛)6月12日,随着“地中
这九人评选最强中单和TOP3,为此观众们进行了一系列的讨论,不同人有不
我们看到EDG俱乐部对此事不做任何解释,任由其发酵,然后转头就联系uzi
6月13日,据BWF世界羽联:2023年印尼羽毛球公开赛首轮赛况:石宇奇2-1
这个动作如果力量大一点戈登就废了,结果这个回合挑战回来之后,裁判竟
凝心聚力,携手前行——邮储银行临澧县支行开展员工户外拓展活动,彭山,
6月13日,岚图汽车宣布,获得包括中国工商银行、中国银行、中国农业银
5月份,福建全省居民消费价格(CPI)同比上涨0 2%,环比下降0 1%;全
扬子晚报网6月13日讯(记者郭一鹏通讯员王雷)因为买棉花糖的问题与家
一年一度的京东618即将落下帷幕,你都下单了哪些产品?为给用户带来全
我们看到EDG俱乐部对此事不做任何解释,任由其发酵,然后转头就联系uzi
直播吧6月13日讯此前哈维曾公开称赞基米希,对此球员进行了回应。在被
对于皇马而言,一直都希望求购姆巴佩,而今年确实不是最好的时机,如果
目前莱万在巴萨的年薪是税后900万欧,此前西班牙媒体报道,沙特联赛希
关于工伤认定的时间,我国法律是有一定的规定的,尤其是职业病。根据《
工伤解除劳动关系时职业病患者工伤待遇的认定与处理申请工伤认定的有效
6月12日,恒而达(300946)融资买入171 88万元,融资偿还72 5万元,融
美联储仍是股市当面面临的最大风险。大摩指出,目前股市上涨并不意味着
1、是一个和尚或者尼姑写的说的意思是,对你给的爱情,只能还给你一钵
高考结束,志愿填报即将开始,如何查询准确的高校与专业信息?高考填志
“一顿火锅刚开宴,好戏连台惊四方!”丁晟导演的悬疑喜剧《没有一顿火
今日凌晨,据《队报》、天空体育、《电讯报》等多家媒体的消息,姆巴佩
这九人评选最强中单和TOP3,为此观众们进行了一系列的讨论,不同人有不
今天凌晨,来自队报的消息,姆巴佩团队已经通过书面的形式正式通知大巴
德班世乒赛结束后,乒乓球世界排名迎来了新的变化,中国队重新夺回五大
本报讯为切实加强缉枪治爆工作,近日,铁岭市公安局工人分局组织民警在
本报讯为切实维护营口市伏季休渔秩序,确保增殖放流取得实效,保障广大
统计数据显示,海南旅游市场旅游收入高于疫情前2019年同期水平,游客消
端午文案1)粽子飘香,佳人安康。(粽子 祝福)2)粽子是端午限定,你我是命中注定。(爱情 结婚)3)粽子之...
冬至佳句七绝·冬至一,枫叶红时信已传,梅心雪意亦如前。阳生莫问春何处,夜永应知又一年。二,夜阑风...
课文匆匆原文燕子去了,有再来的时候;杨柳枯了,有再青的时候;桃花谢了,有再开的时候。但是,聪明的,...
本网讯近日,经宁夏回族自治区固原市农业系列职称评审委员会评审、市人
lucky的反义词是什么lucky的反义词是unlucky。lucky的意思以及用法:一、作为形容词1、幸运的,好运的一...
祝福考生考入理想大学,学上喜欢的专业!
在夏季,气温过高、湿度大、风速小等条件下,非常容易引发中暑。“热死
“迎接学青会健康新广西”广西新时代文明实践活动暨全民健身志愿服务活
日前,教育部公布第二批国家级一流本科课程名单,共有5750门课程获认定
近日,广西海洋环境监测中心站对平陆运河入海口(位于钦州茅尾海一带)
1、具体要看什么种类的车,不同种类的车报废年限不同。2、各类机动车使
近年来,随着人们健康意识的提高,各种膏药产品市场需求不断增长。在这样的市场背景下,仙佑医药膏药代...
时至今日,我觉得中国可以考虑对日本和韩国提出签订互不侵犯条约。其主
直播吧6月13日讯贝卢斯科尼因病离世,小罗社媒晒合照缅怀。小罗写道:
在《法兰克福汇报》的采访中,埃姆雷-詹对于错失冠军表示:“我依然还
直播吧6月13日讯此前哈维曾公开称赞基米希,对此球员进行了回应。在被
只是双打的大满贯冠军,但王欣瑜能够夺冠,同样是非常了不起的,这个小
今后的努力方向和改进措施1、针对员工提出的推荐,我采取的措施是:①合理安排工作,要放得下一些追求,...
依依惜别的诗句1、黄鹤楼送孟浩然之广陵 唐 李白故人西辞黄鹤楼,烟花三月下扬州。孤帆远影碧空尽,唯...
兰波的诗句1、唯一无法忍受即事事可忍受。——兰波2、你隐没在梦中,宛如雪化在火中。——兰波3、天才就...
岑参的边塞诗1、最动人的想家诗:《逢入京使》《逢入京使》故园东望路漫漫,双袖龙钟泪不干。马上相逢无...
近日,商务部发布《中国电子商务报告(2022)》,多彩贵州网旗下贵州电子
全民tv怎么直播 全民tv申请认证主播教程 全民怎么开通直播_全球独家
环球今头条!疯狂24小时!皇马计中计欺骗全欧,姆巴佩摊牌,1.2亿巨星恐被打压
全球新动态:曼城挖角国米中场全能神将,瓜帅情有独钟,两大障碍能否克服?
疯狂24小时!皇马计中计欺骗全欧,姆巴佩摊牌,1.2亿巨星恐被打压-最资讯
当前动态:GOAT德约斩获生涯第23座大满贯&3圈大满贯第一人
中网总奖金公布:1175万美元 ,同级别赛事奖金第一,其中WTA赛事803.97万美元 世界今热点
世界观点:中国金花夺冠+豪夺335万,德约科维奇收获1768万巨奖,23冠超纳达尔
短讯!孙颖莎惹争议!参加低级赛事,球迷质疑国乒吃相难看,帮忙抢积分
【新视野】多家上市公司进军新能源产业 跨界“奔赴”合理性引监管层关注
国内单机容量最大的冲击式水电机组完成国产化改造 成功并网发电 环球即时看
环球热消息:奥运积分排名更新!梁王暂居男双榜首,何冰娇高居女单第3
德约科维奇与穆雷同一日双双夺冠,球迷梦回四巨头时代,不见费纳!-全球最资讯
世界速读:沙特能源大臣:沙特想与中国合作,不会理会西方的“担忧”
海南发展(002163):6月12日北向资金增持25.24万股|环球要闻
热点聚焦:演员张龄心:不结婚不生子,老了就去养老院,如今她打了自己的脸_天天动态
中超之光!巴萨4000万清洗曼城天才,1600万签大连神锋,1年10球
世界时讯:皇马拒绝哈弗茨,迪巴拉拒绝沙特亿元高薪,穆里尼奥再收顶薪报价
皇马新7号确认!亿元先生接班阿扎尔挑战C罗,10号留给姆巴佩?|环球即时看
马琳难再指导陈梦,刘国梁布局,主教练放权,主管教练负责场边-世界速讯
联系我们:55 16 53 8@qq.com
关于我们| 联系方式| 版权声明| 供稿服务| 友情链接
塞北网 版权所有,未经书面授权禁止使用
Copyright©2008-2020 By www.saibeinews.com All Rights Reserved