机器之心原创
这次,百度文心跨模态大模型让你的创意「飞起来」!
(资料图片)
在近年来的 AI 领域,随着 NLP 和 CV 的日益融合,多模态学习越来越受到学界和业界的重视,其中文本生成图像更是成为现象级研究方向。输入一段语言描述,AI 即能输出对应的图像,兼具速度与质量。
在这股以文生图风潮中,AI 底蕴深厚的国外大厂纷纷推出多模态文生图模型,比如 DALL-E 2、 GauGAN2 和 Disco Diffusion 等。这些 AI 模型生成的图像都给人留下了深刻的印象,在逼真度、趣味性、风格等方面各有特点。
DALL-E 2(左)和 Disco Diffusion(右)的不同画风。
国内 AI 巨头在中文多模态特别是文生图这一赛道也颇有建树,尤以百度基于知识增强的文心跨模态大模型语义理解技术为代表,其中的跨模态生成大模型 ERNIE-ViLG 可以根据用户输入的语言描述自动创作不同风格(水彩、粉笔画、卡通、油画、蜡笔画、儿童画)的图像。前段时间,百度数字人度晓晓更是创作出了引发热议的「无界」系列画作,被专业美院教授评价为「已经达到了本科美术生的基本要求」。
不过,百度并没有满足于此,想要在文生图领域更专、更快,让生成的图像打破风格的桎梏,同时更关注用户的创意需求。在今日成都举办的 2022 中国图象图形大会上,百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜重磅推出了基于文心大模型的 AI 艺术和创意辅助平台——文心 · 一格,突出创意成为它的显著特征。
百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜
作为业界首个 AI 艺术和创意辅助平台,文心 · 一格面向三类人群,包括 1)画师、设计师、艺术家等视觉内容创作者,2)媒体、作者等文字内容创作者和 3)大众用户。他们可以通过文心 · 一格智能生成多样化创意图片,并从中汲取创意灵感,打破创意瓶颈。
不同于 DALL-E 2 和 Disco Diffusion 等有风格偏向性的 AI 作画工具,一格则取多家之所长,在图画创作上具有更强的实用性和艺术性,支持插画、科幻、中国画、动漫风等十余种不同风格高清艺术画作的生成,既能生产恢弘绚丽的艺术画,也能创作充满创意脑洞的超写实图。
文心 · 一格,一语成画
一格文生图效果到底如何呢?输入语言描述「太空中不断延伸的环形轨道」,我们得到了如下震撼的太空图。可以看出,一格生成的图像具有极强的写实性,如果不告诉你这是出自 AI 之手,一定会有人认为是真实的太空场景。
当然,写实性强只是一格文生图的一方面优势,它在生成写实图像的同时还兼顾了艺术风格。依然用示例说话,输入语言描述「埃及金字塔」。以往的 AI 模型比较擅长生成风景图,但复现真实建筑则有相当难度,有些模型生成的图像偏艺术缺乏真实性。一格则在真实性与艺术性之间找到了很好的平衡。
接下来继续欣赏一格生成的另一些创意画作。想了解下传说中的「凤凰」长什么样子,交给一格,片刻之后就能生成恢弘绚丽的画面。
一格生成创意脑洞的超写实图也不在话下,比如「骑摩托的帅气熊猫」、「公园的湖面波光粼粼,倒映着美丽的建筑」。
所有这些,用户要做的就是动动手指,输入语言描述,片刻之后就能生成艺术大作。在创作过程中,一格还可以通过指定图像风格、艺术家等方式,针对同一个语言描述生成多样化的、具备不同风格特点的图像。
一番创作下来,我们可以用 16 个字来概括一格的主要特点:突破想象、简单易用、快速成画、别具一格。
突破想象:一格拥有非常丰富的创作库,可根据语义联想和概念组合,自由创作多种风格创意画作,既能生成恢弘绚丽的艺术画,也能生成创意脑洞的超写实图;
简单易用:一格使用门槛非常低,用户只需输入一句语言描述,一格就可创作出不同风格的艺术画作;
快速成画:用户输入语言描述后,一格可在片刻生成一幅高清创意画作;
别具一格:一格生成的每幅画作,都是独一无二的。
一格文生图过程
一格文生图的过程大致可以分为以下几个步骤。
首先,需要准备海量的图文对数据,数量不仅要多,质量还要好,这样可以让一格在充足的数据中学习「语言描述」与「艺术画面」的关联。不过,这种关联又是丰富且复杂的。
依然用示例来讲,假如是让生成一幅风景图,结果出来的是动物图,那就很糟糕了。还有就是,同一个事物有多种艺术风格,例如山峰在中国画中是壁立千仞,在油画中是威严庄重,在科幻设定图中或许已经被机械掏空,建立起了霓虹闪烁的未来都市等。经过海量的数据训练,一格学会了「语言描述」与「艺术画面」之间的关联。
在此基础上,用户输入一段语言描述(例如狗、油画),一格将调动以上学习到的知识和能力,以随机化的起点开始进行初步创作。不同于人类作画过程,一格先是生成画面整体轮廓,然后经过数百轮的迭代,修正完善画面细节。
对于过程中的每一轮迭代,一格都会仔细检查草稿与语言描述的一致性,目的就是让作品与输入的语言描述具有正确的关联。持续的修正使得整体构图不断明晰,模糊和噪声逐渐被精确的配色和轮廓代替,最终形成在审美上与人类经验与知识高度一致的成品。
一格创作过程中,语言描述是关键,因为用户输入的内容决定了其生成的内容,是作画灵感的根本来源,更是 AI 生成画作最关键的指引。一格从海量数据中学习到的知识,是灵感得以实现的基础,人类画作数千年的积累和沉淀为 AI 文生图提供了无限可能。
与此同时,AI 生成图像过程中的随机性,是灵感的补充,其可以学习一千种人类绘制山峰的方式,甚至创造出第一千零一种。
一格为艺术创作提供灵感
你可能会问,一格文生图有什么意义呢?
对于画师、设计师、艺术家等专业人士来说,他们总会遇到瓶颈期。虽然有很好的创作思路和构想,但却一时想不出好的或自己满意的绘画表现形式;或者艺术创作已经达到了相当的高度,寻求新的突破创新遇到困难;又或者创作出的东西总是达不到自己想要的效果,进行到一半就进行不下去了……
一格平台就是为此而生,它可以启发创意,让人们从 AI 生成的图像中重新汲取灵感。
再者作为媒体人、新闻编辑等工作人员,有时会因为找不到合适的配图而苦恼不已;还有就是大众用户,想体验创作带来的乐趣等。所有这些,一格平台也都能为你提供。
一格背后持续创新的跨模态大模型技术
我们知道,AI 图文创作往往需要解决三个关键挑战。首先在需求理解阶段,要准确理解需求,降低语言描述的门槛;其次在原创生成阶段,要精准刻画用户需求表意,支持多样化风格;最后在需求满足阶段,要对生成结果进行选择,保证和提升它们的质量。
然而,解决这些挑战并不容易。因此,一格平台在构建过程中得到了百度文心大模型提供的强大底层技术支持,尤其是不断改进的跨模态技术。
一方面对文心知识增强跨模态理解大模型的创新,提出了基于多视角对比学习的 ERNIE-ViL 2.0,在预训练过程同时学习模态间和模态内的多种关联性,提升了「图像」和「文本」跨模态语义匹配效果,检索效果远超 ChineseCLIP、WenLan 等模型。
另一方面是全球规模最大中文跨模态生成模型 ERNIE-ViLG,它将「文生成图」和「图生成文」任务融合到同一个模型进行端到端学习,从而增强文本和图像的跨模态语义对齐。此次 ERNIE-ViLG 文图生成算法迎来升级,通过渐进式扩散模型,生成空间由小及大、生成轮廓由粗到细,同时根据生成阶段自动选择最优生成网络,文本生成图像的效果取得进一步提升。
左为双向图像 - 文本生成的 ERNIE-ViLG 模型架构,右为渐进式扩散模型算法。
得益于文心跨模态大模型的一系列创新,百度将新技术实用化,研发出了一套支持 AI 作画的文生图系统,提供了从用户需求理解到满足的全流程解决方案。如下图所示,这套系统分为了两大核心组件,分别是文本输入阶段基于知识的 prompt 工程以及生成和输出阶段的跨模态大模型。
首先,对于基于知识的 Prompt 工程,理解用户需求并在此基础上丰富语义细节,降低用户输入描述成本。其次,基于扩散生成算法实现创意写实与恢弘构图的艺术画作生成。最后,基于跨模态匹配大模型进行生成画作的结果排序,自动选出语义与美观度最佳的画作。
基于文心大模型的文生图系统。
可以这样说,文心跨模态大模型实现了多视角对比学习、图文双向生成、渐进式扩散模型等多项技术创新,它们成就了今日的一格平台。
在不断修炼技术内功的同时,百度还致力于构建生态完整的开放社区,将大模型的能力释放给普通人。更具体地讲,百度为开发者、广大科技爱好者提供飞桨开源工具和文心大模型 API 服务能力,满足他们多样化的创意探索需求。
一方面,开发者可以在飞桨 PaddleHub 上直接调用相关的开源模型,享受极简易用的开发体验,并综合使用提供的 400 多个 AI 开源模型,组合开发有趣的 AI 应用,满足更多艺术从业者、开发者对图片生成场景的需求;另一方面,文图生成大模型 ERNIE-ViLG 为开发者提供了 API 体验调用的入口,登陆飞桨旸谷社区 API 体验专区即可体验其前沿技术能力,并能够灵活方便、高效快速将文图生成大模型能力集成到产品中。
从之前数字人度晓晓的作词编曲、写作绘画,到 AI 修复传世名画《富春山居图》,大模型赋能下的 AIGC 早已成为近来百度 AI 技术加速落地的着陆点。得益于持续创新的大模型技术,百度不断拓宽 AIGC 的适用范围,并努力发掘更多样化的内容生产方式。
此次,百度在为用户提供 ERNIE-ViLG API 体验智能作画的基础上更进一步,用一格这个面向创意内容的产品级综合文生图平台,为 AIGC 注入了更多活力和想象空间。在可预见的未来,一格生成的超写实与艺术画作,既有可能像度晓晓「无界」系列画作一样成为热卖的数字藏品,还可以用作契合电影、动漫主题的封面大作,更有望在游戏、元宇宙的多样化动态场景画面中找到用武之地。
总之,在新的内容创意和方式不断涌现的当下,AIGC 绝不应只停留在玩一玩、看一看的阶段,未来一定会在特定的应用场景中为生产者创造价值,既可以是艺术上的,也可以是物质上的。
关键词: 创意有瓶颈吗百度文心一格不存在 动动手指片刻生成
最新推荐
6月13日,岚图汽车宣布,获得包括中国工商银行、中国银行、中国农业银
5月份,福建全省居民消费价格(CPI)同比上涨0 2%,环比下降0 1%;全
扬子晚报网6月13日讯(记者郭一鹏通讯员王雷)因为买棉花糖的问题与家
一年一度的京东618即将落下帷幕,你都下单了哪些产品?为给用户带来全
我们看到EDG俱乐部对此事不做任何解释,任由其发酵,然后转头就联系uzi
直播吧6月13日讯此前哈维曾公开称赞基米希,对此球员进行了回应。在被
对于皇马而言,一直都希望求购姆巴佩,而今年确实不是最好的时机,如果
目前莱万在巴萨的年薪是税后900万欧,此前西班牙媒体报道,沙特联赛希
关于工伤认定的时间,我国法律是有一定的规定的,尤其是职业病。根据《
工伤解除劳动关系时职业病患者工伤待遇的认定与处理申请工伤认定的有效
6月12日,恒而达(300946)融资买入171 88万元,融资偿还72 5万元,融
美联储仍是股市当面面临的最大风险。大摩指出,目前股市上涨并不意味着
1、是一个和尚或者尼姑写的说的意思是,对你给的爱情,只能还给你一钵
高考结束,志愿填报即将开始,如何查询准确的高校与专业信息?高考填志
“一顿火锅刚开宴,好戏连台惊四方!”丁晟导演的悬疑喜剧《没有一顿火
今日凌晨,据《队报》、天空体育、《电讯报》等多家媒体的消息,姆巴佩
这九人评选最强中单和TOP3,为此观众们进行了一系列的讨论,不同人有不
今天凌晨,来自队报的消息,姆巴佩团队已经通过书面的形式正式通知大巴
德班世乒赛结束后,乒乓球世界排名迎来了新的变化,中国队重新夺回五大
本报讯为切实加强缉枪治爆工作,近日,铁岭市公安局工人分局组织民警在
本报讯为切实维护营口市伏季休渔秩序,确保增殖放流取得实效,保障广大
统计数据显示,海南旅游市场旅游收入高于疫情前2019年同期水平,游客消
端午文案1)粽子飘香,佳人安康。(粽子 祝福)2)粽子是端午限定,你我是命中注定。(爱情 结婚)3)粽子之...
冬至佳句七绝·冬至一,枫叶红时信已传,梅心雪意亦如前。阳生莫问春何处,夜永应知又一年。二,夜阑风...
课文匆匆原文燕子去了,有再来的时候;杨柳枯了,有再青的时候;桃花谢了,有再开的时候。但是,聪明的,...
本网讯近日,经宁夏回族自治区固原市农业系列职称评审委员会评审、市人
lucky的反义词是什么lucky的反义词是unlucky。lucky的意思以及用法:一、作为形容词1、幸运的,好运的一...
祝福考生考入理想大学,学上喜欢的专业!
在夏季,气温过高、湿度大、风速小等条件下,非常容易引发中暑。“热死
“迎接学青会健康新广西”广西新时代文明实践活动暨全民健身志愿服务活
日前,教育部公布第二批国家级一流本科课程名单,共有5750门课程获认定
近日,广西海洋环境监测中心站对平陆运河入海口(位于钦州茅尾海一带)
1、具体要看什么种类的车,不同种类的车报废年限不同。2、各类机动车使
近年来,随着人们健康意识的提高,各种膏药产品市场需求不断增长。在这样的市场背景下,仙佑医药膏药代...
时至今日,我觉得中国可以考虑对日本和韩国提出签订互不侵犯条约。其主
直播吧6月13日讯贝卢斯科尼因病离世,小罗社媒晒合照缅怀。小罗写道:
在《法兰克福汇报》的采访中,埃姆雷-詹对于错失冠军表示:“我依然还
直播吧6月13日讯此前哈维曾公开称赞基米希,对此球员进行了回应。在被
只是双打的大满贯冠军,但王欣瑜能够夺冠,同样是非常了不起的,这个小
今后的努力方向和改进措施1、针对员工提出的推荐,我采取的措施是:①合理安排工作,要放得下一些追求,...
依依惜别的诗句1、黄鹤楼送孟浩然之广陵 唐 李白故人西辞黄鹤楼,烟花三月下扬州。孤帆远影碧空尽,唯...
兰波的诗句1、唯一无法忍受即事事可忍受。——兰波2、你隐没在梦中,宛如雪化在火中。——兰波3、天才就...
岑参的边塞诗1、最动人的想家诗:《逢入京使》《逢入京使》故园东望路漫漫,双袖龙钟泪不干。马上相逢无...
近日,商务部发布《中国电子商务报告(2022)》,多彩贵州网旗下贵州电子
经商名言警句1、越是巨大的冒险,越是需要巨大的谨慎。2、如果注定要做一个商人,那么就要随时准备接受...
关于成长的诗歌《成长的方向》所有的河流都朝着东方不拒细流浩浩汤汤只是为了汇入大海汪洋所有的禾苗破...
哈姆雷特读书笔记一杯毒酒,一把毒剑。结局被鲜血浸染。哈姆雷特最终被众人抬放于高台,在沉重的葬礼进...
本报讯5月25日,甘肃省兰州市非公有制企业党委在兰州奔马集团举办针对
很多玩游戏的人都知道全民TV。我们看到上面很多直播,各种各样的都有。
我们知道支付宝有个天天领红包,微信从1月1日起到1月31日,每天在门店
环球今头条!疯狂24小时!皇马计中计欺骗全欧,姆巴佩摊牌,1.2亿巨星恐被打压
全球新动态:曼城挖角国米中场全能神将,瓜帅情有独钟,两大障碍能否克服?
疯狂24小时!皇马计中计欺骗全欧,姆巴佩摊牌,1.2亿巨星恐被打压-最资讯
当前动态:GOAT德约斩获生涯第23座大满贯&3圈大满贯第一人
中网总奖金公布:1175万美元 ,同级别赛事奖金第一,其中WTA赛事803.97万美元 世界今热点
世界观点:中国金花夺冠+豪夺335万,德约科维奇收获1768万巨奖,23冠超纳达尔
短讯!孙颖莎惹争议!参加低级赛事,球迷质疑国乒吃相难看,帮忙抢积分
【新视野】多家上市公司进军新能源产业 跨界“奔赴”合理性引监管层关注
国内单机容量最大的冲击式水电机组完成国产化改造 成功并网发电 环球即时看
环球热消息:奥运积分排名更新!梁王暂居男双榜首,何冰娇高居女单第3
德约科维奇与穆雷同一日双双夺冠,球迷梦回四巨头时代,不见费纳!-全球最资讯
世界速读:沙特能源大臣:沙特想与中国合作,不会理会西方的“担忧”
海南发展(002163):6月12日北向资金增持25.24万股|环球要闻
热点聚焦:演员张龄心:不结婚不生子,老了就去养老院,如今她打了自己的脸_天天动态
中超之光!巴萨4000万清洗曼城天才,1600万签大连神锋,1年10球
世界时讯:皇马拒绝哈弗茨,迪巴拉拒绝沙特亿元高薪,穆里尼奥再收顶薪报价
皇马新7号确认!亿元先生接班阿扎尔挑战C罗,10号留给姆巴佩?|环球即时看
马琳难再指导陈梦,刘国梁布局,主教练放权,主管教练负责场边-世界速讯
【世界时快讯】陈梦丢大满贯有原因!官方杂志透露世乒赛前情况,一姐身体出问题
每日报道:降雨范围更大!13日起,广西将进入“龙舟水”集中期
体坛3大GOAT齐聚!梅西德约却只能在两边,詹姆斯丢冠却是居中C位
联系我们:55 16 53 8@qq.com
关于我们| 联系方式| 版权声明| 供稿服务| 友情链接
塞北网 版权所有,未经书面授权禁止使用
Copyright©2008-2020 By www.saibeinews.com All Rights Reserved