当前位置: 首页 >  科技  > 正文

今日要闻!创意有瓶颈吗?百度文心·一格:不存在,动动手指片刻生成艺术大作

  • 2022-08-19 20:42:38 来源:腾讯网

机器之心原创

这次,百度文心跨模态大模型让你的创意「飞起来」!


(资料图片)

在近年来的 AI 领域,随着 NLP 和 CV 的日益融合,多模态学习越来越受到学界和业界的重视,其中文本生成图像更是成为现象级研究方向。输入一段语言描述,AI 即能输出对应的图像,兼具速度与质量。

在这股以文生图风潮中,AI 底蕴深厚的国外大厂纷纷推出多模态文生图模型,比如 DALL-E 2、 GauGAN2 和 Disco Diffusion 等。这些 AI 模型生成的图像都给人留下了深刻的印象,在逼真度、趣味性、风格等方面各有特点。

DALL-E 2(左)和 Disco Diffusion(右)的不同画风。

国内 AI 巨头在中文多模态特别是文生图这一赛道也颇有建树,尤以百度基于知识增强的文心跨模态大模型语义理解技术为代表,其中的跨模态生成大模型 ERNIE-ViLG 可以根据用户输入的语言描述自动创作不同风格(水彩、粉笔画、卡通、油画、蜡笔画、儿童画)的图像。前段时间,百度数字人度晓晓更是创作出了引发热议的「无界」系列画作,被专业美院教授评价为「已经达到了本科美术生的基本要求」。

不过,百度并没有满足于此,想要在文生图领域更专、更快,让生成的图像打破风格的桎梏,同时更关注用户的创意需求。在今日成都举办的 2022 中国图象图形大会上,百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜重磅推出了基于文心大模型的 AI 艺术和创意辅助平台——文心 · 一格,突出创意成为它的显著特征

百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜

作为业界首个 AI 艺术和创意辅助平台,文心 · 一格面向三类人群,包括 1)画师、设计师、艺术家等视觉内容创作者,2)媒体、作者等文字内容创作者和 3)大众用户。他们可以通过文心 · 一格智能生成多样化创意图片,并从中汲取创意灵感,打破创意瓶颈。

不同于 DALL-E 2 和 Disco Diffusion 等有风格偏向性的 AI 作画工具,一格则取多家之所长,在图画创作上具有更强的实用性和艺术性,支持插画、科幻、中国画、动漫风等十余种不同风格高清艺术画作的生成,既能生产恢弘绚丽的艺术画,也能创作充满创意脑洞的超写实图。

文心 · 一格,一语成画

一格文生图效果到底如何呢?输入语言描述「太空中不断延伸的环形轨道」,我们得到了如下震撼的太空图。可以看出,一格生成的图像具有极强的写实性,如果不告诉你这是出自 AI 之手,一定会有人认为是真实的太空场景。

当然,写实性强只是一格文生图的一方面优势,它在生成写实图像的同时还兼顾了艺术风格。依然用示例说话,输入语言描述「埃及金字塔」。以往的 AI 模型比较擅长生成风景图,但复现真实建筑则有相当难度,有些模型生成的图像偏艺术缺乏真实性。一格则在真实性与艺术性之间找到了很好的平衡。

接下来继续欣赏一格生成的另一些创意画作。想了解下传说中的「凤凰」长什么样子,交给一格,片刻之后就能生成恢弘绚丽的画面。

一格生成创意脑洞的超写实图也不在话下,比如「骑摩托的帅气熊猫」、「公园的湖面波光粼粼,倒映着美丽的建筑」。

所有这些,用户要做的就是动动手指,输入语言描述,片刻之后就能生成艺术大作。在创作过程中,一格还可以通过指定图像风格、艺术家等方式,针对同一个语言描述生成多样化的、具备不同风格特点的图像。

一番创作下来,我们可以用 16 个字来概括一格的主要特点:突破想象、简单易用、快速成画、别具一格

突破想象:一格拥有非常丰富的创作库,可根据语义联想和概念组合,自由创作多种风格创意画作,既能生成恢弘绚丽的艺术画,也能生成创意脑洞的超写实图;

简单易用:一格使用门槛非常低,用户只需输入一句语言描述,一格就可创作出不同风格的艺术画作;

快速成画:用户输入语言描述后,一格可在片刻生成一幅高清创意画作;

别具一格:一格生成的每幅画作,都是独一无二的。

一格文生图过程

一格文生图的过程大致可以分为以下几个步骤。

首先,需要准备海量的图文对数据,数量不仅要多,质量还要好,这样可以让一格在充足的数据中学习「语言描述」与「艺术画面」的关联。不过,这种关联又是丰富且复杂的。

依然用示例来讲,假如是让生成一幅风景图,结果出来的是动物图,那就很糟糕了。还有就是,同一个事物有多种艺术风格,例如山峰在中国画中是壁立千仞,在油画中是威严庄重,在科幻设定图中或许已经被机械掏空,建立起了霓虹闪烁的未来都市等。经过海量的数据训练,一格学会了「语言描述」与「艺术画面」之间的关联。

在此基础上,用户输入一段语言描述(例如狗、油画),一格将调动以上学习到的知识和能力,以随机化的起点开始进行初步创作。不同于人类作画过程,一格先是生成画面整体轮廓,然后经过数百轮的迭代,修正完善画面细节

对于过程中的每一轮迭代,一格都会仔细检查草稿与语言描述的一致性,目的就是让作品与输入的语言描述具有正确的关联。持续的修正使得整体构图不断明晰,模糊和噪声逐渐被精确的配色和轮廓代替,最终形成在审美上与人类经验与知识高度一致的成品。

一格创作过程中,语言描述是关键,因为用户输入的内容决定了其生成的内容,是作画灵感的根本来源,更是 AI 生成画作最关键的指引。一格从海量数据中学习到的知识,是灵感得以实现的基础,人类画作数千年的积累和沉淀为 AI 文生图提供了无限可能。

与此同时,AI 生成图像过程中的随机性,是灵感的补充,其可以学习一千种人类绘制山峰的方式,甚至创造出第一千零一种。

一格为艺术创作提供灵感

你可能会问,一格文生图有什么意义呢?

对于画师、设计师、艺术家等专业人士来说,他们总会遇到瓶颈期。虽然有很好的创作思路和构想,但却一时想不出好的或自己满意的绘画表现形式;或者艺术创作已经达到了相当的高度,寻求新的突破创新遇到困难;又或者创作出的东西总是达不到自己想要的效果,进行到一半就进行不下去了……

一格平台就是为此而生,它可以启发创意,让人们从 AI 生成的图像中重新汲取灵感。

再者作为媒体人、新闻编辑等工作人员,有时会因为找不到合适的配图而苦恼不已;还有就是大众用户,想体验创作带来的乐趣等。所有这些,一格平台也都能为你提供。

一格背后持续创新的跨模态大模型技术

我们知道,AI 图文创作往往需要解决三个关键挑战。首先在需求理解阶段,要准确理解需求,降低语言描述的门槛;其次在原创生成阶段,要精准刻画用户需求表意,支持多样化风格;最后在需求满足阶段,要对生成结果进行选择,保证和提升它们的质量。

然而,解决这些挑战并不容易。因此,一格平台在构建过程中得到了百度文心大模型提供的强大底层技术支持,尤其是不断改进的跨模态技术。

一方面对文心知识增强跨模态理解大模型的创新,提出了基于多视角对比学习的 ERNIE-ViL 2.0,在预训练过程同时学习模态间和模态内的多种关联性,提升了「图像」和「文本」跨模态语义匹配效果,检索效果远超 ChineseCLIP、WenLan 等模型。

另一方面是全球规模最大中文跨模态生成模型 ERNIE-ViLG,它将「文生成图」和「图生成文」任务融合到同一个模型进行端到端学习,从而增强文本和图像的跨模态语义对齐。此次 ERNIE-ViLG 文图生成算法迎来升级,通过渐进式扩散模型,生成空间由小及大、生成轮廓由粗到细,同时根据生成阶段自动选择最优生成网络,文本生成图像的效果取得进一步提升。

左为双向图像 - 文本生成的 ERNIE-ViLG 模型架构,右为渐进式扩散模型算法。

得益于文心跨模态大模型的一系列创新,百度将新技术实用化,研发出了一套支持 AI 作画的文生图系统,提供了从用户需求理解到满足的全流程解决方案。如下图所示,这套系统分为了两大核心组件,分别是文本输入阶段基于知识的 prompt 工程以及生成和输出阶段的跨模态大模型。

首先,对于基于知识的 Prompt 工程,理解用户需求并在此基础上丰富语义细节,降低用户输入描述成本。其次,基于扩散生成算法实现创意写实与恢弘构图的艺术画作生成。最后,基于跨模态匹配大模型进行生成画作的结果排序,自动选出语义与美观度最佳的画作。

基于文心大模型的文生图系统。

可以这样说,文心跨模态大模型实现了多视角对比学习、图文双向生成、渐进式扩散模型等多项技术创新,它们成就了今日的一格平台。

在不断修炼技术内功的同时,百度还致力于构建生态完整的开放社区,将大模型的能力释放给普通人。更具体地讲,百度为开发者、广大科技爱好者提供飞桨开源工具和文心大模型 API 服务能力,满足他们多样化的创意探索需求。

一方面,开发者可以在飞桨 PaddleHub 上直接调用相关的开源模型,享受极简易用的开发体验,并综合使用提供的 400 多个 AI 开源模型,组合开发有趣的 AI 应用,满足更多艺术从业者、开发者对图片生成场景的需求;另一方面,文图生成大模型 ERNIE-ViLG 为开发者提供了 API 体验调用的入口,登陆飞桨旸谷社区 API 体验专区即可体验其前沿技术能力,并能够灵活方便、高效快速将文图生成大模型能力集成到产品中。

从之前数字人度晓晓的作词编曲、写作绘画,到 AI 修复传世名画《富春山居图》,大模型赋能下的 AIGC 早已成为近来百度 AI 技术加速落地的着陆点。得益于持续创新的大模型技术,百度不断拓宽 AIGC 的适用范围,并努力发掘更多样化的内容生产方式。

此次,百度在为用户提供 ERNIE-ViLG API 体验智能作画的基础上更进一步,用一格这个面向创意内容的产品级综合文生图平台,为 AIGC 注入了更多活力和想象空间。在可预见的未来,一格生成的超写实与艺术画作,既有可能像度晓晓「无界」系列画作一样成为热卖的数字藏品,还可以用作契合电影、动漫主题的封面大作,更有望在游戏、元宇宙的多样化动态场景画面中找到用武之地。

总之,在新的内容创意和方式不断涌现的当下,AIGC 绝不应只停留在玩一玩、看一看的阶段,未来一定会在特定的应用场景中为生产者创造价值,既可以是艺术上的,也可以是物质上的。

关键词: 创意有瓶颈吗百度文心一格不存在 动动手指片刻生成

最新推荐

岚图汽车获六大行150亿元授信-世界最资讯

6月13日,岚图汽车宣布,获得包括中国工商银行、中国银行、中国农业银

福建5月份CPI同比上涨0.2% PPI则同比下降2.7%|世界今头条

5月份,福建全省居民消费价格(CPI)同比上涨0 2%,环比下降0 1%;全

与家人闹矛盾,孩子站在高速应急车道拒绝上车

扬子晚报网6月13日讯(记者郭一鹏通讯员王雷)因为买棉花糖的问题与家

父亲节送礼就选飞利浦电动剃须刀 京东618家电家居超级新品日购买更优惠

一年一度的京东618即将落下帷幕,你都下单了哪些产品?为给用户带来全

EDG内讧的4条证据,众人心疼leave家境不好,结果反被嘲讽

我们看到EDG俱乐部对此事不做任何解释,任由其发酵,然后转头就联系uzi

环球热门:基米希回应哈维称赞:我和拜仁还有两年合同,我们有很伟大的计划

直播吧6月13日讯此前哈维曾公开称赞基米希,对此球员进行了回应。在被

姆巴佩这次太精明了,巴黎处于被动,皇马迫不及待

对于皇马而言,一直都希望求购姆巴佩,而今年确实不是最好的时机,如果

莱万:我知道沙特足球正在发生什么 但我和巴萨还有合同-世界今亮点

目前莱万在巴萨的年薪是税后900万欧,此前西班牙媒体报道,沙特联赛希

职业病申请工伤认定有时间限制吗

关于工伤认定的时间,我国法律是有一定的规定的,尤其是职业病。根据《

工伤解除劳动关系时职业病患者工伤待遇的认定与处理_世界播资讯

工伤解除劳动关系时职业病患者工伤待遇的认定与处理申请工伤认定的有效

恒而达:6月12日融资买入171.88万元,融资融券余额5652.59万元_每日速递

6月12日,恒而达(300946)融资买入171 88万元,融资偿还72 5万元,融

AI热潮催生美股牛市,反弹全面扩散?一悬念尚待揭晓,上周已有“意外”!大摩浇冷水:FED刹车恐唤醒熊市

美联储仍是股市当面面临的最大风险。大摩指出,目前股市上涨并不意味着

热门:恨不相逢未剃时白落梅_恨不相逢未剃时

1、是一个和尚或者尼姑写的说的意思是,对你给的爱情,只能还给你一钵

@考生和家长,2023高考志愿填报十问十答

高考结束,志愿填报即将开始,如何查询准确的高校与专业信息?高考填志

《没有一顿火锅解决不了的事》预告 杨幂惊艳于谦_全球热点评

“一顿火锅刚开宴,好戏连台惊四方!”丁晟导演的悬疑喜剧《没有一顿火

环球讯息:15亿收入不要了,再见巴黎!3大线索指向加盟曼联,英超争冠变天

今日凌晨,据《队报》、天空体育、《电讯报》等多家媒体的消息,姆巴佩

LPL饭堂灵魂提问,近五年最强中单,Faker难进前十,JDG有望绝杀_焦点热文

这九人评选最强中单和TOP3,为此观众们进行了一系列的讨论,不同人有不

世界要闻:坐不住了!催化剂正式发挥作用,姆巴佩被迫决定,皇马或成大赢家

今天凌晨,来自队报的消息,姆巴佩团队已经通过书面的形式正式通知大巴

天天热头条丨最新世界排名公布!国乒蝉联5项第一,樊振东、孙颖莎面临挑战

德班世乒赛结束后,乒乓球世界排名迎来了新的变化,中国队重新夺回五大

宣传缉枪治爆_天天新消息

本报讯为切实加强缉枪治爆工作,近日,铁岭市公安局工人分局组织民警在

全球时讯:专项行动清理违规渔具

本报讯为切实维护营口市伏季休渔秩序,确保增殖放流取得实效,保障广大

统计:海南旅游收入高于疫前2019 年同期水平

统计数据显示,海南旅游市场旅游收入高于疫情前2019年同期水平,游客消

端午节发朋友圈文案怎么写吸引人?以端午节为主题的文案看这里

端午文案1)粽子飘香,佳人安康。(粽子 祝福)2)粽子是端午限定,你我是命中注定。(爱情 结婚)3)粽子之...

冬至名言有哪些?冬至的古诗10首看这里

冬至佳句七绝·冬至一,枫叶红时信已传,梅心雪意亦如前。阳生莫问春何处,夜永应知又一年。二,夜阑风...

课文匆匆的体裁是什么?课文匆匆教材分析怎么写?

课文匆匆原文燕子去了,有再来的时候;杨柳枯了,有再青的时候;桃花谢了,有再开的时候。但是,聪明的,...

【宁夏】隆德县七名农民晋升高素质农民职称资格

本网讯近日,经宁夏回族自治区固原市农业系列职称评审委员会评审、市人

usual反义词是什么?active的反义词有哪些?

lucky的反义词是什么lucky的反义词是unlucky。lucky的意思以及用法:一、作为形容词1、幸运的,好运的一...

世界动态:@高考生,成绩即将揭晓,志愿如何填报?指南来了!

祝福考生考入理想大学,学上喜欢的专业!

最近的天气也太热了吧!快趁“热”收下这份防中暑指南

在夏季,气温过高、湿度大、风速小等条件下,非常容易引发中暑。“热死

营造学青会氛围!广西体育明星团走进多所小学校园 快看点

“迎接学青会健康新广西”广西新时代文明实践活动暨全民健身志愿服务活

天天微速讯:最新国家级一流本科课程名单公布!广西有这些

日前,教育部公布第二批国家级一流本科课程名单,共有5750门课程获认定

广西科学守护“海上森林” 努力实现“双碳”目标

近日,广西海洋环境监测中心站对平陆运河入海口(位于钦州茅尾海一带)

国四柴油车报废新规定_柴油车报废新规定

1、具体要看什么种类的车,不同种类的车报废年限不同。2、各类机动车使

OEM厂家共同成长黄金搭档 仙佑集团贴心服务共创美好未来

近年来,随着人们健康意识的提高,各种膏药产品市场需求不断增长。在这样的市场背景下,仙佑医药膏药代...

东亚的互不侵犯条约-聚看点

时至今日,我觉得中国可以考虑对日本和韩国提出签订互不侵犯条约。其主

小罗缅怀贝卢斯科尼:你的名字将永远镌刻在AC米兰|世界实时

直播吧6月13日讯贝卢斯科尼因病离世,小罗社媒晒合照缅怀。小罗写道:

埃姆雷-詹:整座城市为多特夺冠做好准备,不知如何消化这种辜负

在《法兰克福汇报》的采访中,埃姆雷-詹对于错失冠军表示:“我依然还

世界报道:基米希回应哈维称赞:我和拜仁还有两年合同,我们有很伟大的计划

直播吧6月13日讯此前哈维曾公开称赞基米希,对此球员进行了回应。在被

挺硬气!21岁女网新星父亲放出豪言:我女儿要拿单打大满贯冠军_环球热点评

只是双打的大满贯冠军,但王欣瑜能够夺冠,同样是非常了不起的,这个小

谈谈你今后的努力方向怎么写?孩子努力的方向和改进措施看这里

今后的努力方向和改进措施1、针对员工提出的推荐,我采取的措施是:①合理安排工作,要放得下一些追求,...

等待下一次重逢的诗句有哪些?形容迟早会见面的文案看这里

依依惜别的诗句1、黄鹤楼送孟浩然之广陵 唐 李白故人西辞黄鹤楼,烟花三月下扬州。孤帆远影碧空尽,唯...

兰波诗集经典句子集锦来了!兰波写得最好的诗看这里

兰波的诗句1、唯一无法忍受即事事可忍受。——兰波2、你隐没在梦中,宛如雪化在火中。——兰波3、天才就...

王昌龄最出名的三首诗你知道吗?最著名的十首边塞诗都在这儿

岑参的边塞诗1、最动人的想家诗:《逢入京使》《逢入京使》故园东望路漫漫,双袖龙钟泪不干。马上相逢无...

当前要闻:贵州电商云公司“一码贵州”平台入选2022年《中国电子商务报告》商业科技创新应用优秀案例

近日,商务部发布《中国电子商务报告(2022)》,多彩贵州网旗下贵州电子

古代经商谚语大全来了!生意高手十句口诀在这儿

经商名言警句1、越是巨大的冒险,越是需要巨大的谨慎。2、如果注定要做一个商人,那么就要随时准备接受...

小学生关于成长的诗歌有哪些?关于成长的诗歌朗诵稿在这儿

关于成长的诗歌《成长的方向》所有的河流都朝着东方不拒细流浩浩汤汤只是为了汇入大海汪洋所有的禾苗破...

哈姆雷特摘抄及感悟怎么写?哈姆雷特读书心得看这里

哈姆雷特读书笔记一杯毒酒,一把毒剑。结局被鲜血浸染。哈姆雷特最终被众人抬放于高台,在沉重的葬礼进...

观天下!兰州举办新就业群体心理健康辅导讲座

本报讯5月25日,甘肃省兰州市非公有制企业党委在兰州奔马集团举办针对

全民tv怎么直播 全民tv申请认证主播教程 全民怎么开通直播_全球独家

很多玩游戏的人都知道全民TV。我们看到上面很多直播,各种各样的都有。

【全球速看料】微信app天天领红包在哪 天天领红包小程序

我们知道支付宝有个天天领红包,微信从1月1日起到1月31日,每天在门店

精彩放送

火山直播怎么开通直播间 火山直播怎么开通呢

京东上面怎么查看自己的年度账单 京东怎么看年度账单2020

在ps软件中怎么绘制直线 ps软件里怎么画直线

6月13日生意社糠醛基准价为11425.00元/吨

简讯:有黑的意思的字_黝黑的意思

环球今头条!疯狂24小时!皇马计中计欺骗全欧,姆巴佩摊牌,1.2亿巨星恐被打压

全球新动态:曼城挖角国米中场全能神将,瓜帅情有独钟,两大障碍能否克服?

疯狂24小时!皇马计中计欺骗全欧,姆巴佩摊牌,1.2亿巨星恐被打压-最资讯

谜一样的巴蒂!世界排名第一突然退役,巨大悬念留给万千球迷

全球简讯:是否存在有注册资本的分公司

logo著作权登记费用是多少?

奥海科技:接受兴证全球基金等机构调研_报资讯

【机构调研记录】北信瑞丰调研鹭燕医药

赛博朋克2077发售日期介绍 赛博朋克2077具体发售时间

当前动态:GOAT德约斩获生涯第23座大满贯&3圈大满贯第一人

中网总奖金公布:1175万美元 ,同级别赛事奖金第一,其中WTA赛事803.97万美元 世界今热点

世界观点:中国金花夺冠+豪夺335万,德约科维奇收获1768万巨奖,23冠超纳达尔

短讯!孙颖莎惹争议!参加低级赛事,球迷质疑国乒吃相难看,帮忙抢积分

【新视野】多家上市公司进军新能源产业 跨界“奔赴”合理性引监管层关注

国内单机容量最大的冲击式水电机组完成国产化改造 成功并网发电 环球即时看

环球热消息:奥运积分排名更新!梁王暂居男双榜首,何冰娇高居女单第3

得加钱?记者:除皇马外,巴黎愿今夏将姆巴佩出售给任何球队

德约科维奇与穆雷同一日双双夺冠,球迷梦回四巨头时代,不见费纳!-全球最资讯

【环球热闻】海峡组合法网逆袭夺冠 小将王欣瑜未来可期

美元指数12日上涨

世界速读:沙特能源大臣:沙特想与中国合作,不会理会西方的“担忧”

海南发展(002163):6月12日北向资金增持25.24万股|环球要闻

天天热资讯!牛白_牛白藤别名

天府烤卤官网 天府烤卤总部地址-短讯

专班保障

张志丹:特斯拉FSD渐行渐近!新能源车能否迎来第二春?

热点聚焦:演员张龄心:不结婚不生子,老了就去养老院,如今她打了自己的脸_天天动态

中超之光!巴萨4000万清洗曼城天才,1600万签大连神锋,1年10球

【环球时快讯】记者:迪亚斯新赛季将身穿皇马21号球衣

即时:纳乔:如果我能决定,我会在今夏把姆巴佩带到皇马

世界时讯:皇马拒绝哈弗茨,迪巴拉拒绝沙特亿元高薪,穆里尼奥再收顶薪报价

天天热点评!对话|续写茶香传奇,90后非遗新人有一套

皇马新7号确认!亿元先生接班阿扎尔挑战C罗,10号留给姆巴佩?|环球即时看

饶明受伤,德约鲁德再战法网火枪手杯!

马琳难再指导陈梦,刘国梁布局,主教练放权,主管教练负责场边-世界速讯

【世界时快讯】陈梦丢大满贯有原因!官方杂志透露世乒赛前情况,一姐身体出问题

全球连线|红酒为媒推动中外交流_环球百事通

每日消息!事关买菜! 2023年7月1日,柳州这一新规实施

每日报道:降雨范围更大!13日起,广西将进入“龙舟水”集中期

天天微资讯!硅藻泥优缺点大揭秘_硅藻泥优缺点

恭喜内马尔!利雅得新月为内马尔提出报价,年薪2.5亿欧元

体坛3大GOAT齐聚!梅西德约却只能在两边,詹姆斯丢冠却是居中C位

德天空记者:于帕梅卡诺在拜仁过得不开心,但无意在今夏离队_焦点快看

江瀚新材: 第一届董事会第十四次会议决议公告 今日快讯

“蔚小理”一季度交卷:理想连续盈利 蔚来小鹏各有“焦虑”

联系我们:55 16 53 8@qq.com
关于我们| 联系方式| 版权声明| 供稿服务| 友情链接

塞北网 版权所有,未经书面授权禁止使用

京ICP备2021034106号-10 营业执照公示信息

Copyright©2008-2020 By www.saibeinews.com All Rights Reserved