ChatGPT商用落地前景研究.pptx
- 文档编号:30811625
- 上传时间:2024-01-30
- 格式:PPTX
- 页数:70
- 大小:4.58MB
ChatGPT商用落地前景研究.pptx
《ChatGPT商用落地前景研究.pptx》由会员分享,可在线阅读,更多相关《ChatGPT商用落地前景研究.pptx(70页珍藏版)》请在冰豆网上搜索。
,ChatGPT商用落地前景研究,ChatGPT生成式AI迎来拐点,商用落地前景可期,目录/CONTENTS,市场概况:
ChatGPTAI平民化里程碑,01,技术路径:
基于人类反馈系统,ChatGPT助力跨模态AI生成应用,02,行业进程:
AIGC多模态交互功能持续演化,奠定多场景商用基础,03,商业方向:
多领域多功能应用密集落地,ChatGPT商用前景可期,03,ChatGPT生成式AI迎来拐点,商用落地前景可期,01,市场概况:
ChatGPTAI平民化的里程碑,ChatGPT生成式AI迎来拐点,商用落地前景可期OpenAI在成立之初便备受资本瞩目,与微软合作加速商业化进程,01,ChatGPT是由OpenAI团队研发创造,OpenAI是由创业家埃隆马斯克、美国创业孵化器YCombinator总裁阿尔特曼、全球在线支付平台PayPal联合创始人彼得蒂尔等人于2015年在旧金山创立的一家非盈利的AI研究公司,拥有多位硅谷重量级人物的资金支持,启动资金高达10亿美金;OpenAI的创立目标是与其它机构合作进行AI的相关研究,并开放研究成果以促进AI技术的,发展,2019年7月,2020年6月,2020年9月,OpenAI发展的里程碑,微软向OpenAI投资了10亿美金,并获得了OpenAI技术的商业化授权。
从此,OpenAI的一些技术开始出现在微软的产品和业务上,OpenAI发布了OpenAIAPI,这是OpenAI第一个商业化产品,OpenAI正式开始了商业化运作,OpenAI授权微软使用GPT-3模型,微软成为全球首个享用GPT-3能力的公司,2019年3月,图1:
OpenAI发展势头强劲,商业化趋势明显,OpenAI宣布从”非盈利“性质过度到”封顶盈利“性质,利润上限为任何投资的100倍(创立了OpenAILP公司)资料来源:
OpenAI官网,01,AIGC发展特点,人工智能总体阶段,早期萌芽阶段(20世纪50年代-90年代中期),快速发展阶段(21世纪10年代中期-至今),受限于技术水平,AIGC仅限于小范围实验,AIGC从实验性向实用性转变,受限于算法瓶颈,无法直接进行内容生成沉淀积累阶段(20世纪90年代-21世纪10年代中期),深度学习算法不断迭代,人工智能生成内容百花齐放,AIGC典型事件,1950年,艾伦图灵提出著名的“图灵测试”,给出判断机器是否具有“智能”的方法,1966年,世界第一款可人机对话机器人“Eliza”问世,80年代中期,IBM创造语音控制打字机“Tangora”,2012年,微软展示语全自动同声传译系统,可将英文语音自动翻译成中文语音,2007年,世界上第一部完全由人工智能创作的小说1TheRoad问世,2014年,LanJ.Goodfellow提出生成式对抗网络GAN,2018年,英伟达发布StyleGAN模型用于自动生成高质量图片2019年,DeepMind发布DVD-GAN模型用于生成连续性视频,2022年,OpenAI发布ChatGPT模型用于生成自然能语言文本,ChatGPT生成式AI迎来拐点,商用落地前景可期OpenAI的ChatGPT是生成式人工智能技术(AIGC)浪潮的一部分图2:
随着算法的不断迭代,生成式人工智能技术(AIGC)不断发展,ChatGPT生成式AI迎来拐点,商用落地前景可期ChatGPT是在GPT基础上进一步开发的自然语言处理模型,01,GPT-1(1.17亿参数)GPT-1有一定的泛化能力,能够用于和监督任务无关的NLP任务中,2018,2019,2020,2022.01,GPT-2(15亿参数)除了理解能力外,GPT-2在生成方面表现出了强大的天赋:
阅读摘要、聊天、续写、编故事,甚至可以生成假新闻、钓鱼邮件或在线进行角色扮演,GPT-3(1750亿参数)GPT-3作为一个自监督模型,可以完成自然语言处理的绝大部分任务:
将网页描述转换为相应代码、模仿人类叙事、创作定制诗歌、生成游戏剧本,甚至模仿已故的哲学家预测生命的真谛,InstructGPTInstructGPT是一个经过微调的新版GPT-3,可以将有害的、不真实的和有偏差的输出最小化,ChatGPTChatGPT是InstructGPT的衍生产品,它将人类的反馈纳入训练过程,更好地使模型输出与用户意图保持一致,2022.12,GPT模型是一种自然语言处理(NLP)模型,使用多层变换器(Transformer)来预测下一个单词的概率分布,通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本从GPT-1到GPT-3智能化程度不断提升,ChatGPT的到来也是GPT-4正式推出之前的序章图3:
ChatGPT由GPT-1到InstructGPT模型的不断成熟而逐步形成,ChatGPT生成式AI迎来拐点,商用落地前景可期ChatGPT发布后用户数持续暴涨,市场影响力迅速提升,01,根据UBS发布的研究报告显示,ChatGPT在1月份的月活跃用户数已达1亿,成为史上用户数增长最快的消费者应用相比之下,TikTok花了九个月的时间月活跃用户数才破亿,而Instagram则花费了两年半的时间,同时,根据SimilarWeb的披露信息,Spotify在四年半后仅积累了1亿月活跃用户根据SimilarWeb的数据,1月份平均每天有超过1300万名独立访问者使用ChatGPT,是去年12月份的两倍多,2个月,9个月,30个月,54个月,图4:
ChatGPT日活跃用户数的增速远超Instagram,图5:
对比各大热门平台月活跃用户数破亿所需时长,ChatGPT的成长速度惊人,42个月,54个月,90个月,ChatGPT生成式AI迎来拐点,商用落地前景可期,ChatGPT已能覆盖较多能力域,01,由于ChatGPT包含了更多主题的数据,能够处理更多小众主题。
ChatGPT能力范围可以覆盖回答问题、撰写文章、文本摘要、语言翻译和生成计算机代码等任务。
用鲁迅口吻写一篇评价新冠疫情的散文,写一篇信创产业的研究报告,用藏文、俄罗斯语、韩语和日文说一句话,用C+写一段爬虫代码,图6:
ChatGPT的使用案例如下所示,代码阅读理解和Debug,用Python写一段CCI量化投资策略,ChatGPT生成式AI迎来拐点,商用落地前景可期,ChatGPT具备诸多先进性特征,01,ChatGPT嵌入了人类反馈强化学习以及人工监督微调,因而具备了理解上下文、连贯性等诸多先进特征,解锁了海量应用场景当前,ChatGPT所利用的数据集只截止到2021年。
在对话中,ChatGPT会主动记忆先前的对话内容信息(上下文理解),用来辅助假设性的问题的回复,因而ChatGPT也可实现连续对话,提升了交互模式下的用户体验。
同时,ChatGPT也会屏蔽敏感信息,对于不能回答的内容也能给予相关建议。
图7:
ChatGPT提升的核心点如下所示,连续对话能力,用户意图有效捕捉,上下文理解,敢于质疑,承认不知道,提升准确度,ChatGPT,算法屏蔽,连续对话,人类意图,ChatGPT生成式AI迎来拐点,商用落地前景可期科技巨头不断下注AI行业,ChatGPT带动新一轮AI发展浪潮,01,2023年初,微软和谷歌均宣布裁员计划,但都加大了在AI行业的投入图8:
科技巨头纷纷加大ChatGPT相关投入1月18日,微软宣布将于3月底前在全球裁员1万人,约占公司员工总数的5%1月23日,微软宣布对ChatGPT创建者OpenAI进行第三轮投资,将向OpenAI进行为期多年、金额达数十亿美元的投资,以加速其在人工智能领域的技术突破此外,微软还计划在未来几周内发布其Bing搜索引擎的GPT-4版本,预计该版本将比ChatGPT模型更快、更强大1月20日,谷歌母公司Alphabet宣布将裁员约1.2万人,占公司员工总数的6%以上,同时公司CEO表示,公司将会进一步聚焦AI技术核心业务的研发投入2月4日,谷歌注资3亿美元投资ChatGPT竞品Anthropic,和OpenAI一样,Anthropic也在开发生成式人工智能,ChatGPT生成式AI迎来拐点,商用落地前景可期国内外科技巨头积极布局生成式AI,部分公司已有成型产品,01,国内外科技巨头都非常重视ChatGPT引发的科技浪潮,积极布局生成式AI表1:
国内外科技公司积极布局生成式AI,ChatGPT生成式AI迎来拐点,商用落地前景可期谷歌:
面对ChatGPT构成的威胁,注资3亿美元投资竞品Anthropic,01,在ChatGPT发布后,谷歌CEO在公司内部发布了“红色警报”(CodeRed),敦促团队解决ChatGPT对公司搜索引擎业务构成的威胁,同时批准了在谷歌搜索引擎中加入AI聊天机器人的计划2月4日,谷歌注资3亿美元投资ChatGPT竞品Anthropic,谷歌将获得约10%的股份,Anthropic计划将次轮资金用于购买谷歌云计算部门的计算资源;Anthropic开发了一款名为Claude的智能聊天机器人,据称可与ChatGPT相媲美(仍未发布)Anthropic和OpenAI渊源颇深,其联合创始人曾担任OpenAI研究副总裁图9:
Anthropic的联合创始人曾担任OpenAI研究副总裁图10:
聊天机器人Claude据称可与ChatGPT相媲美,ChatGPT生成式AI迎来拐点,商用落地前景可期微软:
OpenAI的最大投资方,开始利用ChatGPT提高产品竞争力,01,微软将ChatGPT视为新一代技术革命,将ChatGPT整合进Bing搜索引擎、Office全家桶、Azure云服务、Teams程序等产品中微软近期宣布推出视频会议及远程协作平台的高级付费版MicrosoftTeamsPremium,订阅者可享用OpenAIGPT提供支持的大型语言模型技术,用AI自动生成会议笔记,此举或对Zoom、谷歌会议等平台形成巨大冲击。
资料来源:
微软官网,图11:
MicrosoftTeamsPremium使用ChatGPT做笔记,使远程协作更高效,图12:
集成了ChatGPT的新版Bing曾短暂上线,搜索框类似一个聊天框,ChatGPT生成式AI迎来拐点,商用落地前景可期亚马逊:
ChatGPT受到重点关注,已广泛运用在各种工作职能中,01,ChatGPT已经被亚马逊用于各种不同的工作职能中,包括回答面试问题、编写软件代码和创建培训文档等公司内部员工在Slack表示,亚马逊AmazonWebServices(AWS)云部门已经成立了一个小型工作组,以更好地了解人工智能对其业务的影响。
图13:
ChatGPT已经被亚马逊用于各种不同的工作职能中,图14:
亚马逊AWS云部门的职能与人工智能联系紧密,ChatGPT生成式AI迎来拐点,商用落地前景可期美国新媒体巨头Buzzfeed踩准ChatGPT风口,两天内股价飙升3倍,01,1月29日,美国新媒体巨头Buzzfeed宣布计划采用ChatGPT协助内容创作,其股价一夜间暴涨近120%,两天内飙升逾300%,成交量突破4.38亿股(其月平均成交量不足2500万股)消息公布后同类型公司股票成交量也迎来历史高峰:
C3.ai本月成交量超过7200万股,为自去年6月以来最多;语音AI软件公司SoundHoundAI的成交量约为6450万股,几乎是其月平均值的三倍图15:
Buzzfeed宣布计划采用ChatGPT协助内容创作后,股价一夜间暴涨近图16:
Buzzfeed宣布计划采用ChatGPT协助内容创作后,股票成交量暴涨120%,ChatGPT生成式AI迎来拐点,商用落地前景可期StabilityAI:
StableDiffusion大热,OpenAI在图片生成AI大有可为,01,StabilityAI有着与OpenAI相同的创业理念:
构建开源AI项目,促进AI发展,其成功证明OpenAI在图片生成领域同样大有可为公司的开源模型StableDiffusion可以根据文字生成图片,只需要几秒钟,就可以生成分辨率、清晰度高,同时不失真实性和艺术性的图片。
资料来源:
网易新闻,图17:
用户使用基于StableDiffusion算法构建的工具创建了数百万张图像,图18:
StabilityAI有着与OpenAI相同的创业理念,其成功证明OpenAI在图片生成领域同样大有可为,ChatGPT生成式AI迎来拐点,商用落地前景可期Jasper:
采用同类底层技术,进一步证明ChatGPT的巨大商业潜力,01,文案自动生成平台Jasper,其技术底层是OpenAI的GPT-3,在成立仅18个月后就达到了15亿美元的高估值IBM、Autodesk等巨头公司均是Jasper的付费用户,足以证明ChatGPT底层技术具备巨大的商业潜力。
ChatGPT出现后,其技术领先性和受欢迎程度对Jasper形成了强烈冲击。
图19:
ChatGPT的出现,对采用同类底层技术的热门公司Jasper形成强烈冲击,图20:
相比ChatGPT的免费开源,Jasper需要付费使用,ChatGPT生成式AI迎来拐点,商用落地前景可期国内厂商(百度&腾讯):
高度关注ChatGPT,积极探索前沿技术,01,百度:
1月10日,百度宣布将升级百度搜索的“生成式搜索”能力,智能解答用户的搜索提问;2月7日,百度宣布将在3月份完成其ChatGPT产品的内测,面向公众开放,该项目名字为文心一言(ERNIEBot)百度指出,生成式AI和搜索引擎是互补关系而不是替代;据路透社报道,百度计划于3月将类似ChatGPT的AI对话服务作为独立应用推出,之后再逐步将其合并到搜索引擎中。
腾讯:
2月3日,腾讯公布一项人机对话专利,能够实现机器与用户之间自然且顺畅的沟通,图22:
腾讯发布相关专利,积极涉足ChatGPT领域,图21:
百度研发的ChatGPT产品“文心一言”将于3月份问世,资料来源:
中国经济网,ChatGPT生成式AI迎来拐点,商用落地前景可期AIGC创业公司大比拼,国外ChatGPT的优势遥遥领先并有望延续,01,国内对比国外AIGC创业公司的相关产品,国外ChatGPT的优势遥遥领先并有望延续表2:
国外创业公司涉及的AIGC产品领域十分丰富,相关应用日渐成熟,ChatGPT生成式AI迎来拐点,商用落地前景可期AI需要大量资金、人力投入和数据积累,国内市场中巨头更具优势,01,人工智能不仅需要巨大的投入,还需要庞大的用户数据基础,只有互联网巨头才有这个能力产出伟大的产品国外是微软、谷歌、亚马逊,而国内则是百度、腾讯等互联网巨头最具潜力;相比国外巨头,国内巨头正投入大量资金和人力成本快速发展人工智能技术,在没有硝烟的人工智能竞赛中,中国企业也将异军突起,资料来源:
腾讯AILAB官网,图24:
腾讯的AI产品在游戏场景中不断提升人机协作与内容生成能力,图23:
百度构建了云智共生的生态,助力AI发展,ChatGPT生成式AI迎来拐点,商用落地前景可期,请参阅附注免责声明22,02,技术路径:
基于人类反馈系统,ChatGPT助力跨模态AI生成应用,2022年,ChatGPT生成式AI迎来拐点,商用落地前景可期ChatGPT经历多类技术路线演化,逐步成熟与完善,02,GPT-1,GPT-2,GPT-3,Instruc-tGPT,ChatGPT,T5,BART,M2m-100,BigBird,BERT,RoBERTa,XLM,ALBERT,ELECTRA,Transfo-rmer,MachineLearning,基于规则的少量数据处理,1950年开始,1980年开始,1990年开始;2006年获得突破,2017年,2018年2019年,2020年,基于模板和规则的前深度学习阶段,根据一定范围的数据进行参数分类,开始模仿人脑进行大量数据的标记和训练,对人脑学习过程进行重点关注,进行海量数据学习训练,人类的反馈信息成为模型学习的内容,ChatGPT所能实现的人类意图,来自于机器学习、神经网络以及Transformer模型的多种技术模型积累图25:
ChatGPT经过多类技术积累,最终形成针对人类反馈信息学习的大规模预训练语言模型,神经网络CNNRNNGAN,ChatGPT生成式AI迎来拐点,商用落地前景可期ChatGPT模型在以往模型的基础上有了多方面的显著提升,02,更大的语料库ChatGPT使用了更大的语料库,以更好地捕捉人类语言的复杂性。
更高的准确性ChatGPT的训练效果比以往的大语言模型更好,因此它的准确性更高。
更加通用的预训练ChatGPT的预训练是通用的,因此它可以更好地适应各种不同的任务。
更强的自我学习能力ChatGPT具有自我学习能力,可以在不断接触新语料的过程中持续提高自己的性能。
图26:
ChatGPT是基于Transformer架构的语言模型,它在以往大语言模型(如ELMo和GPT-2)的基础上有诸多性能提升,更高的计算能力ChatGPT使用了更高的计算资源,以获得更好的训练效果。
更高的适应性ChatGPT具有较高的适应性,可以根据不同的场景和任务进行微调,以提高其在特定领域的效果。
ChatGPT生成式AI迎来拐点,商用落地前景可期Transformer的应用标志着基础模型时代的开始,02,转移学习(TransferLearning)使基础模型成为可能技术层面上,基础模型通过转移学习(TransferLearning)(Thrun1998)和规模(scale)得以实现。
转移学习的思想是将从一项任务中学习到的“知识”(例如,图像中的对象识别)应用于另一项任务(例如,视频中的活动识别)。
在深度学习中,预训练又是转移学习的主要方法:
在替代任务上训练模型(通常只是达到目的的一种手段),然后通过微调来适应感兴趣的下游任务。
转移学习(TransferLearning)使基础模型成为可能。
大规模化(scale)使基础模型更强大,因而GPT模型得以形成大规模需要三个要素:
(i)计算机硬件的改进例如,GPU吞吐量和内存在过去四年中增加了10倍;(ii)Transformer模型架构的开发(Vaswanietal.2017),该架构利用硬件的并行性来训练比以前更具表现力的模型;以及(iii)更多训练数据的可用性。
基于Transformer的序列建模方法现在应用于文本、图像、语音、表格数据、蛋白质序列、有机分子和强化学习等,这些例子的逐步形成使得使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟。
例如,GPT-3(Brownetal.2020)与GPT-2的15亿参数相比,GPT-3具有1750亿个参数,允许上下文学习,在上下文学习中,只需向下游任务提供提示(任务的自然语言描述),语言模型就可以适应下游任务,这是产生的一种新兴属性。
ChatGPT生成式AI迎来拐点,商用落地前景可期,Transformer奠定了生成式AI领域的游戏规则,02,图27:
Transformer模型架构如下所示Transformer摆脱了人工标注数据集的缺陷,模型在质量上更优、更易于并行化,所需训练时间明显更少Transformer通过成功地将其应用于具有大量和有限训练数据的分析,可以很好地推广到其他任务2017年,在AshishVaswaniet.al的论文AttentionIsAllYouNeed中,考虑到主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积神经网络,性能最好的模型被证明还是通过注意力机制(attentionmechanism)连接编码器和解码器,因而AttentionIsAllYouNeed中提出了一种新的简单架构Transformer,它完全基于注意力机制,完全不用重复和卷积,因而这些模型在质量上更优,同时更易于并行化,并且需要的训练时间明显更少。
Transformer出现以后,迅速取代了RNN系列变种,跻身主流模型架构基础。
(RNN缺陷正在于流水线式的顺序计算),ChatGPT生成式AI迎来拐点,商用落地前景可期Transformer实现的不同技术场景对应的不同技术原理,02,首先通过词嵌入(WordEmbedding)将字、词、句进行区分,然后基于特征评分、序列标注、分类模型等提取内容特征计算相关文本单元权重其次洗择相应的文本单元子集组成摘要候洗集,完成内容选择,最后针对字数要求等限定条件,对候选集的内容进行整理形成最终摘要,完成内容组织。
其细分路径又包含生成式文本摘要(AATS),即形成抽象认知并创造新词灵活概括,和抽取式文本摘要(EATS),即直接抽取原始素材并拼接成简单概要,摘要/标题生成,内容续写(例如文章续写),整段文本生成,产品特色,通过随机Mask(即遮挡)数据库文本中的词语或语段,让神经网络自主学习复原被遮挡部分,从而拥有“猜测”缺失内容的能力,产出预训练模型。
再通过大规模预训练模型理解上文或给定条件,从概率层面推测最符合要求的输出结果。
其本质是借助超大规模的训练参数猜测上下文的过程,文本风格主流思路是分离文本属性及文本内容迁移隐式方法即使用某类无监督学习学习或强化学习模式将文本属性及内容自动分离,常见的有生成对抗方式,即通过GAN实现目标属性和文本量性完全由不同的编码控制的状态。
对话式文本生成适用于智能客服等任务型和闲聊型机器人等非任务型人机交互场景,可分类为管道模式及端对端模式。
结构性的文本生成,首先通过注意力机制、多层感知器等系统进行语句内容预选,对数值、时间等类型数据进行推理。
增强数据间的结构信息。
其次通过Transformer等模式结合上下文进行推导,生成最终文本。
Transformer架构可分为自回归系列(例如GPT-3,偏好生成性任务)、双向Transformer+Mask的自编码系列(例如BERT,偏好自然语言理解)、Encoder-decoder架构(例如T5,使用双向/单向attention,偏好条件文本生成)图28:
Transformer典型技术场景下的原理介绍如下所述,28,ChatGPT生成式AI迎来拐点,商用落地前景可期GPT-1:
借助预训练,进行无监督训练和有监督微调,02,GPT-1模型基于Transformer解除了顺序关联和依赖性的前提,采用生成式模型方式,重点考虑了从原始文本中有效学习的能力,这对于减轻自然语言处理(NLP)中对监督学习的依赖至关重要GPT(GenerativePre-trainingTransformer)于2018年6月由OpenAI首次提出。
GPT模型考虑到在自然语言理解中有大量不同的任务,尽管大量的未标记文本语料库非常丰富,但用于学习这些特定任务的标记数据却很少,这使得经过区分训练的模型很难充分执行。
同时,大多数深度学习方法需要大量手动标记的数据,这限制了它们在许多缺少注释资源的领域的适用性。
在考虑以上局限性的前提下,GPT论文中证明,通过对未标记文本的不同语料库进行语言模型的生成性预训练,然后对每个特定任务进行区分性微调,可以实现这些任务上的巨大收益。
和之前方法不同,GPT在微调期间使用任务感知输入转换,以实现有效的传输,同时对模型架构的更改最小。
图29:
GPT-1模型的核心手段是预训练(Pre-training),结合形成了一种使用无监督预训练和有监督微调相结合的语言理解任务的“半监督方法”,请参阅附注免责声明29,ChatGPT生成式AI迎来拐点,商用落地前景可期GPT-1:
模型更简化、计算加速,更适合自然语言生成任务(NLG),02,VS,GPT相比于Transformer等模型进行了显著简化相比于Transformer,GPT训练了一个12层仅decoder的解码器(原Transformer模型中包含
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ChatGPT 商用 落地 前景 研究