2023年3月7日
01 02 03
01是什么?强在哪?
缺陷是?1.1ChatGPT
是具有划时代意义的自然语言处理模型
自然语言处理,是人工智能最基础的领域。“图灵测试”作为人工智能的理论开端,其所提出的验证标准,即在人与机器的问答中,如果人无法判断对方是人还是机器,则可判定机器具有人类智能。为了通过“图灵测试”,人类的探索大致可分为三个阶段:•模式匹配:(1960s-90s)设置关键词与答案之间的线性匹配关系,如果提问者触发关键词,则向其提供已经预设好的答案。•机器学习:(2000s)不再预先设置关键词与标准答案,而是向机器提供大量历史资料,由机器自主总结规律、进行会话。•神经网络:(2010s至今)属于机器学习的进化分支。原理上是通过建模来模拟人类大脑100亿个神经元的结构。在2017年以前,主流模型为循环神经网络模型(RNN),处理语言时需要严格遵循语言的先后顺序,无法并行计算且容易出现长句语义理解困难等问题;2017年,Transformer模型被提出,它是对句子中的所有单词进行计算,算出词与词之间的相关度,可以同时学习大量文本。ChatGPT(结尾的“T”即指Transformer),就是将这一模型从理论变为现实的划时代应用。
代表应用示例说明
Eliza(1966)
Alice(1995)
SmartChild(2001)
RNN
广泛应用于翻译软件
Transformer
ChatGPT
某些网站客服仍适用
这一模式。例如,将
“退货”设置为关键
词,绑定回答:
问:请问退货该如何
办理?
答:如确认退货,请
SmarterChild是最早
集成到即时通讯平台
点击“退货”链接。
的聊天机器人之一
(AOL、MSN等),
并迅速引起轰动,体
验与早期Siri接近。
RNN与Transformer模型的差别之一可以理解为:
对于同样一个英译中任务,A magazine is stuck in the gun
RNN模型需要遵循单词出现的先后顺序,逐词理解和计算,当“gun”出现后,
“magazine”才可以被准确理解为“弹夹”。如果句子太长,前后关联可能会失败。
Transformer模型关注的是每个单词与句子中其他单词的关系,可以同步进行多词、多
篇学习。同时,模型根据重要性和相关性程度,为词语赋予不同权重,使得重要词语能
够获得较高权重,如此则即使在长文本中,也不会将重要信息丢失。
ChatGPT是什么?的强算力与大数据
1.2ChatGPT
ChatGPT强在哪?
ChatGPT最终爆火,离不开算力和数据量的持续升级。
•模型实质:所谓语言模型,实质是对词语序列的概率相关性建模,即对方说完一句话或一段话后,判断大概率继续出现的内容是什么。既然是概率相关性,自然是“大力出奇迹”,样本越大,结果就越准确。同时,样本越大也自然就意味着对算力和资金的消耗,从初代GPT到最终爆火的ChatGPT,模型并未发生实质改变,改变的是持续增长的资源投入。
•算力支持:2019年,微软为OpenAI(GPT开发公司)打造了一台全球排名第五的超级计算机,拥有超过28.5万个CPU核心,1万个GPU,每个GPU服务器的网络连接能力为400Gb/s,支持GPT模型从初版的12个Transformer层进化到当下超过96个Transformer层,可以理解为有更多的Transformer层就能够在语言与语言之间构建更复杂的逻辑联系。
•数据规模:GPT模型处理的参数量从初代的亿级成长到今天的千亿级,预训练数据量从GB级上升到百TB级。
•融资情况:如此规模的算力与数据必然需要巨额资金的支持,近4年,OpenAI从微软总计获得融资110亿美元。
GPT-12018年6月12 1.17亿约5GB
GPT-22019年2月4815亿40GB
GPT-32020年5月961750亿45TB
ChatGPT2022年11月96+?千亿级?百TB级?1.2ChatGPT自主+
人类反馈强化训练
GPT通过自主训练充分发挥模型在效率上的优势,同时在ChatGPT版本中增加人类反馈强化机制,使其结果更贴近人类想法。•自主训练:GPT-1到GPT-3,采用的都是GPT自主训练模式。所谓自主训练,近似于人类考试中的“完形填空”题目,即把一个完整文本的一部分遮住,GPT基于已学习结果进行推测,再与正确答案进行拟合的过程。自主训练过程,配合Transformer
模型下强大的并行计算能力,能够高效完成超大数据量的学习和训练,这也是GPT表现优于其他模型的原因。
•人类反馈:GPT-3版本上线时,已经颇受业内人士认可,但并未出圈。ChatGPT此次能够破圈,与其采用对话聊天模式不无关系。相应地,在训练中增加人类反馈强化机制,对真实性、无害性和有用性进行评估。
ChatGPT强在哪?
春眠不觉晓,(____________ )
自主训练人类反馈
基于语料库自主学习,
可能会存在两个或多
个矛盾结果,模型无
法自行判断正误:
处处闻啼鸟
处处蚊子咬
对结果进行判断和调整:
√
×
训练语料
凭借超强算力,基于超大数据的学习和训练,ChatGPT 首次展示了强大的综合性语言材料生成能力。
•决策式AI :所谓决策式AI ,即根据对历史概率的归纳给出是或否的决策;而生成式AI 则需要给人力提供综合式的信息输出。•生成式AI :ChatGPT 是第一个功能如此强大的综合性文字生成式AI ,它能够准确理解提问者的问题,收集材料后转化为具有一定逻辑的信息输出,它还能够与提问者进行连续对话,根据增量信息给出更准确回答,这是前所未有的语言理解和表达能力。ChatGPT 强在哪?
逻辑知识信息数据
处理简答题处理选择题
VS
语言即为指令,ChatGPT 与其他领域人工智能技术的耦合,或将完全开启人工智能的新时代。
•ChatGPT+Whisper :OpenAI 已经通过提供ChatGPT 和Whisper 的收费API 接口,Whisper 是OpenAI 开发的语音处理工具,如将ChatGPT 和Whisper 功能进行耦合,可以得到无障碍的语言交流工具。所谓的语言,就是指令体系。随着指令体系的智能化,一切智能工具之间的边界或将逐渐模糊,人类与智能工具的关系或将彻底改变,AIGC (AI 生产内容)的时代将加速到来。
ChatGPT 强在哪?按技术场景划分
AIGC 内容分为
语言指令打破场景边界文本音频图像视频
虚拟人
游戏
策略跨模态
1.3ChatGPT
ChatGPT缺陷是?
ChatGPT风头一时无两,其潜在挑战在于语料库的范围及准确性、运营成本高及回答的道德风险等问题。
•语料来源:ChatGPT本质上仍是一个基于有限语料范围的概率归纳模型,它并不能对未知的事情像人类那样做常识性推演。与相关领域语料不够充分或完全未覆盖的领域,ChatGPT很可能会给出误导性内容;另外,微软计划将GPT-4与Bing搜索引擎深度耦合,搜索引擎庞杂的数据是否会对GPT-4的学习和训练带来负面干扰,仍需观察。
•运营成本:据报道,目前ChatGPT一次模型底座的训练需要500万美元的算力成本,在运营过程中需要大量的算力支持其训练和部署。GPT-4与Bing耦合后,满足来自搜索引擎的搜索需求需要更大量的资源投入,如不解决成本问题恐将制约未来发展。•道德风险:即使引入人类反馈,也不能100%避免ChatGPT故意提供虚假答案或回答带有攻击性的答案。
02机遇与挑战合规与成本
2.1机遇与挑战:主动革新?被?
该如何理解ChatGPT可能会带来的潜在变革?像很多人担心的那样,会有大量工作被替代掉吗?
•ChatGPT的,本质上是人类生产力工具的再一次重大升级。就像过去三百年先后有蒸汽机和电被发明出来一样,固然有被这些新的生产力工具替代掉的人,也有更多的人利用新的工具创造了更多的财富。驾驭或是被替代,只在一念之间。
银行也是一样,ChatGPT是一次机会,一次全面升级流程的机会;错过则将是挑战,看着其他机构提高效率的挑战。
从银行客服开始,无论是业务前台还是中后台,各项流程都有用ChatGPT重做一遍的潜力。
•银行客服:对于客服、催收等人工的替代,与ChatGPT关联最直接,银行应用最广泛,或将开启深度智能化阶段。
•业务前端:对于财富管理、小微客户、个人消费贷款等标准型产品,客户识别有望进一步细化,产品匹配有望更加精准。
•业务中端:诸如授信报告、审批报告、贷后管理报告等强格式性案头工作,如能以ChatGPT替代,可有效提高运营效率。
•科技基础:银行投入人工智能相关研究需要持续投入资源,特别是要投入支持模型运转及数据计算的算力资源。
2.1银行客服:与ChatGPT关联最直接,或将开启深度智能化阶段
机遇与挑战
诸如银行客服、不良催收等需要与客户进行沟通的内容可预期、重复规律性强的客户交流性工作,与ChatGPT的特点最为契合。•适用范围:银行客户、不良催收等。
•现有实践:①工商银行:2021年,利用数字人、智能问答、语音等交互技术,在客户服务前台、业务运营后台等领域加大应用“机器换人”,落地600+具有数字员工属性的智能应用场景。②平安银行:2022年上半年,AI平台新增模型1,080个,客服机器人场景每日对话量达60万次,问题解决率超90%。③招商银行:2022年上半年,AI智能客服、语音质检、智能审录、海螺RPA(机器人流程自动化)等共实现人力替代超过10,000人。
•未来前景:ChatGPT的成功为已经部署人工智能客服的银行提供了优化模型、提高智能化水平的方向。预计这一类业务都将开启深度使用更加成熟人工智能客户工具的阶段。
基于Transformer模型的架构、数据及训练方式升级
2.1
业务前端:客户识别及产品匹配有望进一步细化
机遇与挑战
诸如财富管理这类标准化程度较高的业务,可以利用ChatGPT 的数据分析能力,细分客户标签,提高产品推荐匹配度。•适用范围:财富管理、小微客户、个人消费贷款等标准化程度较高的业务。
•现有实践:①平安银行:2022年上半年,AI 客户经理累计上线超1,400个场景,上半年月均服务客户较2021年月均水平增长63.2%。②招商银行:2021年,招商银行推出智能财富助理“AI 小招”,基于大数据技术,通过知识沉淀与机器训练,实现更懂客户和产品,为客户提供收益查询、涨跌分析、市场热点解读、产品推荐、资产配置建议等财富管理综合服务。•未来前景:将客群更加细分,需求挖掘更加细化,产品需求匹配更加精准。
资产管理端
用户
产品
交易执行再平衡
风险管理
前台业务
后台业务
算法交易
自动实现最有动态
配置
智能风控
宣传稿件等
中台业务
品牌
业务ChatGPT 赋能
2.1
业务中端:案头工作AI
替代,业务运转效率有望提升
机遇与挑战
诸如授信报告、审批报告等业务中后段强格式性的案头工作,ChatGPT 潜在替代性较高。•适用范围:授信报告、审批报告、贷后管理报告等强格式性案头工作。•现有实践:基于语言生成技术的应用目前暂无先例,仍有待探索。
•未来前景:对于对公营销、授信审批等岗位人员来说,工作中有很大一块时间被消耗在诸如授信报告、审批报告、贷后管理报告这些格式性很强案头材料的撰写上,占用了本可产生更大价值的客户营销、调研等工作时间。ChatGPT 对于这一类主要可利用外部公开信息完成的强格式性报告具有天然的适配性,如果能够实现替代,展业效率预计能够实现较大幅度的提高。
50%
50%
营销案头
80%
20%
营销案头
机遇与挑战
正如ChatGPT成功的基础一样,银行投入相关研究需要持续投入资源,特别是要投入支持模型运转及数据计算的算力资源。
•适用范围:银行科技基础设施建设。
•现有实践:近几年我国主流商业银行大多推动了“系统上云”计划,相应地将原本的主机架构转为有若干服务器组成的云架构。
在这一转型中,大多数银行已经初步具备了算力基础,但要在人工智能领域做出突破性创新,仍需要在看清方向后对算力资源的持续投入。比较具有代表性的银行基础设施转型情况如下:①建设银行:率先实现“多专区多地域多技术栈多芯”布局,提供标准算力规模超20万台云服务器,整体规模和服务能力保持同业领先。②招商银行:上云后可支持的应用更多,单位算力成本大幅下降。以信用卡为例,招行信用卡业务上云后,业务成本约节省了60%,算力提升了10倍。
•未来前景:人工智能的突破需要强大基础设施支撑,仍需持续投入及探索。
机构科技基础设施建设情况
工商银行强化云平台推广实施,规模持续保持同业领先,强化分布式技术体系的日均服务调用量超过150 亿次
农业银行计算资源云化率达到91%
邮储银行零售端已完成190个系统的私有云平台部署
中信银行基础设施云化率达到99.7%
平安银行基础设施云化率和运维自动化率均超过90%
光大银行业务应用系统上云率接近90%2.2合规与成本:十字路口上的最大考验
在当前中美科技竞争大背景下,中国商业银行想要直接适用诸如ChatGPT这样高度依赖大数据支撑的技术,存在较大障碍和风险。从成本和收益的角度来看,无论是接入API还是自主开发类似功能,均存在成本与收益的不确定性。
•数据隐私:银行数据的特殊性决定了应用第三方技术的审慎性,应用技术须考虑本地化、私有化部署模式。
•系统稳定:银行不掌握ChatGPT核心技术,很难控制内容输出的正确性,也很难确保系统稳定运行,这在经营中存在很大风险。•成本投入:无论是接入ChatGPT,还是自主开发类似功能,均须较大成本投入,是否能够实现预期收益,存在不确定性。
2.2
数据隐私:银行数据的特殊性决定了应用第三方技术的审慎性
合规与成本
银行拥有的数据具有高度的隐私性和敏感性,直接应用开源第三方技术存在一定隐患。
•主要障碍:①客户隐私:使用ChatGPT 可能会涉及个人信息的收集、使用和披露,需要遵守相关法律法规的规定并获得客户的授权。②银行隐私:银行的数据不仅涉及客户隐私,还涉及自身的商业秘密,在使用开源第三方技术处理内部数据时,存在核心商业机密被泄露、酿成商业损失的隐患。③地缘风险:中美之间在技术安全、数据安全领域的争端愈演愈烈。今年2月,中方发布《美国的霸权霸道霸凌及其危害》报告,在此背景下,境内银行直接应用ChatGPT 前景并不乐观。
•实践案例:据报道,美国银行、花旗集团、德意志银行、高盛集团、富国银行等银行最近纷纷对使用ChatGPT 发布了禁令。微软和亚马逊因担心泄露机密信息,禁止公司员工向ChatGPT 分享敏感数据。埃森哲也警告员工不要将客户信息透露给ChatGPT 。•改进前景:同为人工智能技术服务商的科大讯飞,此前可以为客户提供本地化、私有化部署的产品,以解决技术应用和数据隐私之间的矛盾,或可为解决数据隐私与技术应用的矛盾提供思路,但地缘风险的影响仍有待观察。
本地化、私有化服务器
运行ChatGPT
本地数据、私有数据
训练
输出
数据来源:Bing。备注:Bing问答功能内核为GPT-3.5,与ChatGPT
具有相同内核。
合规与成本
银行不掌握ChatGPT核心技术,很难控制内容输出的正确性,也很难确保系统稳定运行,这在经营中存在很大风险。
•主要障碍:由于在经济金融活动中的关键地位,监管对银行科技系统有着较高要求。诸如ChatGPT这一类外接应用,银行不具备技术自主性,一方面无法保证其输出内容的准确性,另一方面也无法保证不对其他系统运行稳定性造成影响,存在较大风险。
另外,ChatGPT本质仍是依赖语料库的语言概率统计系统,对于语料库不涵盖的内容,极易给出错误答案。
•实践案例:据报道,2021年7月15日,某行突发系统故障,业务中断20多分钟,引发故障的原因可能与系统更新有关。
•改进前景:投产前需要对内容和系统稳定性进行周密验证。
与ChatGPT具有相同内核的Bing问答功能,
一本正经地给出了鸡兔同笼问题的错误答案。
正确答案应为:鸡80只,兔20只。
2.2成本投入:自主与合作,投入与收益之间的取舍
合规与成本
无论是接入ChatGPT,还是自主开发类似功能,均须较大成本投入,是否能够实现预期收益,存在不确定性。
•接入成本:目前ChatGPT API接口收费标准为每百万Tokens收费2.7美元(约18元人民币);同属OpenAI公司开发的Whisper 语音转文本工具API每分钟收费0.006美元(约人民币4分钱)。以建行为例,假设文本转语音成本与语音转文本成本相同,推算建行仅智能客服一项每年成本需要额外投入约3亿元。(不含开发成本和对ChatGPT模型进行专属训练的成本。)建行2021年人均薪酬为33.71万元,如智能客服实际可替代人力少于0人,则效能并不显著。
•自主成本:ChatGPT初始投入成本在8亿美元左右,每年电费约1825万美元。考虑到中美电费差异,国内开发与ChatGPT同等功能的资金投入约为人民币初始投入56亿+1.7亿电费/年。(不含开发人员薪酬和维护成本。)但在开发环境、人才能力种种因素制约下,自主开发的类似工具能够收获与ChatGPT的同等效果,存在极大不确定性。2023年3月5日,科技部王志刚在通道表示,ChatGPT是个大模型、大计算、很好的计算方法,同一种原理,但做的质量还是不一样的。
•未来前景:大多数银行已有AI技术储备,建议根据业界前沿修正技术方向,在既有成果上继续探索,达成成本与收益的平衡。
03科技人员科技投入
上市银行:科技人才与科技投入决定科技进步潜力
03
科技发展需要人力及财务资源的投入,综合当前科技水平及科技投入情况看,平安、招行、工行、建行科技进步潜力较强。
•科技人员:在披露科技人员数据的21家上市银行中,科技队伍总人数11.6万人,占从业总人数的5%。工行在绝对人数上一枝独秀达3.5万人以上,浦发、招行、工行科技人员占比最高。
•科技投入:在披露科技投入数据的24家上市银行中,科技投入总额近1600亿元,占营收总额的3%。国有四大行在科技投入绝对规模占有优势;长沙、平安、招行科技投入占营收比重最高。
机构科技人员
(人)占比科技投入
(亿元)占营收机构
科技人员
(人)占比
科技投入
(亿元)占营收
工行35,0008.06%260 2.76%民生3,062 5.08%45 2.67%农行9,059 1.99%205 2.85%北京1,2977.85%23 3.50%建行15,121 4.30%236 2.86%上海1,0557.99%19 3.30%中行12,873 4.20%186 3.07%南京634 4.66%13 3.27%交行4,539 5.03%88 3.25%长沙--9 4.40%邮储5,300 2.97%100 3.15%重庆--3 2.31%兴业3,303 5.28% 2.88%贵阳232 3.99%3 2.04%浦发6,42810.15%67 3.51%青岛220 4.83%00.36%招行10,0439.69%133 4.01%苏州--3 3.00%华夏--33 3.46%沪农484 6.28%9 3.65%中信4,2867.23%75 3.68%无锡71 4.36%1 2.01%光大2,361 5.11%58 3.79%港行127 5.26%--平安--74 4.36%渝农447 3.00%--
合计115,942 5.06%1578.7 3.13%