您当前的位置 :三板富> 商业 > 正文
复旦大学计算机学院教授黄萱菁:AI应该是帮助人类的工具,而不是取代人类的机器-当前看点
2023-03-29 12:56:03 来源:科创板日报 编辑:news2020

让机器读懂人类语言需要经过哪些历程?从模型建立到模型训练再到最终推出面向用户端的产品,每一步都经历了大规模实验。近期全网爆火的ChatGPT引发我们对于人工智能的关注,有人认为ChatGPT是数字时代的“珍妮纺纱机“,而AI可能会像工业革命和信息革命一样,引领人类走向下一个时代。

那么我们究竟是如何在智能化道路上越走越远,迈向大规模语言模型呢?本期财联社连线分享复旦大学计算机学院教授、博士生导师黄萱菁的观点,讲述语言模型发展的来龙去脉、大规模语言模型的应用将会给人类发展带来的改变,以下:

本文整理自复旦大学计算机学院教授、博士生导师黄萱菁教授在复旦管院主办的“我们︱WOMEN”2023复旦科创先锋论坛——迈向大规模语言模型主题演讲

编辑 | 李梦琪 蔺文颖

策划 | 郭楠

从理解模型到产生式模型,预训练语言的飞跃发展

近期ChatGPT的广泛传播使得大规模语言模型这一概念深入人心,不过究竟什么是大规模语言模型?我们首先要从语言模型入手,语言模型即语言的规律。无论汉语还是英语等语言,都需要从语法学起。


【资料图】

然而,现实中的语言并不会严格按照语法表达,光有语法人们依然难以捕捉客观世界纷繁复杂的语言现象,所以需要使用数学“武器”——概率在各种语言现象中间去寻找规律,这个概率模型被称为语言模型。由于句子在诸多情景下可能包含巨大的词汇量,导致传统概率语言模型所需的计算资源爆炸式增长。

2017年Transformer模型开始出现,这个模型是现有预训练模型的基石,也是大规模语言模型的基石。传统的预训练模型有两种思路,一种是以BERT为例的理解模型,另一种是以ChatGPT的前身GPT为代表的产生式模型。尽管部分从业者尝试将理解模型与产生式模型结合起来,但过去很长一段时间里,理解模型被使用得比较多。而产生式模型则需要更高的算力和更长的词符窗口,直到GPT-3出现之后,人们才意识到其如此强悍,而ChatGPT更是拥有了人类语言的能力。

我们生活在一个飞速变化的时代,几乎每周都有新的模型发布,而预训练+微调的方式是前ChatGPT时代的范式,诸如Google、Open AI这样的大厂将自身开发的大模型开源,供下游应用者在这些模型上进行参数的微调,以取得优异的表现。例如电影的正负面影评需要进行分类,仅用原来的GPT和BERT不能达到效果,需要人工标注一批任务相关的数据,对模型进行微调。这种预训练+微调的范式是过去三年内自然语言处理的主要范式。

在少样本场景下,一两条数据就能让大规模语言模型表现出相当不错的性能。然而,随着语言模型变大,一方面厂商会出于商业原因逐渐舍弃开源,比如OPenAI没有开放过GPT-3模型,只开放API接口,外部人员可以调用却拿不到内部细节;另一方面用户也缺乏足够的计算资源使用大模型。

基于此情况,利用大规模语言模型的涌现能力的新范式出现。涌现能力是当模型的参数规模未到达某个阙值时,其能力有限,当达到某一阙值,这个模型就会非常强大,目前这一参数规模的临界值被认为可能是650亿。早期GPT-3缺乏对用户需求的理解力,但目前的ChatGPT和我们实验室开发的MOSS,都拥有较强的理解用户需求的能力。

范式转变,一个模型打天下

自然语言处理共有七种范式:分类、匹配、序列标注、机器阅读理解、Seq2Seq、Seq2ASeq(序列到动作序列)及掩码语言模型范式。下图说明了这几年自然语言处理的范式迁移。

过去很多公司专注于一件任务做到极致,就能够占领相应细分领域。但时代不同了,我们可以通过一种模型统一所有的任务,一个模型就可以打天下。

统一模型基座,即可以用一种武器、一个方法统一所有的任务。

BERT针对自然语言理解,GPT是自然语言生成,复旦大学NLP实验室架在2021年提出新的语言模型——GPT,合并理解任务和生成任务。GPT是非对称的Transformer模型结构,该结构由一个Encoder(任务间共用)和两个Decoder(一个面向理解,一个面向生成)组成,同时具备理解和生成能力,在此基础上训练MOSS。

ChatGPT时代,如何使用语言模型方面有以下几个思路:

一是Text prompt(文本提示),即通过人工设计一些基于文本的指令,激活大模型面向特定下游任务的能力。但是手工设计偏向于特征工程问题,需要工程师依据既往经验不断调试,十分耗费精力。

二是In-context learning(情景学习),在GPT模型上展现了良好的表现,这种手段开辟了一个极具前景的方向,值得学界和工业界继续共同研究。

三是Data generation(数据生成),不同于直接使用大模型,这种手段是使用大模型生成一定量的数据,再利用生成的数据训练一个小体量的模型,以追求在小样本场景下的应用效果。

四是Feature-based-learning(特征学习),把预训练模型的输出作为一种 Feature,并结合标签,输入给一些特定的模型,使参数由标签空间向特征空间靠拢,极大地减轻了端侧优化的负担。

Black-box optimization(黑箱优化),让用户根据推理API的返回结果,使用基于搜索的无梯度优化方法自己优化指令。让ChatGPT等大模型返回更符合个性化需求的结果,需要用户调整指示,在指令上加一段向量修改,经过修改可以得到自适应的调整,获得更优的返回结果。

我们从来没有觉得与通用人工智能如此接近

ChatGPT的强大性能都是在现有的机器学习框架下可以解释的,今年国内外,除了OpenAI,会有很多机构(包括企业和大学),会在ChatGPT模型方面有大的突破。

ChatGPT曾经参加谷歌的招聘面试,拿到L3级入门工程师的offer。除了写代码之外,还测试让ChatGPT做中国的高考题,在客观题上进行了测试,其水平基本相当于500分左右的高考生。测试发现,ChatGPT更擅长文科,在历史、地理、政治上取得了不错的成绩,而生物、化学、物理等理科学科上表现不佳。

在肉眼可见的未来,善用AI的人将和不用AI的人在工作效率上会产生巨大差距,大家应多去使用和熟悉AI。在未来一段时间内,ChatGPT还不足以完全替代某一岗位,但将大大促进各个领域的生产效率,AI应该是帮助人类的工具,而不是取代人类的机器。

微软CEO萨提亚·纳德拉(Satya Nadella)接受媒体采访时曾表示,内燃机带来了廉价的动力,互联网技术减少了信息传递的成本,而ChatGPT会让信息的整合、转译、流通变得更加廉价。AI可能会像工业革命和信息革命一样,引领我们走向下一个时代。

标签:

相关阅读
版权和免责申明

凡注有"三板富 | 专注于新三板的第一垂直服务平台"或电头为"三板富 | 专注于新三板的第一垂直服务平台"的稿件,均为三板富 | 专注于新三板的第一垂直服务平台独家版权所有,未经许可不得转载或镜像;授权转载必须注明来源为"三板富 | 专注于新三板的第一垂直服务平台",并保留"三板富 | 专注于新三板的第一垂直服务平台"的电头。

最新热点

精彩推送

 

Copyright © 1999-2020 www.3bf.cc All Rights Reserved 
三板富投资网  版权所有 沪ICP备2020036824号-16联系邮箱:562 66 29@qq.com