让机器读懂人类语言需要经过哪些历程?从模型建立到模型训练再到最终推出面向用户端的产品,每一步都经历了大规模实验。近期全网爆火的ChatGPT引发我们对于人工智能的关注,有人认为ChatGPT是数字时代的“珍妮纺纱机“,而AI可能会像工业革命和信息革命一样,引领人类走向下一个时代。
那么我们究竟是如何在智能化道路上越走越远,迈向大规模语言模型呢?本期财联社连线分享复旦大学计算机学院教授、博士生导师黄萱菁的观点,讲述语言模型发展的来龙去脉、大规模语言模型的应用将会给人类发展带来的改变,以下:
本文整理自复旦大学计算机学院教授、博士生导师黄萱菁教授在复旦管院主办的“我们︱WOMEN”2023复旦科创先锋论坛——迈向大规模语言模型主题演讲
编辑 | 李梦琪 蔺文颖
策划 | 郭楠
从理解模型到产生式模型,预训练语言的飞跃发展
近期ChatGPT的广泛传播使得大规模语言模型这一概念深入人心,不过究竟什么是大规模语言模型?我们首先要从语言模型入手,语言模型即语言的规律。无论汉语还是英语等语言,都需要从语法学起。
【资料图】
然而,现实中的语言并不会严格按照语法表达,光有语法人们依然难以捕捉客观世界纷繁复杂的语言现象,所以需要使用数学“武器”——概率在各种语言现象中间去寻找规律,这个概率模型被称为语言模型。由于句子在诸多情景下可能包含巨大的词汇量,导致传统概率语言模型所需的计算资源爆炸式增长。
2017年Transformer模型开始出现,这个模型是现有预训练模型的基石,也是大规模语言模型的基石。传统的预训练模型有两种思路,一种是以BERT为例的理解模型,另一种是以ChatGPT的前身GPT为代表的产生式模型。尽管部分从业者尝试将理解模型与产生式模型结合起来,但过去很长一段时间里,理解模型被使用得比较多。而产生式模型则需要更高的算力和更长的词符窗口,直到GPT-3出现之后,人们才意识到其如此强悍,而ChatGPT更是拥有了人类语言的能力。
我们生活在一个飞速变化的时代,几乎每周都有新的模型发布,而预训练+微调的方式是前ChatGPT时代的范式,诸如Google、Open AI这样的大厂将自身开发的大模型开源,供下游应用者在这些模型上进行参数的微调,以取得优异的表现。例如电影的正负面影评需要进行分类,仅用原来的GPT和BERT不能达到效果,需要人工标注一批任务相关的数据,对模型进行微调。这种预训练+微调的范式是过去三年内自然语言处理的主要范式。
在少样本场景下,一两条数据就能让大规模语言模型表现出相当不错的性能。然而,随着语言模型变大,一方面厂商会出于商业原因逐渐舍弃开源,比如OPenAI没有开放过GPT-3模型,只开放API接口,外部人员可以调用却拿不到内部细节;另一方面用户也缺乏足够的计算资源使用大模型。
基于此情况,利用大规模语言模型的涌现能力的新范式出现。涌现能力是当模型的参数规模未到达某个阙值时,其能力有限,当达到某一阙值,这个模型就会非常强大,目前这一参数规模的临界值被认为可能是650亿。早期GPT-3缺乏对用户需求的理解力,但目前的ChatGPT和我们实验室开发的MOSS,都拥有较强的理解用户需求的能力。
范式转变,一个模型打天下
自然语言处理共有七种范式:分类、匹配、序列标注、机器阅读理解、Seq2Seq、Seq2ASeq(序列到动作序列)及掩码语言模型范式。下图说明了这几年自然语言处理的范式迁移。
过去很多公司专注于一件任务做到极致,就能够占领相应细分领域。但时代不同了,我们可以通过一种模型统一所有的任务,一个模型就可以打天下。
统一模型基座,即可以用一种武器、一个方法统一所有的任务。
BERT针对自然语言理解,GPT是自然语言生成,复旦大学NLP实验室架在2021年提出新的语言模型——GPT,合并理解任务和生成任务。GPT是非对称的Transformer模型结构,该结构由一个Encoder(任务间共用)和两个Decoder(一个面向理解,一个面向生成)组成,同时具备理解和生成能力,在此基础上训练MOSS。
ChatGPT时代,如何使用语言模型方面有以下几个思路:
一是Text prompt(文本提示),即通过人工设计一些基于文本的指令,激活大模型面向特定下游任务的能力。但是手工设计偏向于特征工程问题,需要工程师依据既往经验不断调试,十分耗费精力。
二是In-context learning(情景学习),在GPT模型上展现了良好的表现,这种手段开辟了一个极具前景的方向,值得学界和工业界继续共同研究。
三是Data generation(数据生成),不同于直接使用大模型,这种手段是使用大模型生成一定量的数据,再利用生成的数据训练一个小体量的模型,以追求在小样本场景下的应用效果。
四是Feature-based-learning(特征学习),把预训练模型的输出作为一种 Feature,并结合标签,输入给一些特定的模型,使参数由标签空间向特征空间靠拢,极大地减轻了端侧优化的负担。
Black-box optimization(黑箱优化),让用户根据推理API的返回结果,使用基于搜索的无梯度优化方法自己优化指令。让ChatGPT等大模型返回更符合个性化需求的结果,需要用户调整指示,在指令上加一段向量修改,经过修改可以得到自适应的调整,获得更优的返回结果。
我们从来没有觉得与通用人工智能如此接近
ChatGPT的强大性能都是在现有的机器学习框架下可以解释的,今年国内外,除了OpenAI,会有很多机构(包括企业和大学),会在ChatGPT模型方面有大的突破。
ChatGPT曾经参加谷歌的招聘面试,拿到L3级入门工程师的offer。除了写代码之外,还测试让ChatGPT做中国的高考题,在客观题上进行了测试,其水平基本相当于500分左右的高考生。测试发现,ChatGPT更擅长文科,在历史、地理、政治上取得了不错的成绩,而生物、化学、物理等理科学科上表现不佳。
在肉眼可见的未来,善用AI的人将和不用AI的人在工作效率上会产生巨大差距,大家应多去使用和熟悉AI。在未来一段时间内,ChatGPT还不足以完全替代某一岗位,但将大大促进各个领域的生产效率,AI应该是帮助人类的工具,而不是取代人类的机器。
微软CEO萨提亚·纳德拉(Satya Nadella)接受媒体采访时曾表示,内燃机带来了廉价的动力,互联网技术减少了信息传递的成本,而ChatGPT会让信息的整合、转译、流通变得更加廉价。AI可能会像工业革命和信息革命一样,引领我们走向下一个时代。
标签:
凡注有"三板富 | 专注于新三板的第一垂直服务平台"或电头为"三板富 | 专注于新三板的第一垂直服务平台"的稿件,均为三板富 | 专注于新三板的第一垂直服务平台独家版权所有,未经许可不得转载或镜像;授权转载必须注明来源为"三板富 | 专注于新三板的第一垂直服务平台",并保留"三板富 | 专注于新三板的第一垂直服务平台"的电头。
- 复旦大学计算机学院教授黄萱菁:AI应该是帮助人类的工具,而不是取代人类的机器-当前看点
- 焦点快看:易纲:实施碳达峰碳中和需要“胡萝卜”加“大棒”
- 世界最资讯丨国信证券给予神火股份买入评级,资产质量夯实,煤铝业务迎来业绩释放期
- 焦点热文:十一部门:到2025年基本形成“百亿龙头、千亿集群、万亿产业”的地方特色食品发展格局
- 视点!雅生活:2022年收入为153.79亿元,归母净利跌20.3%至18.4亿
- 环球热头条丨黄光裕背水一战,国美没有救世主
- 华能渑池热电污泥直掺项目竣工投产
- 隅田川咖啡获数亿融资,核心高管传离职,林浩目标3年销售破10亿 快播报
- 2023年度漯河市脑卒中医疗质量控制第一次工作会议召开
- 苏能股份今日登陆沪市主板 构建“一体两翼”战略格局
- 天下秀:目前教育业务占比公司收入较小
- 午评:创业板指半日涨0.26%,半导体、通信、机场航运板块领涨 世界微资讯
- 全球快看点丨新消费出海日本,瞄准年轻女性
- 世界快报:中指快评 | 已有超30城调整首套房贷利率下限至4%以下
- 短讯!北方华创于武汉投资设立微电子装备新公司
- 海得控制:公司股票将于2023年3月29日开市时起复牌_全球焦点
- 环球头条:湖南:商品房预售资金监管机构暂停与渤海银行预售资金监管合作
- 深圳社保缴费18年,个人账户16.3万养老金能拿到多少?
- 华润万象生活:终止收购诸暨祥生全部股权及浙江祥生2%股权
- 午评:沪指跌0.04% CPO概念大涨
- 环球最资讯丨内江市灵活就业人员社保退休在哪里领退休金呢?
- 通讯!专家学者齐聚威海荣成研讨海带提取物奶牛饲料应用
- 职业年金单位和个人缴费比例是多少?职业年金领取方法有哪些?-每日热文
- 【世界时快讯】正高级职称,退休每月多少钱养老金?一文教你怎么计算
- 业绩暴增 信立泰拟分拆子公司上市 连续两年半数研发投入资本化
- 天下秀:公司旗下虹宇宙APP已上线爱慕品牌线上虚拟旗舰店 用户可以通过虚拟形象进行产品试穿
- 民生证券给予四维图新推荐评级 公司事件点评:大股东变更积极推进 自动驾驶龙头AI时代再起航_全球观天下
- 焦点快播:【小幅洗盘,尾盘继续干强势新票】
- 江龙船艇:接受国海证券研究所调研
- 快资讯丨花旗:国泰君安国际(1788.HK)股息金额超过全年利润,股息率达8%
- 半导体设备板块快速走高 华峰测控大涨9%-全球实时
- 天天微速讯:香港2月官方楼价指数环比上涨2.2%
- 港股异动 | 信达生物(01801)跌5% 22年总收入增长6.7% 经调整亏损扩大21.4%
- 东吴证券:废电池折扣系数持续回落 锂电回收盈利企稳提升 前沿热点
- 环球快资讯:燃石医学(BNR.US)Q4业绩会议纪要:OncoVue为整体业绩主要驱动 业务重心侧重于三甲医院
- 浙江退休人员每月养老金多少钱?浙江养老金计算方法2022-2023
- 余额宝提现到银行卡要手续费吗 银行卡提现为什么扣钱?
- 创业板开户条件是什么 创业板开户10万是资金还是股票好?
- 信用卡要交年费吗 信用卡刚办下来能注销吗?
- 实时焦点:武汉:地铁“工地围挡”变身“城市风景”
- 医保怎么交费微信怎么交 离职后社保自己交怎么办理?
- 【环球快播报】著名儿童文学作家安武林的故乡情
- 关注:青矩技术3月30日北交所申购:国内工程投资管控领域领军企业 以创新推动行业转型升级
- 焦点!人人乐:公司暂未涉及CHATGPT
- 重疾险到底有没有必要买 重疾险怎么买最划算?
- 当前简讯:我国自主研制四座氢燃料内燃机飞机验证机成功首飞
- 期钢震荡上涨,钢价跟随偏强运行 环球快看点
- 微速讯:部分地区环保管控结束 料今现锌价上涨
- 埃梯梯科能正式授权美国倍捷连接器亚洲工厂组装 D-Sub连接器系列 消息
- 溢价20倍收购资产、股价提前上涨……监管追问来了!
- 每日关注!登康口腔:深交所主板IPO网上发行中签号码共有68869个
- 【环球报资讯】力合报业大数据中心携手创新科 共建国产信创(粤港澳大湾区)智能算力应用示范中心
- 期货交易怎么玩 期货开户需要具备的条件是什么?
- 道恩股份:公司产品没有应用于光刻机-当前速看
- 海伦司犯了和海底捞一样的错|每日热文
- 凝心聚力 高标准推进磷化工产业园建设
- 剑桥科技录得4天3板_每日视点
- 全球即时:三部门:鼓励在沙漠、戈壁等区域建设大型光伏基地
- 观速讯丨十一部门:酒糟高值化综合利用等技术列为食品领域技术工艺及装备提升重点方向
- 首个披萨IPO,达美乐中国市值60亿港元
- 全球最新:中物联:一季度社会物流总额有望实现5%以上的增长水平
- 港股异动 | 雅生活服务(03319)跌8% 22年归母利润降20.3% 停派末期息并取消25%分红政策 天天快报
- 全球今日讯!阿里美股收涨逾14%,港股高开14.96%:市场看好组织变革带来价值重塑
- 复制瑞幸,陆正耀很急-全球焦点
- 2023滁州市社保缴费比例是多少 滁州市社保缴费标准一览表|环球观速讯
- 世界快资讯:万物云不如改名“故事会”
- 当前要闻:武汉社保每月交多少钱一个月 2022武汉社保缴费标准详情
- 货拉拉冲刺港交所上市:2022年订单4.28亿,已实现盈利 环球观察
- 2023年农村60岁以上老人,每月最多可领多少养老金? 环球快看点
- 天天热资讯!2023年枣庄市社保缴纳基数及缴费标准一览表
- 雪榕生物:拟投建年产19.5万吨雪榕食用菌现代农业产业园项目 总投资额6.5亿元以上-重点聚焦
- 社保意味着什么 个人社保怎么缴纳?
- 万物云“交卷”,营收突破300亿,股价不涨反跌为什么?
- 当前通讯!赞比亚下调部分木材价格,持续到2023年12月
- 恒信东方:控股股东孟宪民未及时披露减持计划 收深交所监管函 全球快播报
- 涛涛车业:公司目前电动车产品如电动滑板车、电动自行车、电动平衡车等均采用锂电池
- 华住公布全年业绩,坚定精益增长,聚焦主业发展-全球速看
- 全面注册制意味着什么 注册制对散户投资者的影响大吗?
- 热文:2023年个人社保缴费是多少钱一个月 个人社保缴费标准参照
- 大国品牌拉芳:让中国成分,成为民族品牌护城河
- 港股异动 | 中海石油化学(03983)涨超7% 全年净利润为16.43亿元同比增长9.68%-每日速讯
- 逆回购是指什么 逆回购怎么买比较划算?
- 【全球快播报】60多家房企在杭州摇一块地,绿城也卷不动了,今年拿地策略更下沉
- 购房贷款基准利率是多少 房贷基点是固定的吗为什么?
- 换手率高说明什么问题 换手率是多少时买入股票最佳?
- 海南热带雨林国家公园核心保护区生态搬迁工作基本完成_今日关注
- 银行活期利率是多少钱 活期银行存款计算怎么算?
- 做空是指什么 做空和卖空有什么区别?
- 一般车险都买哪些险种 车险怎么交最合适?
- 拿下超15亿元军品大单 江龙船艇的好日子来了?_当前视讯
- 精选!悦达投资:融资净买入504.37万元,融资余额2.08亿元(03-28)
- 特斯拉新款Model S/X开启中国市场交付_最资讯
- 洗牌临近!这个板块千万不要跟|每日看点
- 恒大难出ICU
- 当前视讯!赛微电子:武汉敏声为公司客户 同时双方合作共建了北京8英寸BAW滤波器联合产线
- 工信部等:到2025年“百亿龙头、千亿集群、万亿产业”的地方特色食品发展格局基本形成|焦点快看
- 蔚蓝锂芯:公司与中科海钠合作的钠离子电池研发相关合作按计划开展中 世界信息
- 货拉拉冲刺港交所:全球最大物流交易平台,2022年已实现盈利|当前聚焦
- 福建2023年丧葬补助金和抚恤金最新标准,退休人员去世能领多少?
- 跨境通3月29日快速回调 焦点速递
公司
- 职业年金单位和个人缴费比例是多少?职业年金领取方法有哪些?-每日热文
- 【世界时快讯】正高级职称,退休每月多少钱养老金?一文教你怎么计算
- 深圳社保缴费18年,个人账户16.3万养老金能拿到多少?
- 浙江退休人员每月养老金多少钱?浙江养老金计算方法2022-2023
- 环球最资讯丨内江市灵活就业人员社保退休在哪里领退休金呢?
- 2023滁州市社保缴费比例是多少 滁州市社保缴费标准一览表|环球观速讯
- 天天热资讯!2023年枣庄市社保缴纳基数及缴费标准一览表
- 2023年农村60岁以上老人,每月最多可领多少养老金? 环球快看点
- 当前要闻:武汉社保每月交多少钱一个月 2022武汉社保缴费标准详情
- 热文:2023年个人社保缴费是多少钱一个月 个人社保缴费标准参照
焦点
精彩推送
- 中超公司原总经理董铮接受监察调查
- 今日视点:百奥赛图财报解读:CRO业务枝繁叶茂,“千鼠万抗”遍地生花
- 抖音本地生活服务再扩容,推出商场频道
- 同花顺3月29日快速反弹 全球简讯
- 飞利浦太阳能一体式路灯上市|速递
- 当前播报:神州数码:2022年年度业绩说明会定于2023年4月3日举行
- 今日视点:第二十三届中国塑料博览会今日启幕
- 洪九果品应收账款占资产比例超9成,现金流“红灯”闪烁 | 年报季
- 三亚市育才生态区与海南橡胶保国分公司将合力打击盗伐毁坏橡胶林木行为
- 央行:今日将开展50亿元票据互换(CBS)操作 天天即时
- 京东白条怎么关闭有哪些方法 京东白条逾期如何协商延期还款?
- 2023年60岁以上农村老人可领取的补贴待遇有哪些?具体标准是多少?
- 【独家焦点】华菱精工3月29日打开涨停
- Keep更新招股书:2022年月活用户约3640万,营收同比增长超36%_环球快播
- 全球消息!艾默生阀门计划在武清扩大投资,重新整合研发生产基地
- 2023首批稀土总量控制指标出炉,“工业维生素”或将供不应求
- 江西2023年丧葬补助金和抚恤金最新标准是多少? 世界热点
- 手机上怎么查询个人征信报告 在借呗借了37次征信会花吗?
- 开评:三大股指集体高开 阿里概念涨幅居前-世界时讯
- 当前快看:极兔快递拿下TikTok
- 天天观天下!北京一季度办公楼带看量增长2倍,租金预期差距仍阻碍成交转化
- 3D打印阀门壳体首次成功应用
- 焦点快报!保障群众菜篮子米袋子消费安全
- 职工医保要交多少年可以享受终身 灵活就业和居民医保哪个划算?
- 2023年老人医保将有所调整,70岁以上老年人可领取300元退休金
- 2023年农村60岁以上老人,每月可以领取多少养老金?
- 医保究竟是如何报销的 报销和刷医保卡一回事吗为什么?
- 港股异动 | 大唐新能源(01798)涨超8% 全年净利润同比上升71.55%至34.85亿元-天天速递
- 神州泰岳:以人工智能为例 公司拥有的关键技术包括预训练语言模型、数据增强、算法的运用、语音合成等
- 每日焦点!元祖股份苦寻“第三极”
- Soul的路越走越窄
- 皖维高新03月28日被沪股通减持14.52万股 环球即时看
- 中信证券:今年机器人板块将迎来整体性机会_世界最资讯
- 天天热议:渤海装备获乌兹别克斯坦MTO项目全套滑阀订单
- 首都在线拟购智慧云港100%股权
- 中信建投:2023年初至今招标数据高景气 海风进入装机高增年 全球头条
- 世界资讯:两市融资余额增加15.66亿元,融资客交易活跃度下降,保持连续7日净买入
- 浪潮信息03月22日获深股通增持311.76万股
- 今日热搜:吴忠仪表近两个月球阀订单量同比增长近30%
- 医保卡和社保卡是同一张卡吗 离职之后社保缴纳自己要怎么交?
- 全球今亮点!金鑫生化举行2023年安全责任书签订仪式
- 【世界热闻】合纵科技03月28日被深股通减持80.24万股
- 泰山啤酒的“百亿梦”:红海竞争优势不足,售后难解还涉虚假宣传_观焦点
- 天天快资讯丨医保卡断缴费以后多久停用?断了以前白交了吗?
- 【环球聚看点】郑氏化工成功参展第二十二届全国农药交流会暨农化产品展览会
- 顺丰控股拟认购嘉里物流发行的7.8亿港元永续可转债 全球独家
- 焦点观察:新生儿医保能报销多少?需要什么材料?
- 世界观天下!2023年潍坊灵活就业社保基数是多少?交高好还是低好?
- 比亚迪股份(01211)拟与东莞市德瑞精密设备、佛山市格瑞芬新能源等公司就采购、销售等事宜发生关联交易 世界快播报
- 农村大病救助是什么?怎么报销的? 焦点消息
- 全球观点:微软(MSFT.US)GitHub裁掉几乎所有位于印度的工程师团队
- 世界快看点丨灵活就业社保交哪个档次合适?需要什么材料?
- 存货周转天数代表着什么 库存周转天数计算公式是什么?
- 世界看点:经济日报:提升平台经济价值
- 今日精选:微软举办峰会,大模型赋能网安行业,AI赋能成信息安全胜负手
- 养老保险领取金额怎么计算 怎样才能查到个人养老金账户金额?
- 社保断交有什么影响 社保断缴了几年怎么办?
- 公积金贷款买房怎么贷 银行贷款逾期了暂时还不上怎么办?
- 中钨高新03月28日被深股通减持97.88万股
- 可同时处理1000个警报 微软采用OpenAI技术抵御黑客!
- 【世界新视野】微信崩了?腾讯客服回应:系统故障 资金安全不受影响
- 世界快报:中金:多重指标指引 化工物流或即将迎来快速复苏
- 世界观天下!3月28日机构推荐91只个股
- 社保和养老基金持仓曝光 多股获长线资金“潜伏” 今日热闻
- 力量钻石03月28日获深股通增持42.69万股|世界滚动
- 保力新03月28日被深股通减持219.94万股-环球今头条
- 中兴通讯03月28日被深股通减持564.91万股-环球微动态
- 每日热文:生意社:山东苯乙烯市场行情上涨
- 中国联通03月28日获沪股通增持1803.1万股
- 【天天聚看点】先签合同再改条款细节?北京知名住宅项目橡树湾“强势”合同引众业主担忧
- 北向资金单日净买入3.54亿元,加仓计算机、电子、食品饮料
- 早间公告:顺丰控股拟认购嘉里物流发行的7.8亿港元永续可转债
- 全球今头条!租客怨,房东愁,自如何以上市?
- 当前讯息:嘉里物流(00636)拟发行7.8亿港元永续可换股证券 换股价溢价约44.17%
- 金猫银猫(01815)公布2022年业绩 公司拥有人应占亏损约2560万元 同比盈转亏-天天视讯
- 焦点关注:维港育马(08377.HK):2022年亏损净额2290万港元
- 全球微头条丨深挖改善性住房需求潜力
- 中天湖南集团(02433.HK)香港公开发售股份获认购10.62倍 最终发售价每股1.18港元
- 厦门调整限购政策 专家预测提振二季度市场交易行情|世界讯息
- 前两月新房销售量价齐升 湖北楼市迎来久违“小阳春” 世界今热点
- 科华生物终止重大资产重组:百亿仲裁案已了 但天隆公司剩余38%股权去向未定 世界实时
- 环球今热点:湘财股份:第三大股东英大集团拟减持不超2%公司股份
- 宁波能源:3月28日召开董事会会议
- 全球微资讯!TCL中环:2022年度净利润约68.19亿元 同比增加69.21%
- 追觅科技新推M13 Beta,与快手深度合作解决家庭清洁痛点
- 当前速读:中银证券给予晶澳科技买入评级
- 世界即时看!中指·每日要闻:江苏盐城支持人才或二孩及以上家庭住房消费,最高补贴6万元
- 东华软件:在人工智能计算领域 公司承建实施了大连人工智能计算中心、廊坊河北人工智能计算中心等项目 天天最新
- 第八批国采今日开标 共涉及40个大品种 肝素类药物首次纳入 全球微速讯
- 建业建荣(01556.HK):2022年纯利增长44%至9602.4万港元 末期息2仙及特别息1.3仙
- 天宜锂业2022年ROE惊人!净资产93亿、营业利润103亿
- 天天热点评!隔夜外盘:美股三大指数集体收跌 有色金属、石油股逆市上涨
- 当前看点!堃博医疗-B(02500.HK)拟共同参与合伙基金投资
- 当前资讯!恒指牛熊街货比(54.5:45.5)︱3月29日
- 龙虎榜 | 四川长虹今日涨6.5% 知名游资方新侠净买入6783.09万元
- 观天下!增收不增利 CRO龙头泰格医药6年来净利润首现下滑
- 全球热点!【图解年报】望变电气:2022年归母净利润同比大增67.3%,约为3亿元
- 租客怨,房东愁,自如何以上市? 世界即时看
- 环球头条:望变电气2022年度拟10派1.8元
- 流感“神药”奥司他韦缺货之谜:集采价买不到 加钱又有了?