猫先生官方网站语言模型已步入大模型发展阶段,国内大模型研发应用热潮持续高涨,科技大厂在模型猫先生官方网站、算力、平台、应用进行了四位一体的全面布局,如阿里的“通义大模型+飞天智算平台+魔塔社区+行业应用”、百度的“文心大模型+昆仑芯+飞桨平台+行业应用”、腾讯的“混元大模型+HCC 算力集群+太极机器学习平台+行业应用”、字节的“视觉语言模型+火山高速训练引擎+火山机器学习平台+行业应用”。大模型落地将形成API、PaaS 和MaaS 三种收费模式,目前仍以内部应用为主,后续主要向B 端企业拓展服务,预计少数企业将在C 端市场形成规模。
语言建模经过统计语言模型、神经语言模型、预训练语言模型,已经全面迈入百亿、千亿参数规模的大语言模型阶段。大语言模型具备优秀的上下文学习能力、上下文学习能力、可观的知识容量、优秀的泛化性和复杂推理能力。大模型研究存在Google 的Bert 模式、OpenAI 的GPT 模式和国内的混合模式三条技术线,以ChatGPT 为主导GPT 模式目前已经占据主流。目前,国内已有至少19 家企业及科研院所参与人工智能大模型训练,主要分为大型科技公司、科研院所和初创科技团队三类。国际对比来看,目前美国领跑,中国跟跑,但差距不断缩小。在实践中,预训练大模型在基于海量数据的自监督学习阶段完成了“通识”教育,再借助“预训练+精调”等模式,在共享参数的情况下,根据具体应用场景的特性,用少量数据进行相应微调,即可高水平完成任务。
互联网大厂在“模型、算力、平台和应用”进行四位一体布局。阿里“通义大模型+飞天智算平台+魔塔社区+行业应用”:在模型层,阿里达摩院主导大模型研究,发布通义大模型,包括通义M6 多模态模型、通义AliceMind 自然语言处理模型、通义视觉计算机视觉模型。在算力层,阿里云推出全栈智能计算解决方案“飞天智算平台”,并启动两座超大规模智算中心。此外,阿里不仅拥有最多的英伟达A100 芯片,还拥有自研芯片含光800、倚天710 芯片,共同为人工智能大模型提供算力。在平台层,阿里推出AI 开源社区“魔搭”,旨在打造下一代“模型即服务”的共享平台,整合业界多方模型提供者,为开发者提供预训练基础模型和API接口。在应用层,阿里已宣布旗下所有产品未来将全面改造并接入通义大模型,包括天猫、钉钉、高德地图、淘宝、优酷、盒马等。
百度“文心大模型+昆仑芯+飞桨平台+行业应用”:在模型层,百度文心大模型构建了“基础+任务+行业”三级模型;在算力层,算力基础设施均由百度智算中心支持,昆仑芯二代已广泛应用在文心大模型,预计昆仑芯三代将于2024 年初量产;在平台层猫先生官方网站,百度飞桨PaddlePaddle 是其自主研发的深度学习平台,文心大模型通过百度飞桨平台,实现模型训练、推理部署和场景应用;在应用层,文心大模型将应用在电力、燃气、金融、生物医药、航天、传媒、城市、影视、制造、社科等多个行业。
腾讯“混元大模型+HCC 算力集群+太极机器学习平台+行业应用”:在模型层,2022 年 4 月,腾讯对外披露了混元大模型,涉及自然语言处理、计算机视觉、多模态等多个领域。腾讯自研的太极机器学习平台为混元大模型提供算力,可支持 10TB 级模型训练、TB 级模型推理计算能力等。2023 年 3 月,腾讯对标 ChatGPT已成立“混元助手”战略级项目组;在算力层,2023 年4 月14 日,腾讯云发布新一代HCC 高性能计算集群,其采用最新一代星星海自研服务器,搭载NVIDIA H800 Tensor Core GPU,并基于自研网络、存储架构,带来3.2T 超高互联带宽 TB 级吞吐能力和千万级IOPS;在平台层,腾讯自研搭建了业界一流的太极机器学习平台,致力于让用户更加聚焦业务AI 问题解决和应用,一站式的解决算法工程师在AI 应用过程中特征处理,模型训练,模型服务等工程问题;在应用层,混元大模型已成功应用于腾讯广告,将全面接入微信端、QQ 端和王者荣耀、英雄联盟游戏端,提供智能聊天、内容推荐、情感分析、故事生成、角色塑造等功能,以及腾讯混元大模型有望将在游戏、社交、金融、教育、医疗等领域发展生态。
字节“视觉语言模型+火山高速训练引擎+火山机器学习平台+行业应用”:在模型层,字节在AI 方面的积累主要集中在机器翻译、智能语音、视频图像和多模态四个领领域。字节跳动的研究成果包括非自回归模型DA-Transformer、端到端语音到文本翻译模型 ConST、多颗粒度的视觉语言模型X-VLM、图片和文本统一生成模型DaVinci 等;在算力层,火山引擎在春季火山引擎FORCE 原动力大会上正式发布自研DPU 等系列云产品,并正式推出智能推荐-高速训练引擎,支持100GB 至10TB 以上超大模型的高效训练;在平台层,火山引擎在2023 春季FORCE 原动力大会发布了机器学习平台升级版,在数据管理、资源管理、流程和模型三大领域具备核心优势;在应用层,火山引擎的AI 场景产品主要包括智能创作、智能体验以及智能营销,目前已服务数百家客户,分别在视频创作、互动创作、直播短视频构建中推动客户业务增长。此外,字节在内部的相关产品持续引入AI,包括海绵乐队、飞书My AI 等。
商业应用尚处早期,以API、PaaS、MaaS 三种模式为主。当前全球大模型产业落地仍处于早期探索阶段,需要与下游场景企业合作建立大模型商业模式,但下游企业目前对于大模型的理解相对有限,所需要的资源支撑比较薄弱。总的来说,大模型落地可以通过API 接口调用付费、或者大厂提供落地所需的开发工具、云平台、服务等的PaaS 模式、更进一步是直接提供相关定制好的模型调用的MaaS 模式。