首页 > 其他分享 >基于 Transformer 的大语言模型

基于 Transformer 的大语言模型

时间:2024-06-11 19:29:04浏览次数:12  
标签:基于 语言 模型 Transformer 模块 输入 MHSA

语言建模作为语言模型(LMs)的基本功能,涉及对单词序列的建模以及预测后续单词的分布。

近年来,研究人员发现,扩大语言模型的规模不仅增强了它们的语言建模能力,而且还产生了处理传统NLP任务之外更复杂任务的新兴能力。

这些扩大规模的语言模型被称为大型语言模型(LLMs)。

主流的LLMs基于Transformer架构设计

具体来说,一个典型的Transformer架构由多个堆叠的Transformer块组成。

图片

通常,一个Transformer块由一个多头自注意力(MHSA)模块、一个前馈网络(FFN)和一个层归一化(LN)操作组成。

对于每个块,它接收前一个块的输出特征作为输入,并通过每个子模块传递特征以获得输出。

特别地,在第一个块之前,使用分词器将原始输入句子转换为一系列标记,随后的嵌入层用于将标记转换为输入特征。

然后,将额外的位置嵌入添加到输入特征中,以编码每个输入标记的顺序。

Transformer架构的核心概念是自注意力机制,它在MHSA模块中采用。具体来说,表示输入特征为X = [x1, x2, ..., xn],MHSA模块对它们进行线性投影并获得一组查询Q、键K和值V,如公式所示:

图片

其中WQi、WKi和WVi分别是第i个头的投影矩阵。

然后自注意力操作应用于每组(Qi, Ki, Vi)并得到第i个头的特征Zi,如公式所示:

图片

其中dk是查询(键)的维度。

注意,自注意力操作包含矩阵乘法操作,其计算复杂度是对输入长度的二次方。最后,MHSA模块将所有注意力头的特征连接起来,并通过线性投影形成其输出Z,如公式所示:

图片

其中WO是投影矩阵。

可以看到,自注意力机制允许模型识别不同输入部分的重要性,无论距离如何,并且可以捕捉输入句子中的长距离依赖和复杂关系。

Transformer块中的另一个重要模块是FFN。

通常,FFN位于MHSA模块之后,由两个带有非线性激活函数的线性变换层组成。它接收MHSA模块的输出特征X,如公式所示:

图片

其中W1和W2表示两个线性层的权重矩阵,σ(·)表示激活函数。

本文翻译自清华大学最新成果论文:《A Survey on Efficient Inference for Large Language Models 》,https://arxiv.org/pdf/2404.14294。


更多关于大语言模型的介绍,可以查看《Transformer最后一公里》专栏。

标签:基于,语言,模型,Transformer,模块,输入,MHSA
From: https://blog.csdn.net/dongtuoc/article/details/139606948

相关文章

  • 基于STM32开发的智能鱼缸控制系统
    目录引言环境准备智能鱼缸控制系统基础代码实现:实现智能鱼缸控制系统4.1水温传感器数据读取4.2水泵与加热器控制4.3水位传感器数据读取4.4用户界面与数据可视化应用场景:水族箱管理与优化问题解决方案与优化收尾与总结1.引言智能鱼缸控制系统在维护水族箱生态平衡和......
  • 基于SpringBoot的刷题小程序的设计与实现+附源码+数据库
    摘要:随着互联网技术的快速发展,在线教育平台逐渐成为学生学习和复习的重要工具。为了提高用户在学习过程中的效率和体验,本文提出并实现了一个基于SpringBoot的刷题小程序。该小程序旨在通过高效的题库管理、智能化的刷题功能以及友好的用户界面,帮助用户更好地进行知识点的巩......
  • 基于分类算法的学习失败预警(机器学习课程期末设计报告)
    目录一.课设背景1.1设计要求1.2项目概述二.实验环境三.设计原理3.1理论知识3.1.1学习失败风险预测流程3.1.2数据预处理3.1.2.1缺失值处理(空值填充)3.1.2.2数据平衡3.1.2.3标准化处理3.1.3构建模型进行训练3.1.3.1网格搜索3.1.3.2随机森林算法3.1.2.3......
  • 基于.Net 框架实现WebSocket 简单通信——服务端
    新建项目创建一个.Net框架的控制台程序。添加包 项目→管理NuGet程序包打开包管理窗口,添加SuperWebSocket程序包。实现项目→添加类打开添加新项窗口,添加一个C#类。启动监听 WebSocketServersocket=newWebSocketServer();Console.WriteLine("IP:"+ip......
  • 3D模型、轻量化、格式转换、可视化、数字孪生引擎等免费用!!
    老子云3D可视化快速开发平台,集云压缩、云烘焙、云存储云展示于一体,使3D模型资源自动输出至移动端PC端、Web端,能在多设备、全平台进行展示和交互,是全球领先、自主可控的自动化3D云引擎。老子云3D可视化与模型优化服务平台https://www.laozicloud.com/平台架构平台特性1......
  • 基于springboot+vue.js+uniapp小程序的社区团购系统附带文章源码部署视频讲解等
    文章目录前言详细视频演示具体实现截图技术栈后端框架SpringBoot前端框架Vue持久层框架MyBaits系统测试系统测试目的系统功能测试系统测试结论为什么选择我代码参考数据库参考源码获取前言......
  • RT-thread 运维方法选择(基于开源组件)
    方案选择,需要支持4G和WIFI模组链接工具包优点缺点备注rtty1.功能全,兼容linux1.需要搭建一个服务器2.无成熟软件包支持嵌入式设备 webclient1.兼容性好,代码少。1.需要搭建一个服务器2.基于客户端做业务 webnet1.官方支持,兼容性好。1.需......
  • 基于Vue+Node.js的高校学业预警系统+10551(免费领源码)可做计算机毕业设计JAVA、PHP、爬
    NodeJS高校学业预警系统摘 要随着科学技术的飞速发展,社会的方方面面、各行各业都在努力与现代的先进技术接轨,通过科技手段来提高自身的优势,教育行业当然也不能排除在外。高校学业预警系统是以实际运用为开发背景,运用软件工程开发方法,采用Node.JS技术构建的一个管理系统。......
  • 大模型时代:普通人如何抓住AI带来的财富机会
    随着科技的飞速发展,我们已经进入了大模型时代。大型人工智能模型正在改变着各个行业,从医疗、教育到金融,这些技术的影响无处不在。那么,作为普通人,我们应该如何抓住这些技术带来的财富机会呢?首先,我们需要了解大模型的发展现状。大模型是指使用大量数据训练出的大型人工智能......
  • 大模型时代:普通人如何获利?
    随着科技的飞速发展,我们正身处一个大数据和人工智能的时代。特别是近年来,大模型技术取得了重大突破,不仅改变了科技行业的格局,也为普通人带来了前所未有的机遇。本文将探讨大模型的发展现状,以及这些技术如何为普通人创造收益的机会。一、大模型时代的发展现状大模型,顾名思......