八股速记1 大模型基础1.1 分词 分词：本质就是要覆盖所有语料的情况下，分得尽可能少，分得有语义 分词的粒度：词粒度、字符粒度、子词粒度 **Byte Pair Encoding(BPE)**：首先基于基础词表统计词出现的次数，然后再将两个连续的词或者字符，从高频到低频进行合并。词表大小是先增加后减少的。 Byte-level BPE(BBPE)：由于字符级别的分词，在日语或者汉字中的稀有词太多

常见激活函数Sigmoid Tanh ReLU SoftMax

快速进阶LLM/AI的必读系列本文引用自Github: https://github.com/InterviewReady/ai-engineering-resources/blob/main/README.md 有意向的小伙伴请去点个🌟吧！ Tokenization 分词处理 Byte-pair Encodinghttps://arxiv.org/pdf/1508.07909 Byt

3090 24G显卡基于WIKI中文，使用Qwen2架构预训练第一次预训练，有很多代码细节不太理解，所以对代码做了全注释。 使用Hugging Face和魔搭的教程参考：魔搭社区和Hugging Face使用攻略 首先引入依赖： 1pip install swanlab transformers datasets accelerate modelscope 1234567891011121314

魔搭社区和HuggingFace使用攻略魔搭社区123456789101112131415161718#安装环境pip install -r requirements# 创建模型文件夹# mkdir 文件名mkdir DeepSeek-R1-Distill-Qwen-7B# 从modelscope拉取模型文件到文件夹# modelscope download --model 【modelscope

在Linux服务器上进行文件传输百度网盘前置工作bypy中转默认储存在百度云盘-我的应用数据-bypy文件夹里面 12pip install bypybypy info 下载12345678//查看bypy文件夹里的文件bypy list//下载特定文件bypy downfile filename//下载文件夹下所有文件bypy downdir -v 上传1bypy upload [local

Hot100刷题【技巧】136. 只出现一次的数字给你一个 非空 整数数组 nums ，除了某个元素只出现一次以外，其余每个元素均出现两次。找出那个只出现了一次的元素。 你必须设计并实现线性时间复杂度的算法来解决此问题，且该算法只使用常量额外空间。 【思考】 数字异或自身，结果是0 【代码】 123456789class Solution { public int single

动态规划理论基础动态规划中的每一个状态一定是由上一个状态推导出来的。 动态规划五部曲： 确定dp数组（dp table）以及下标的含义 确定递推公式 dp数组如何初始化 确定遍历顺序 举例推导dp数组 动态规划如何debug： 确定状态转移公式（递推公式）是否有错？ 打印dp数组，dp数组是否和推导的一致？ 509. 斐波那契数斐波那契数 （通常用 F(n) 表示）形成的序列称为 斐波那契

回溯算法回溯算法思路回溯算法：本质是递归函数，是穷举的一种方法，在中间添加了每层的执行逻辑和剪枝策略。 回溯算法用于解决： 组合问题：N个数里面按一定规则找出k个数的集合，模板题。 切割问题：一个字符串按一定规则有几种切割方式，注意每次startIndex传递i+1即可，但切割不能排序。 子集问题：一个N个数的集合里有多少符合条件的子集，这是要收集所有节点的结果，每次递归都add进resul

图论图论其实就是深度搜索和广度搜索两部分，基本是这两个算法思路在图上的应用。图一般是许多个相互关联的节点组成，相当于多点多连接的链表或者二叉树。因此，遍历图一般就是上述两种思路。 深度优先搜索理论 DFS深度优先，顾名思义，先是一个方向探到底，再回头进行别的方向的探索。由于这种性质，深度优先dfs本质上就是回溯算法，回溯算法的终止条件，for剪枝等都可以运用在深度算法上。 797. 所有可能的路径