pytorch-损失函数
Loss Function pytorch中常用的损失函数
损失函数
名称
适用场景
说明
torch.nn.MSELoss()
均方误差损失
回归
取预测值和真实值的绝对误差的平均数 $$ℓ(x,y) = {1 \over N} \sum_{n}^{N}|x_n−y_n|
...
机器学习-算法-集成学习
发表于
|
分类于
机器学习
集成学习是指使用多种兼容的学习算法/模型来执行单个任务的技术，目的是为了得到更佳的预测表现。集成学习的主要方法可归类为三大类： 堆叠（Stacking）、提升（Boosting） 和 装袋（Bagging/bootstrapaggregating）。其中最流行的方法包括随机森林、
...
大模型-应用-加载数据
发表于
|
分类于
LLM
在我们进行大模型的训练或微调的过程中，第一步就是要准备自己的训练数据集并导入到代码中。而 datasets 是huggingface开发的一个数据集python库，可以很方便的从Hugging Face Hub里下载数据，也可很方便的从本地加载数据集，本文主要对load_dataset方法的使用进行
...
2105.神经网络-Transformer
发表于
|
分类于
neural_network
论文原文：Attention Is All You Need
Transformer之前我们比较了卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）。值得注意的是，自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此，使用自注意力来设计深度架构是很有吸引
...
Python-包-增效-pipreqs
发表于
|
分类于
Tobeinsert
我们都知道获取环境中的所有依赖包命令：
1pip freeze > ./requirements.txt
但是，如果我们仅仅想获取当前项目中的安装包，我们可以使用pipreqs工具安装：
1pip install pipreqs
在项目根目录下运行如下命令：
1pipreqs ./
执行完上述
...
2105.神经网络-注意力机制
发表于
|
分类于
neural_network
我们的视觉系统每时每刻都在接收大量的感官输入， 这些感官输入远远超过了大脑能够完全处理的程度。 然而，并非所有刺激的影响都是相等的。 意识的聚集和专注使灵长类动物能够在复杂的视觉环境中将注意力引向感兴趣的物体。 只关注一小部分信息的能力对进化更加有意义，使人类得以生存和成功。
注意力提示此刻读者正在
...
markdown-数学公式
发表于
|
分类于
备忘录
更多符合可以再 https://www.latexlive.com/## 查阅获取。
符号
代码
描述
$\vec{V}$
向量 V
$\overrightarrow{V}$
向右向量 V
$\overleftarrow{V}$
向左向量 V
$\sim$
$\sim$
...
神经网络-循环神经网络RNN（Recurrent neural network）
发表于
|
分类于
neural_network
前面的介绍，我们遇到过两种类型的数据：表格数据和图像数据。 对于图像数据，我们设计了专门的卷积神经网络架构来为这类特殊的数据结构建模。我们在处理这俩各种类型时，这两类数据本身是无序的（顺序不会影响对数据的理解）。最重要的是，到目前为止我们默认数据都来自于某种分布，并且所有样本都是独立同分布的 （in
...
神经网络-卷积神经网络-CNN（Convolutional Neural Networks）
发表于
|
分类于
neural_network
多层感知机十分适合处理表格数据，其中行对应样本，列对应特征。 对于表格数据，我们寻找的模式可能涉及特征之间的交互，但是我们不能预先假设任何与特征交互相关的先验结构。此时，多层感知机可能是最好的选择，然而对于高维感知数据，这种缺少结构的网络可能会变得不实用。例如，在之前猫狗分类的例子中：假设我们有一个
...