2105.神经网络-注意力机制
我们的视觉系统每时每刻都在接收大量的感官输入， 这些感官输入远远超过了大脑能够完全处理的程度。 然而，并非所有刺激的影响都是相等的。 意识的聚集和专注使灵长类动物能够在复杂的视觉环境中将注意力引向感兴趣的物体。 只关注一小部分信息的能力对进化更加有意义，使人类得以生存和成功。
注意力提示此刻读者正在
...
markdown-数学公式
发表于
|
分类于
备忘录
更多符合可以再 https://www.latexlive.com/## 查阅获取。
符号
代码
描述
$\vec{V}$
向量 V
$\overrightarrow{V}$
向右向量 V
$\overleftarrow{V}$
向左向量 V
$\sim$
\$\sim\$
...
神经网络-循环神经网络RNN（Recurrent neural network）
发表于
|
分类于
neural_network
前面的介绍，我们遇到过两种类型的数据：表格数据和图像数据。 对于图像数据，我们设计了专门的卷积神经网络架构来为这类特殊的数据结构建模。我们在处理这俩各种类型时，这两类数据本身是无序的（顺序不会影响对数据的理解）。
最重要的是，到目前为止我们默认数据都来自于某种分布，并且所有样本都是独立同分布的 （i
...
神经网络-卷积神经网络-CNN（Convolutional Neural Networks）
发表于
|
分类于
neural_network
多层感知机十分适合处理表格数据，其中行对应样本，列对应特征。 对于表格数据，我们寻找的模式可能涉及特征之间的交互，但是我们不能预先假设任何与特征交互相关的先验结构。此时，多层感知机可能是最好的选择，然而对于高维感知数据，这种缺少结构的网络可能会变得不实用。例如，在之前猫狗分类的例子中：假设我们有一个
...
Software-CNV检测-ECOLE
发表于
|
分类于
Tobeinsert
官方资料ECOLE: Learning to call copy number variants on whole exome sequencing dataECOLE github
ECOLE 是一款基于 深度学习 进行 全外显子测序(WES)数据中精确检测拷贝数变异(CNVs) 的方法。该方法是
...
神经网络-深度学习
发表于
|
分类于
neural_network
前文介绍了多层感知机，而多层感知机，其实是神经网络的一种特殊情况（只有一层隐藏层 & 全链接），而当我们引入多层隐藏层进行分析时，就是常说的深度学习，其中的深度，就是指的有多个隐藏层。整体框架结构上，深度学习和多层感知机并没有基础结构件的区别，但是就像我们代码为了提高代码的复用率一样，当我们
...
2101.神经网络-算法-多层感知机
发表于
|
分类于
neural_network
在大模型训练中，数据格式的选择对于计算资源的利用、内存占用和训练速度具有重要意义。合适的数据格式可以提高模型的性能，减少内存占用，并加速训练过程。数据类型在机器学习中被称为精度。
IEEE 754-2008标准定义了浮点数算术的表示和操作，包括单精度（FP32） 和 双精度（FP64）浮点数、以及新
...
2101.神经网络-算法-多层感知机
发表于
|
分类于
neural_network
激活函数我们引入神经网络，引入隐藏层，实际是为了解决线性模型不能解决的复杂问题，实现非线性变换。使得神经网络能够学习和逼近复杂的函数映射。而这里实现非线性变换，就是依靠激活函数来实现的，对特定的输入使用激活函数进行处理，形成隐藏层数据。激活函数接收神经元的加权输入和偏置之和作为输入，然后输出一个经过
...
2101.神经网络-算法-多层感知机
发表于
|
分类于
neural_network
多层感知器(MLP)是一种前馈人工神经网络，它拥有输入层、隐藏层（至少1层）和输出层。如果隐藏层超过1个，则又称为深度人工神经网络。多层感知机（Multilayer Perceptron，MLP）是神经网络（Neural Network）的一种特殊类型。
MLP是一种前馈神经网络，它由至少三层节点
...