机器学习

归一化那些事为什么要归一化？在对神经网络训练的过程中，未归一化的数据可能会导致陡峭的优化曲面，导致其在优化参数的过程中对学习率敏感，从而难以收敛，也就难以训练。举个简单的例子，如果数据有两个特征维度，其中一个其值在 0-1 之间，另一个在 0-10000 之间，为了优化第一个特征，显然其学习率应该低

图神经网络：GCNGCN 基本原理在机器学习中，我们常用 MLP、CNN、RNN 等网络来对数据进行特征学习，这些网络对数据都有一个要求，那就是维度是确定的、是规则的，否则就无法进行学习。也就是说，这些网络的数据是在欧氏空间中的，它是一种向量空间，存在距离、角度等几何意义。但是图结构是一种非欧结构，

什么是 Attention？通常很多教程或教材会告诉你，Attention 就是一种注意力，它可以让你关注更应该关注的，而忽略那些不应该关注的，Attention 通常代表某种兴趣点或关联性，Attention 机制使得模型会更关注有关联性的特征。但是这种表达非常抽象，即使是用了比喻的方法，仍然不好

循环神经网络 RNN前言要看懂这篇文章需要你对机器学习有基本的了解，至少了解 MLP 的原理，本文并不是零基础文章。时序数据与模型时序数据指的是一系列带有时序关系的数据，例如一段文本，先出现哪个字后出现哪个字是有时序关系的，字词顺序颠倒会导致意义不同，时序数据指的就是这一类数据点前后存在相关性的数据