神经网络的种类

目前已有的五大特征提取器： MLP、CNN、RNN、Transformer、GNN、GAN

1. MLP¶

MLP：Multi Layer Perseption：多层感知器。主要用在神经网络中。

参考：

神经网络1：多层感知器-MLP

1.1 Standard¶

2. CNN¶

CNN：Convolutional Neural Network：卷积神经网络。主要用在CV（计算机视觉）中。

参考：CNN经典网络模型。

2.1 Standard¶

2.2 U-Net¶

U-Net主要用在Semantic Segmentation（语义分割）上。

参考：图像分割经典算法简介

2.3 SORT¶

SORT：Simple Online and Realtime Tracking：简单的在线和实时跟踪。主要用在多目标跟踪任务。

参考：多目标跟踪（MOT）经典算法简介

3. RNN¶

RNN：Recurrent Neural Network：递归神经网络。主要用在NLP（自然语言处理）中。

3.1 Standard¶

3.2 LSTM¶

LSTM：Long Short-term Memory Networks：长短期记忆网络

4. Transformer¶

主要用在NLP中，现在在CV领域，也在快速发展，目前最火的肯定是GPT，主要用来做内容生成。

4.1 Standard¶

4.2 BERT¶

作为NLP多个任务的Pre-training Model，相当于CNN之于CV。不过由于其只使用了Transformer中编码器模块，所以对机器翻译任务不那么胜任。

4.3 GPT¶

GPT：Generative Pre-trained Transformer：生成式预训练Transformer。主要用在文本生成，图像生成，机器聊天，机器问答等领域。

4.4 ViT¶

ViT：Vision Transformer：视觉Transformer。将Transformer模型用在视觉任务上。

5. Others¶

5.1 GNN¶

GNN：Graph Neural Networks：图神经网络。通过将输入数据构建成图的形式，来发现数据之间的关系。主要用在抗菌发现、物理模拟、假新闻检测、交通预测和推荐系统等方面。由于图这种数据类型相比于图像、语言更加复杂，因此目前在CV和NLP领域用的还不是很多，但最近几年有不断热门的趋势。
参考：A Gentle Introduction to Graph Neural Networks

5.2 GAN¶

GAN：Generative Adversarial Nets：生成对抗网络。严格来说，GAN是一个生成对抗Framework，和MOT（多目标跟踪）中SORT框架类似。