transformer优缺点

问题描述

精选答案

优点

1. 可以直接计算每个词之间的相关性，不需要通过隐藏层传递

2. 可以并行计算，可以充分利用GPU资源

缺点

1. 局部信息的获取不如RNN和CNN强

2. 位置信息编码存在问题

在使用词向量的过程中，会做如下假设：对词向量做线性变换，其语义可以在很大程度上得以保留，也就是说词向量保存了词语的语言学信息（词性、语义）。然而，位置编码在语义空间中并不具有这种可变换性，它相当于人为设计的一种索引。那么，将这种位置编码与词向量相加，就是不合理的，所以不能很好地表征位置信息。

3. 顶层梯度消失

4.如果层数比较多，没有残差连接

其他回答

我妈是药师

优点：

1. 尺寸小巧，可以供多种用途；

2. 高效率，易于调整；

3. 具有良好的供电稳定性，使负载输出电压稳定；

4. 可以提供低频与高频互调功能；

5. 结构简单，价格低廉，使用方便；

6. 具有低反射特性，有助于降低噪声等。

缺点：

1. 由于变压器的绝缘材料散热较差，使用时必须加以注意；

2. 不能抵抗短路电流，因此在安装时有必要加以配套保护装置。