从图的角度重温经典模型

Capsule [paper] [tutorial] [PyTorch code]: 这个新的计算机视觉模型有两个关键思想。首先，以向量形式（而不是标量）增强特征表示，称为 胶囊 (capsule)。其次，用动态路由取代最大池化。动态路由的思想是以非参数消息传递的方式将较低层胶囊集成到一个或多个较高层胶囊中。一个教程展示了如何使用 DGL API 实现后者。
Transformer [paper] [tutorial] [PyTorch code] 以及 Universal Transformer [paper] [tutorial] [PyTorch code]: 这两个模型用多层多头注意力机制取代循环神经网络 (RNN)，用于编码和发现句子中 token 之间的结构。这些注意力机制类似地可以表示为带有消息传递的图操作。