Speed Always Wins: A Survey on Efficient Architectures for Large Language Models

大语言模型（LLMs）在语言理解、生成和推理方面取得了令人瞩目的成果，并不断拓展多模态模型的能力边界。作为现代大语言模型的基础，Transformer 模型凭借其出色的扩展性，提供了强大的基线性能。然而，传统的 Transformer 架构需要大量的计算资源，在大规模训练和实际部署中面临显著挑战。本综述系统地探讨了各类创新的 LLM 架构，这些架构旨在克服 Transformer 的固有局限性并提升模型效率。从语言建模出发，我们回顾了线性与稀疏序列建模方法、高效的全注意力变体、稀疏门控的专家混合模型（MoE）、融合上述技术的混合架构，以及新兴的扩散式大语言模型（diffusion LLMs）的背景与技术细节。此外，我们还探讨了这些技术在其他模态中的应用，并分析了它们在构建可扩展、资源敏感的基础模型方面所带来的广泛影响。通过将近期研究成果归入上述分类，本综述为现代高效的 LLM 架构提供了一个系统蓝图，希望借此激发未来在更高效、更通用的人工智能系统方向上的研究。

论文试图解决传统Transformer架构在大规模训练和实际部署中计算需求过大、效率低下的问题。这是一个在当前LLM研究中广泛存在且亟需解决的问题，尤其在模型规模不断扩大的背景下。

论文的核心思路是通过系统性地梳理和分类一系列新型LLM架构，来替代或改进传统Transformer结构，以提升模型效率。这些架构包括线性和稀疏序列建模方法、高效的全注意力变体、稀疏混合专家模型、混合架构以及新兴的扩散LLMs。

1. 全面分类并总结了提高LLM效率的多种技术路径，并提供了技术细节。 2. 讨论了这些技术在多模态任务中的应用潜力，为未来模型设计提供了蓝图。 3. 论文覆盖了从理论到实际应用的多个层面，包括模型结构、训练效率和部署可行性。 4. 为研究人员和工程师提供了可参考的高效LLM发展方向和待深入探索的问题。

1. Lin, J. et al., 'Dynamic Sparse Training for Deep Neural Networks', 2021. 2. Shazeer, N. et al., 'The Sparsely-Gated Mixture-of-Experts Layer', 2017. 3. Tay, Y. et al., 'Efficient Transformers: A Survey', 2020. 4. Rae, J. W. et al., 'Scaling Language Models: Methods, Analysis & Insights from Training Gopher', 2021. 5. Zhang, R. et al., 'Diffusion Models for Text Generation: A Survey', 2023.