LoLCATs:一种称为LoLCATs的新方法,用于将现有的大型语言模型(如 Llama 和 Mistral)转换为具有亚 cuadratic 时间复杂度的线性化版本,同时保持模型性能
- 爱可可-爱生活
- 2024-10-21 23:36:43
【LoLCATs:一种称为LoLCATs的新方法,用于将现有的大型语言模型(如 Llama 和 Mistral)转换为具有亚 cuadratic 时间复杂度的线性化版本,同时保持模型性能】'LoLCATs - a new method to convert existing Transformers like Llamas & Mistrals into state-of-the-art subquadratic LLMs.' GitHub: github.com/HazyResearch/lolcats LoLCATs Transformers LanguageModels EfficientTraining