Github上的一个教学项目deep-learning:深入探讨深度学习的整个历史
github.com/adam-maj/deep-learning
"深度学习全史深度解析,重点回顾从简单前馈网络到 GPT-4o 的一系列创新历程。
针对每一个关键里程碑,我在本代码库中收录了重要论文,附上我的笔记、对核心直觉与数学原理的解读,并在适当情况下提供了基于 pytorch 的玩具实现。"
内容涉及深度学习的发展历程,从早期的简单神经网络到如今的复杂模型(如GPT-4o),强调了数据、参数、优化、架构、计算、计算效率和能源等七大约束对深度学习发展的关键影响,并探讨了未来的发展方向。