Projects

FlaxGPT 是一个简洁的GPT模型的Flax实现. 支持加载LLaMA2的checkpoint并进行文本生成.

通过对官方LLaMA代码分析, 学习现代Transformer的工作原理

在Stable Diffusion上做的各种实验, 包括sampling, lora finetune等等

T5是一个Encoder-Decoder架构的transformer. 它的训练过程使用了multi-task learning. 通过研究T5论文我们可以知道transformer模型的预训练中许多有趣的细节.

NESGym 是我在被 AlphaGo 的开创性成果所吸引后开始的一个个人项目。 当时，强化学习（RL）在机器学习界备受关注。值得注意的是，OpenAI 引入了一个强化学习实验环境来促进强化学习实验。 作为一个任粉，我觉得为任天堂红白机模拟器创建一个强化学习环境也很有趣。