这个项目旨在通过对现有文本（例如公司已经有数据，知识和Wiki）分析和建模来帮助机构建立一个高效的模型，以回答由大语言模型编写的科学难题。虽然大模型的能力已经取得了令人惊喜的成绩，但是其巨大的参数量使得其在实际应用中存在各种难题。本次项目通过探索LLM技术中的多种方法，包括Flash Attention、Lora训练、Parameter-Efficient Fine-Tuning (PEFT)、Prompt model等等，来解决LLM模型产生的QA问题。
本课程将会深入介绍各种LLM技术，并重点讲解如何用普通的模型解决大型语言模型带来的QA问题。具体来说，我们将探讨一系列技术，包括Flash Attention，由Google提出的一种基于注意力机制的技术，以及间接引导模型去聚焦处理重要的词语。此外，我们还将介绍Lora训练，这是一种针对LLM模型进行优化的方法，随着数据的不停训练，扩大模型的感知视野，使得模型效果更佳。同时，我们会介绍PEFT技术，这是一种提高训练效率的方法，能够加速模型的训练和预测，并减少模型参数的数量。还会介绍Prompt model技术，这是一种集成了多种技术的集成模型，能够更好地应用于QA问题的解决。
我们相信，通过本课程的学习，您将不仅能够深入了解LLM相关的技术和方法，更能轻松地掌握各种方法并且在实践中应用。我们期待与您一起学习与探索，用小模型解决大语言模型的挑战，并在未来的探索中实现更多理论应用。