基于中文金融知识的 LLaMA 系微调模型的智能问答系统：LLaMA大模型训练微调推理等详细教学

互联网行业数据挖掘工程师

基于中文金融知识的 LLaMA 系微调模型的智能问答系统：LLaMA大模型训练微调推理等详细教学

基于 LLaMA 系基模型经过中文金融知识指令精调/指令微调(Instruct-tuning) 的微调模型。通过中文金融公开问答数据+爬取的金融问答数据构建指令数据集，并在此基础上对 LLaMA 系模型进行了指令微调，提高了 LLaMA 在金融领域的问答效果。

基于已有数据和继续爬取的中文金融数据，将继续利用 GPT3.5/4.0 API 构建高质量的数据集，另在中文知识图谱-金融、CFLEB 金融数据集等数据上进一步扩充高质量指令数据集。

基于 Chinese-LLaMA 和中文金融数据进行指令微调的模型。
基于 Meta-LLaMA 和中文金融数据进行指令微调的模型。

1. 环境安装

首先安装依赖包，python环境建议3.9+

pip install -r requirements.txt

其次安装 lfs 方便本地下载 LLaMa 大模型

git lfs install
# 下载7B模型到本地
bash ./base_models/load.sh

2.模型下载

LoRA 权重可以通过 Huggingface 下载，结构如下：
Fin-Alpaca-LoRA-7B-Meta/ - adapter_config.json # LoRA权重配置文件 - adapter_model.bin # LoRA权重文件 | LoRA模型下载 | 分类 | 重构模型 | 训练数据 | 训练序列长度 | 版本 | |----------------------------------------------------------------------------------|------------|-----|----------|--------|------| | Fin-Alpaca-LoRA-7B-Meta | 中文金融问答微调模型 | decapoda-research/llama-7b-hf | 12M 指令数据 | 512 | V1.0 | | Fin-Alpaca-LoRA-7B-Linly | 中文金融问答微调模型 | Linly-AI/Chinese-LLaMA-7B | 14M 指令数据 | 512 | V1.1 |

3.Inference：单模型推理-多模型对比

目前在 ./instruction_data/infer.json 中提供了一些测试用例，也可替换成其它的数据集但注意格式保持一致

运行infer脚本

#单模型推理
bash ./scripts/infer.sh
#多模型对比
bash ./scripts/comparison_test.sh

4.数据集构建

此前版本采用了 公开和爬取的中文金融领域问答数据 ，涉及到保险、理财、股票、基金、贷款、信用卡、社保等。

指令数据示例如下：

问题：办理商业汇票应遵守哪些原则和规定？