开放助手 LLaMa 30B SFT 6

工具软件2年前 (2023)发布 AI观察员

486 0 0

开放助手 LLaMa 30B SFT 6

由于 Meta AI 对 LLaMA 模型附加了许可证，因此无法直接分发基于 LLaMA 的模型。相反，我们为OA模型提供了XOR权重。

感谢 Mick 编写了启用此过程的脚本xor_codec.py

过程

注意：此过程适用于模型。将来可以将相同的过程应用于其他模型，但校验和会有所不同。oasst-sft-6-llama-30b

此过程仅在Linux（特别是Ubuntu）上进行测试。一些用户报告说，该过程在Windows上不起作用。如果只有一台 Windows 计算机，我们建议使用 WSL。

要使用基于 OpenAssistant LLaMA 的模型，您应该拥有原始 LLaMA 模型权重的副本，并将它们添加到此处的子目录中。如果您无法获得原始LLaMA，请参阅下面的斜体注释以获取可能的替代方案。llama

确保您的 LLaMA 30B 检查点与正确的 md5sum 匹配：

f856e9d99c30855d6ead4d00cc3a5573  consolidated.00.pth
d9dbfbea61309dc1e087f5081e98331a  consolidated.01.pth
2b2bed47912ceb828c0a37aac4b99073  consolidated.02.pth
ea0405cdb5bc638fee12de614f729ebc  consolidated.03.pth
4babdbd05b8923226a9e9622492054b6  params.json

如果您没有原始LLaMA权重的副本并且无法获得，您仍然可以完成此过程。一些用户报告说，该模型可以用作异或转换的基础。这也将允许您跳到步骤 7。但是，我们仅支持从 LLaMA 原始检查点开始的转换，如果您在使用此替代方法时遇到问题，则无法提供支持。

重要提示：请按照以下确切步骤将原始LLaMA检查点转换为与HuggingFace Transformers兼容的格式。如果您使用任何依赖项的错误版本，则最终可能会得到与 XOR 文件不兼容的权重。

创建一个干净的Python 3.10虚拟环境并激活它：

python3.10 -m venv xor_venv
source xor_venv/bin/activate

克隆变压器存储库并切换到测试版本：

git clone https://github.com/huggingface/transformers.git
cd transformers
git checkout d04ec99bec8a0b432fc03ed60cea9a1a20ebaf3c
pip install .

完全安装以下依赖项版本：

pip install torch==1.13.1 accelerate==0.18.0 sentencepiece==0.1.98 protobuf==3.20.1

检查输出：pip freeze

accelerate==0.18.0
certifi==2022.12.7
charset-normalizer==3.1.0
filelock==3.12.0
huggingface-hub==0.13.4
idna==3.4
numpy==1.24.2
nvidia-cublas-cu11==11.10.3.66
nvidia-cuda-nvrtc-cu11==11.7.99
nvidia-cuda-runtime-cu11==11.7.99
nvidia-cudnn-cu11==8.5.0.96
packaging==23.1
protobuf==3.20.1
psutil==5.9.5
PyYAML==6.0
regex==2023.3.23
requests==2.28.2
sentencepiece==0.1.98
tokenizers==0.13.3
torch==1.13.1
tqdm==4.65.0
transformers @ file:///mnt/data/koepf/transformers
typing_extensions==4.5.0
urllib3==1.26.15

在存储库根目录中，运行 HF LLaMA 转换脚本：transformers

python src/transformers/models/llama/convert_llama_weights_to_hf.py --input_dir <input_path_llama_base>  --output_dir <output_path_llama30b_hf> --model_size 30B

在转换目标目录（）中运行。如果您的文件正确，这应该产生以下校验和：find . -type f -exec md5sum "{}" +output_dir

462a2d07f65776f27c0facfa2affb9f9  ./pytorch_model-00007-of-00007.bin
e1dc8c48a65279fb1fbccff14562e6a3  ./pytorch_model-00003-of-00007.bin
9cffb1aeba11b16da84b56abb773d099  ./pytorch_model-00001-of-00007.bin
aee09e21813368c49baaece120125ae3  ./generation_config.json
92754d6c6f291819ffc3dfcaf470f541  ./pytorch_model-00005-of-00007.bin
3eddc6fc02c0172d38727e5826181adb  ./pytorch_model-00004-of-00007.bin
eeec4125e9c7560836b4873b6f8e3025  ./tokenizer.model
99762d59efa6b96599e863893cf2da02  ./pytorch_model-00006-of-00007.bin
598538f18fed1877b41f77de034c0c8a  ./config.json
fdb311c39b8659a5d5c1991339bafc09  ./tokenizer.json
fecfda4fba7bfd911e187a85db5fa2ef  ./pytorch_model.bin.index.json
edd1a5897748864768b1fab645b31491  ./tokenizer_config.json
6b2e0a735969660e720c27061ef3f3d3  ./special_tokens_map.json
5cfcb78b908ffa02e681cce69dbe4303  ./pytorch_model-00002-of-00007.bin

重要提示：您现在应该拥有正确的 LLaMA 权重，并准备好应用 XOR。如果上面的校验和与您的校验和不匹配，则存在问题。

获得正确格式的LLaMA权重后，您可以应用异或解码：

python xor_codec.py oasst-sft-6-llama-30b/ oasst-sft-6-llama-30b-xor/oasst-sft-6-llama-30b-xor/ llama30b_hf/

您应该会在执行期间看到一条警告消息：

Exception when processing 'added_tokens.json'

这是正常的。如果其他文件出现类似消息，则表示出了问题。

现在在输出目录中运行（此处）。您应该得到一个包含以下校验和的文件：find . -type f -exec md5sum "{}" +oasst-sft-6-llama-30b

970e99665d66ba3fad6fdf9b4910acc5  ./pytorch_model-00007-of-00007.bin
659fcb7598dcd22e7d008189ecb2bb42  ./pytorch_model-00003-of-00007.bin
ff6e4cf43ddf02fb5d3960f850af1220  ./pytorch_model-00001-of-00007.bin
27b0dc092f99aa2efaf467b2d8026c3f  ./added_tokens.json
2917a1cafb895cf57e746cfd7696bfe5  ./generation_config.json
740c324ae65b1ec25976643cda79e479  ./pytorch_model-00005-of-00007.bin
f7aefb4c63be2ac512fd905b45295235  ./pytorch_model-00004-of-00007.bin
eeec4125e9c7560836b4873b6f8e3025  ./tokenizer.model
369df2f0e38bda0d9629a12a77c10dfc  ./pytorch_model-00006-of-00007.bin
cc9dbf56b68b68a585cc7367696e06a7  ./config.json
76d47e4f51a8df1d703c6f594981fcab  ./pytorch_model.bin.index.json
fd9452959d711be29ccf04a97598e8d1  ./tokenizer_config.json
785905630a0fe583122a8446a5abe287  ./special_tokens_map.json
ae48c4c68e4e171d502dd0896aa19a84  ./pytorch_model-00002-of-00007.bin

如果是这样，您已经成功解码了权重，并且应该能够将该模型与HuggingFace变压器一起使用。如果您的校验和与上述校验和不匹配，则存在问题。

配置

llama-30b-sft-6:
  dtype: fp16
  log_dir: "llama_log_30b"
  learning_rate: 1e-5
  model_name: /home/ubuntu/Open-Assistant/model/model_training/.saved/llama-30b-super-pretrain/checkpoint-3500
  output_dir: llama_model_30b
  deepspeed_config: configs/zero3_config_sft.json
  weight_decay: 0.0
  residual_dropout: 0.0
  max_length: 2048
  use_flash_attention: true
  warmup_steps: 20
  gradient_checkpointing: true
  gradient_accumulation_steps: 16
  per_device_train_batch_size: 2
  per_device_eval_batch_size: 3
  eval_steps: 101
  save_steps: 292
  num_train_epochs: 8
  save_total_limit: 3
  use_custom_sampler: true
  sort_by_length: false
  save_strategy: steps
  datasets:
    - oasst_export:
        lang: "bg,ca,cs,da,de,en,es,fr,hr,hu,it,nl,pl,pt,ro,ru,sl,sr,sv,uk"
        input_file_path: 2023-04-12_oasst_release_ready_synth.jsonl.gz
        val_split: 0.05
    - vicuna:
        val_split: 0.05
        max_val_set: 800
        fraction: 0.8
    - dolly15k:
        val_split: 0.05
        max_val_set: 300
    - grade_school_math_instructions:
        val_split: 0.05
    - code_alpaca:
        val_split: 0.05
        max_val_set: 250