Fine-tuning Large Language Models for Domain-specific Machine Translation

本文是LLM系列文章，针对《Fine-tuning Large Language Models for Domain-specific Machine Translation》的翻译。

摘要

大型语言模型（LLM）在机器翻译（MT）领域取得了重大进展。然而，它们在特定领域MT中的潜力仍有待探索。当前基于LLM的MT系统仍然面临一些挑战。首先，对于具有上下文学习的LLM，它们的有效性对输入的翻译示例高度敏感，处理它们会增加推理成本。由于生产过度，它们通常需要额外的后处理。第二，对特定领域数据进行微调的LLM通常需要高的领域适应训练成本，并且可能由于过度专业化而削弱LLM的零样本MT能力。上述方法可能难以在域迁移场景中翻译稀有单词。为了应对这些挑战，本文提出了一种面向提示的微调方法，称为LlamaIT，以有效和高效地微调用于特定领域MT任务的通用LLM。首先，我们构建了一个特定于任务的混合域数据集，然后使用该数据集对具有LoRA的LLM进行微调。这可以消除对输入翻译示例、后处理或过度专业化的需要。通过零样本提示指令，我们在推理时将MT任务调整到目标域。为了进一步激发稀有单词的机器翻译能力，我们通过结合特定领域的双语词汇来构建新的提示。我们还在公开的和自行构建的数据集上进行了广泛的实验。结果表明，我们的LlamaIT可以显著提高LLM的领域特定MT能力，同时保持其零样本MT能力。