この研究は、大規模言語モデル（LLMs）の性能に対するプロンプトフォーマットの影響を調査している。特に、OpenAIのGPTモデルを対象に、プレーンテキスト、Markdown、YAML、JSONといった異なるフォーマットがモデルのパフォーマンスにどのように影響するかを評価した。実験の結果、GPT-3.5-turboではプロンプトのフォーマットによって最大40%の性能差が見られ、特にJSONフォーマットがMarkdownに比べて42%の精度向上を示した。この研究は、固定されたプロンプトテンプレートの使用を再考する必要性を強調している。
GPT-4の場合、プロンプトフォーマットの変更に対してより堅牢である。具体的には、GPT-4-1106-previewモデルは、フォーマット変更に対する性能のばらつきが非常に小さく、CMD（変動係数）が0.036を超えないことが報告されている。また、GPT-4-32k-0613モデルもGPT-3.5シリーズよりは堅牢で、CMDが0.043を超えないことが示されている。これにより、GPT-4はプロンプトフォーマットの変化に対して一貫した性能を発揮することが確認されている。
Does Prompt Formatting Have Any Impact on LLM Performance?
In the realm of Large Language Models (LLMs), prompt optimization is crucial for model performance. Although previous research has explored aspects like rephrasing prompt contexts, using various prompting techniques (like in-context learning and chain-of-thought), and ordering few-shot examples, our understanding of LLM sensitivity to prompt templates remains limited. Therefore, this paper examines the impact of different prompt templates on LLM performance. We formatted the same contexts into various human-readable templates, including plain text, Markdown, JSON, and YAML, and evaluated their impact across tasks like natural language reasoning, code generation, and translation using OpenAI’s GPT models. Experiments show that GPT-3.5-turbo’s performance varies by up to 40\% in a code translation task depending on the prompt template, while larger models like GPT-4 are more robust to these variations. Our analysis highlights the need to reconsider the use of fixed prompt templates, as different formats can significantly affect model performance.
