1、 软提示
提示微调(Prompt Tuning)1是模型微调（@khashabi2021prompt）的一种替代方法，它会固定模型权重并更新提示的参数，生成的提示被称为“软提示”。
模型微调与提示调整的对比 (Lester et al.)
上面的图片对比了模型微调和提示调整。在模型微调中，你会在不同任务上对同一个模型进行微调。这会产生一些不同的模型，但你不能保证可以轻松地对不同的任务进行批处理输入。
另一方面，提示调整可以让你为所有任务使用同一个模型。你只需要在推理时附加适当的提示，这样可以使不同任务之间的批处理更容易。这是常规提示的同样优点。此外，为单个模型跨多个任务训练的软提示通常会具有相同的标记长度。
工作原理
为了理解软提示背后的基本逻辑，让我们思考一下如何在给定提示What’s 2+2?上进行模型推理：
对于给定的: What’s 2+2?.
1) 它可能被标记为 What, ‘s, 2, +, 2, ?.
2) 然后，每个标记将被转换为一组值的向量。
3) 这些向量可以视为模型参数。模型可以进一步训练，仅调整这些提示的权重。
请注意，一旦我们开始更新这些权重，标记的向量就不再对应于词汇表中实际的嵌入。
结果
提示调整对较大的模型表现更好。较大的模型也需要较少的软提示标记。但是，超过20个标记并不会产生显著的性能提高。
2、可解释的软提示
软提示是一系列向量，不对应词汇表中的任何实际标记(tokens)。这使得难以解释提示。然而，我们仍然可以尝试通过将向量映射到词汇表中最接近的标记(tokens)来解释它们。但是，投影的软提示通常是任意的。它们可以很好地解决任务，但会被投影到词汇表中的任意标记上。
例如，如果我们在数学问题（例如GSM8K）上进行训练，我们可能会从提示You are a mathematician. Solve this question:开始。如果我们在其上执行提示调整，然后将其投影回标记空间，我们可能会得到类似A bus is a bus. Do thing here:这样的无意义内容。经常出现将映射到这种无意义提示的软提示可以在任务上提供更好的性能！
任意性假设
Khashabi等人1提出了个不可思议的假设。它说，对于任何离散的目标提示，给定一个任务，存在一个连续的提示可以投影到它，同时在任务上表现良好。
这意味着对于1000个不同的任务，存在1000个不同的高效软提示（每个任务一个），它们映射到同一个离散提示。
解释风险
他们使用任意性假设来强调解释软提示时会出现的一些风险。特别是，软提示可能被投影到给人误导的离散提示上。
考虑一个用于简历排名的软提示。当投影到标记空间时，它可能是You hiring manager. Rank good resumes:。这似乎还可以，也许有点缺乏语法正确性。但是，标记good可能与标记white具有类似的投影，提示中可能存在隐含的偏见。使用略微不同的投影方法，我们可能会得到You hiring manager. Rank white resumes:。这显然是非常不同的，可能具有重大影响。
与解释常规离散提示类似，我们应该非常注意提示中可能存在的偏见。由于软提示更难解释，因此我们必须格外小心。
