共计 679 个字符，预计需要花费 2 分钟才能阅读完成。
PromptBench 是微软钻研人员设计的一个用于测量大型语言模型 (llm) 对对抗性提醒鲁棒性的基准测试。这个的工具是了解 LLM 的重要一步，随着这些模型在各种利用中越来越广泛，这个主题也变得越来越重要。
钻研及其方法论
PromptBench 采纳多种对抗性文本攻打，钻研人员生成了 4000 多个对抗性提醒，而后通过 8 个工作和 13 个数据集对其进行评估。这种全面的办法确保了潜在破绽的宽泛笼罩，并提供了对 LLM 性能的牢靠评估。
钻研后果及影响
这项钻研的结果表明，当代 LLM 很容易受到对抗性提醒的影响。这个破绽是一个须要解决的关键问题，以确保 llm 在理论应用程序中的可靠性和健壮性。作为数据科学家，咱们必须意识到这些破绽，并致力开发可能抵挡此类对抗性攻打的模型。
论文还提供了疾速加重这些破绽的倡议。这些倡议对于任何应用大模型的人来说都是十分贵重的，并且能够领导开发更强壮的模型。
开源代码
钻研人员曾经公开了钻研中应用的代码、提醒和办法。咱们必须持续考察，在它们钻研的根底上进行更深刻的钻研，共同努力推动模型的改良，曾经包含的模型如下：
- google/flan-t5-large
- databricks/dolly-v1–6b
- llama-13b
- vicuna-13
- cerebras/Cerebras-GPT-13B
- EleutherAI/gpt-neox-20b
- google/flan-ul2
- chatgpt
论文和钻研地址：
https://avoid.overfit.cn/post/48766e3c21a8495bb991b0135912ce8e
作者：Praveen Govindaraj
正文完
