元鉴
返回中文阅读流

AWS News Blog

Amazon Bedrock 推出新的高级提示词优化与迁移工具

Amazon Bedrock Advanced Prompt Optimization 可通过内置评估反馈循环优化当前模型提示词,或更快迁移至新模型,并可同时比较最多 5 个模型结果。

中文内容

已翻译professional media英文原文2026-05-14

正文:AWS News Blog

Amazon Bedrock 推出新的高级提示词优化与迁移工具

by Channy Yun (윤석찬) 2026 年 5 月 14 日 in 正文:Amazon Bedrock, 正文:Amazon Bedrock Prompt Management, 正文:Amazon Machine Learning, 人工智能, 发布, 新闻 Permalink Comments Share
Voiced by Polly

今天,我们宣布推出 Amazon Bedrock Advanced Prompt Optimization。这是一款新工具,可用于为 Amazon Bedrock 上的任意模型优化提示词,同时在最多 5 个模型之间比较原始提示词与优化后提示词。借助新的提示词优化功能,你可以迁移到新模型,或提升当前模型的表现。你可以对其进行测试,以确保在已知用例上没有出现性能回退,并改进表现不佳的任务。

新的提示词优化器会接收你的提示词模板、用于变量值的示例用户输入、标准答案,以及用作指导的评估指标。你甚至可以将其用于多模态用户输入——它支持将 png、jpg 和 pdf 作为提示词模板的输入,因此可优化用于文档和图像分析等任务的提示词。

你还可以提供 AWS Lambda 函数、LLM-as-a-judge 评分量规,或简短的自然语言描述来指导优化。提示词优化器在指标驱动的反馈循环中工作,针对评估指标优化提示词及由此产生的模型响应,并输出原始和最终提示词模板,以及评估分数、成本估算和延迟。

Bedrock Advanced Prompt Optimization 实际操作:要开始使用新的提示词优化功能,请在 Amazon Bedrock 控制台的 Advanced Prompt Optimization 页面选择 Create prompt optimization。

选择最多 5 个推理模型来优化你的提示词。如果你正在迁移到新模型,或只是想提升当前模型的表现,都可以使用此功能。如果你正在更换模型,可以选择当前模型作为基线,并选择最多 4 个其他模型。如果你不更换模型,则只需选择当前模型,即可查看优化前后的效果。

你应以 JSONL 格式准备提示词模板,并包含示例用户数据、标准答案,以及评估指标或重写指导。对于 .jsonl 文件,每个 JSON 对象必须位于单独一行。

{
    "version": "bedrock-2026-05-14",           // required; Fixed value
    "templateId": "string",                    // required
    "promptTemplate": "string",                // required
    "steeringCriteria": ["string"],            // optional
    "customEvaluationMetricLabel": "string",   // required if customLLMJConfig or evaluationMetricLambdaArn is used
    "customLLMJConfig": {                      // optional
        "customLLMJPrompt": "string",          // required if customLLMJConfig present
        "customLLMJModelId": "string"          // required if customLLMJConfig present
    },
    "evaluationMetricLambdaArn": "string",     // optional
    "evaluationSamples": [                     // required
        {
            "inputVariables": [                // required
                {
                    "variableName1": "string",
                    "variableName2": "string"
                }
            ],
            "referenceResponse": "string"      // optional
            "inputVariablesMultimodal": [      // optional
                {
                "Arbitrary_Name": {            // required for your multimodal variable.
                    "type": "string",          // choose from "PDF" or "IMAGE". Acceptable filetypes for IMAGE = png, jpg,  
                    "s3Uri": "string"          // input the S3 path of the file
                }
            ]
        }
    ]
}

你可以直接上传文件,或从 Amazon Simple Storage Service(Amazon S3)导入提示词模板,并设置一个 S3 输出位置,用于存储提示词优化结果和评估数据。然后,选择 Create optimization。

Amazon Bedrock 会自动将你的提示词模板和示例数据(可选包含标准答案)发送到推理模型,使用你的评估指标评估响应,然后在反馈循环中重写提示词,以针对你的推理模型进行优化。你将看到基于所提供指标的评估结果,以及最终优化后的提示词。

如你所见,可以通过三种方式评估提示词质量:包含你自定义 Python 评分逻辑的 Lambda 函数、带自定义评分量规的 LLM-as-a-Judge,或自然语言引导标准。每个提示词模板只能选择一种方式,但一个作业中可以包含多个提示词模板,因此如果需要,可为每个提示词模板使用不同方法。

  • Lambda 函数——如果你有具体指标(准确率、F1、执行准确率、结构化 JSON 匹配等),可以部署包含自定义评分逻辑的 Lambda 函数,并配置提示词模板的 evaluationMetricS3Uri 字段。在 Lambda 内部,核心是 compute_score 实现,它会以编程方式将模型输出与参考响应进行比较。
  • LLM-as-a-Judge——如果你的任务是开放式的(摘要、生成、推理解释),并且希望采用基于评分量规的分数,可以在提示词模板的 customLLMJConfig 字段中配置 S3 配置文件,以定义带有结构化说明和评级尺度的命名指标。Bedrock 评判模型会评估每个提示词-响应对,并返回分数和推理说明。默认模型为 Claude Sonnet 4.6,你也可以从评判模型列表中选择自己的模型。
  • 引导标准——如果你知道自己想要的特征(品牌语调、格式、安全约束),但不想编写完整的评判提示词,可以通过提示词模板的 steeringCriteria 数组在输入数据集中定义标准。你提供的不是带评级尺度的结构化指标,而是自由形式的自然语言标准,由 LLM 评判器进行整体评估。如果使用此选项,则默认的 LLM-as-a-judge 提示词将评估响应,并把你的引导标准纳入评判提示词。在这种情况下,评判模型为 Anthropic Claude Sonnet 4.6。

要了解有关如何使用高级提示词优化与迁移的更多信息,请访问 Bedrock 指南中的高级提示词优化,以及 Github 上的示例代码。

现已可用:Amazon Bedrock Advanced Prompt Optimization 现已在美国东部(弗吉尼亚北部、俄亥俄)、美国西部(俄勒冈)、亚太地区(孟买、首尔、新加坡、悉尼、东京)、加拿大(中部)、欧洲(法兰克福、爱尔兰、伦敦、苏黎世)和南美洲(圣保罗)区域可用。你将根据优化期间消耗的 Bedrock 模型推理 token 付费,费率与常规 Bedrock 推理的每 token 费率相同。要了解更多信息,请访问 Amazon Bedrock 定价页面。

立即在 Amazon Bedrock 控制台中试用高级提示词优化,或通过 CreateAdvancedPromptOptimizationJob API 使用该功能,并向 AWS re:Post for Amazon Bedrock 发送反馈,或通过你通常的 AWS Support 联系渠道反馈。

正文:— Channy

Channy Yun (윤석찬)

正文:Channy Yun(윤석찬)

Channy 是 AWS News Blog 的首席博主,也是 AWS Cloud 的首席开发者倡导者。作为一名开放网络爱好者和热爱博客的人,他喜欢由社区驱动的学习和技术分享。

原文标题

Amazon Bedrock introduces new advanced prompt optimization and migration tool