在 Amazon Bedrock 上通过全球跨区域推理访问 OpenAI GPT-6 模型（泰国、马来西亚、新加坡、印尼、台湾）

AI 导读

Amazon Bedrock 面向泰国、马来西亚、新加坡、印尼和台湾五个 AWS 区域，通过全球跨区域推理提供 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra。

当需求超过本地容量时，单区域推理可能会受到限制。泰国、马来西亚、新加坡、印度尼西亚和台湾的团队需要在该容量之外访问最新的 OpenAI 模型。Amazon Bedrock 通过全球跨区域推理，从全部五个 AWS 区域提供 OpenAI GPT-6 Sol 和 GPT-6 Luna，并从亚太地区（新加坡）提供 GPT-6 Astra。本文介绍如何配置调用、设置权限，以及从您的源区域监控推理。

GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra 均可通过全球跨区域推理从上述区域在 bedrock-runtime 端点上使用。请参阅 Amazon Bedrock 用户指南中的跨区域推理。有关每个配置文件中源区域和目标区域的完整列表，请参阅推理配置文件支持的区域和模型。

在本文中，我们介绍全球跨区域推理配置文件，并使用 Converse API、OpenAI 兼容 API 和编码客户端从亚太地区（新加坡）调用它们。然后我们介绍AWS Identity and Access Management（IAM）和服务控制策略（SCP）配置、配额管理以及监控。

OpenAI GPT-6 的全球跨区域推理配置文件

GPT-6 系列提供三个模型，每个模型均可通过全球跨区域推理使用。

GPT-6 Sol 为整个星期执行的复杂任务带来强大的推理和编码能力。
GPT-6 Luna 使专注、可重复的任务能够以高容量实际执行。
GPT-6 Astra 处理复杂推理、编码和长文档工作。

这三个模型均接受文本和图像输入、客户端工具使用和提示缓存。它们在推理强度上有所不同。GPT-6 Sol 和 GPT-6 Luna 接受 none、low、medium、high、xhigh 和 max。GPT-6 Astra 接受相同的级别，但不包括 none。有关 GPT-6 Sol 和 GPT-6 Luna，请参阅借助 Amazon Bedrock 上的 GPT-6 Sol 和 GPT-6 Luna 为日常工作带来更多智能。有关 GPT-6 Astra，请参阅借助 Amazon Bedrock 上的 GPT-6 Astra 承担您最雄心勃勃的工作。

全球跨区域推理会在模型部署所在的受支持商业 AWS 区域之间路由请求，让您能够广泛访问 Amazon Bedrock 容量。您通过传入全球跨区域推理配置文件 ID 代替模型 ID 来调用它。您的源区域是您发起 API 调用的区域。Amazon Bedrock 选择目标区域进行处理。计费、配额跟踪、AWS CloudTrail 和 Amazon CloudWatch 都保留在您的源区域。

下表列出了全球跨区域推理配置文件 ID 以及本文涵盖的源区域。

全球跨区域推理配置文件

源区域

目标区域

global.openai.gpt-6-sol

global.openai.gpt-6-luna

亚太地区（新加坡）ap-southeast-1

亚太地区（雅加达）ap-southeast-3

亚太地区（马来西亚）ap-southeast-5

亚太地区（泰国）ap-southeast-7

亚太地区（台北）ap-east-2

模型部署所在的受支持商业 AWS 区域

global.openai.gpt-6-astra

亚太地区（新加坡）ap-southeast-1

模型部署所在的受支持商业 AWS 区域

推理配置文件可用性和区域支持会随着 AWS 增加区域和配置文件而变化，因此在构建之前请在模型卡片上确认两者：GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra。有关每令牌费率，请参阅Amazon Bedrock 定价。

在 Amazon Bedrock 上开始使用 OpenAI 模型

先完成先决条件，然后通过 Converse API、OpenAI 兼容 API 或你现有的编码客户端调用这三个配置文件中的任意一个。

先决条件

一个具有调用该配置文件权限的 IAM 身份。安全与权限部分中的 IAM 策略仅授予这些示例所需的权限。
已激活你的源区域。只有你发起调用的区域需要激活。你无需激活目标区域，这些区域运行在 Amazon Bedrock 托管容量上。新加坡（ap-southeast-1）是默认启用的区域。雅加达（ap-southeast-3）、马来西亚（ap-southeast-5）、泰国（ap-southeast-7）和台北（ap-east-2）是需要先激活的选择加入区域。有关更多信息，请参阅在你的账户中启用或禁用 AWS 区域。
一个最新的 AWS SDK 或 CLI。OpenAI 兼容示例还需要 OpenAI SDK 和 Amazon Bedrock 令牌生成器。使用 pip install boto3 openai aws-bedrock-token-generator 安装它们。

Amazon Bedrock 控制台在系统定义的推理配置文件下列出了全部三个全球跨区域推理配置文件。参见图 1。

图 1：Amazon Bedrock 控制台中系统定义配置文件里的三个全球 OpenAI GPT-6 推理配置文件

通过 Amazon Bedrock Runtime 调用 GPT-6 模型

每个模型在此端点上支持三种访问路径：Amazon Bedrock Converse API、OpenAI Responses API 和 OpenAI Chat Completions API。OpenAI 兼容 API 通过 /openai/v1 路径调用，而不是通过 AWS SDK 调用，并且该端点接受 Signature Version 4（SigV4）或 Amazon Bedrock API 密钥。在每种情况下都要将全球跨区域推理配置文件 ID 作为 model 传入。

Converse API。此示例从亚太地区（新加坡）调用 GPT-6 Sol 并记录响应。将 BEDROCK_PROFILE_ID 设置为 global.openai.gpt-6-luna 或 global.openai.gpt-6-astra 以切换模型，或调用 converse_stream 进行流式传输。

import logging
import os
import boto3

# AWS_REGION overrides this default, so set it to your source Region or unset it.
REGION = os.environ.get("AWS_REGION", "ap-southeast-1")
PROFILE_ID = os.environ.get("BEDROCK_PROFILE_ID", "global.openai.gpt-6-sol")
PROMPT = (
    "In three bullet points, explain when a workload should use "
    "cross-Region inference instead of calling a model in a single Region."
)

logging.basicConfig(format="%(levelname)s %(message)s")
log = logging.getLogger("bedrock-cris")
log.setLevel(logging.INFO)

client = boto3.client("bedrock-runtime", region_name=REGION)

# AccessDeniedException points at the IAM policy. ValidationException usually
# means the model ID is not a global cross-Region inference profile.
response = client.converse(
    modelId=PROFILE_ID,
    messages=[{"role": "user", "content": [{"text": PROMPT}]}],
    inferenceConfig={"maxTokens": 1024},
    # GPT-6 Sol and Luna accept none through max. GPT-6 Astra rejects none.
    additionalModelRequestFields={"reasoning": {"effort": "low"}},
)

# Any effort above none can prepend a reasoningContent block, so pick the text
# block by key rather than by position.
text = "".join(b["text"] for b in response["output"]["message"]["content"] if "text" in b)

log.info("Called %s from %s", PROFILE_ID, REGION)
log.info("Stop reason: %s", response["stopReason"])
log.info("Response:\n%s", text)

OpenAI Chat Completions API。将 OpenAI SDK 指向区域端点并传入相同的配置文件 ID。

import logging
import os
from aws_bedrock_token_generator import provide_token
from openai import OpenAI

REGION = os.environ.get("AWS_REGION", "ap-southeast-1")
PROFILE_ID = os.environ.get("BEDROCK_PROFILE_ID", "global.openai.gpt-6-sol")
PROMPT = "List three uses for a message queue."

logging.basicConfig(format="%(levelname)s %(message)s")
log = logging.getLogger("bedrock-cris")
log.setLevel(logging.INFO)

# provide_token mints a short-term key from your AWS credentials, valid up to 12 hours.
client = OpenAI(
    base_url=f"https://bedrock-runtime.{REGION}.amazonaws.com/openai/v1",
    api_key=provide_token(region=REGION),
)

response = client.chat.completions.create(
    model=PROFILE_ID,
    messages=[{"role": "user", "content": PROMPT}],
    max_completion_tokens=256,
)

log.info("Called %s from %s", PROFILE_ID, REGION)
log.info("Response:\n%s", response.choices[0].message.content)

迁移现有 OpenAI 客户端时：

在每次请求上设置 model 参数，包括引用先前响应的请求。
使用受支持的工具类型：function、mcp、custom、namespace 和 tool_search。
直接在客户端中配置推理配置文件 ID，而不是查询 models 端点。

设置 ChatGPT 桌面应用和 Codex CLI

ChatGPT 桌面应用和 Codex CLI 共享 ~/.codex/config.toml，因此一处更改即可覆盖两者。在两个内置的 Amazon Bedrock 提供程序中，只有 amazon-bedrock-runtime 接受推理配置文件。

model = "global.openai.gpt-6-astra"
model_provider = "amazon-bedrock-runtime"
[model_providers.amazon-bedrock-runtime.aws]
region = "ap-southeast-1"

SigV4 签名意味着没有需要轮换的密钥。为非默认配置文件添加 profile = "<your-profile>"，并显式设置 region，因为客户端否则会回退到 AWS_REGION。替换为另一个配置文件 ID 以更改模型，替换 model。

Codex 报告这些配置文件的上下文窗口为 272,000 个 token，这是它自己捆绑的数字，而不是服务限制。使用 model_context_window 提高它。此配置需要 Codex CLI 0.148 或更高版本。

图 2 显示了应用中的结果。

图 2：在 Amazon Bedrock 上运行 GPT-6 Astra 的 ChatGPT 桌面应用

安全与权限

Amazon Bedrock 提供了一系列推理控制措施。其中有两项在此很重要。AWS Identity and Access Management（IAM）策略控制哪些角色可以调用哪些配置文件，而服务控制策略（SCP）则应用组织范围的控制，包括区域范围。本节涵盖这两者，以及请求数据最终落在何处。

全球跨区域推理的 IAM 权限

要通过全球跨区域推理配置文件调用这些模型中的任意一个，你的 IAM 策略需要四条语句：

访问源区域中的推理配置文件以及项目/默认资源。
访问源区域中的基础模型，范围限定为该推理配置文件。
基础模型的区域无关 Amazon Resource Name (ARN)，即 arn:aws:bedrock:::foundation-model/openai.gpt-6-sol，并将 aws:RequestedRegion 设置为 unspecified 以允许跨区域路由。
用于 API 密钥身份验证的 bedrock:CallWithBearerToken。

This IAM policy grants permission to invoke GPT-6 Sol through global cross-Region inference from ap-southeast-1. Replace with your AWS account ID and ap-southeast-1 with your source Region.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "GrantGlobalCrisProfileAndProjectAccess",
      "Effect": "Allow",
      "Action": ["bedrock:InvokeModel"],
      "Resource": [
        "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol",
        "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:project/default"
      ],
      "Condition": {
        "StringEquals": { "aws:RequestedRegion": "ap-southeast-1" }
      }
    },
    {
      "Sid": "GrantGlobalCrisInRegionModelAccess",
      "Effect": "Allow",
      "Action": ["bedrock:InvokeModel"],
      "Resource": ["arn:aws:bedrock:ap-southeast-1::foundation-model/openai.gpt-6-sol"],
      "Condition": {
        "StringEquals": {
          "aws:RequestedRegion": "ap-southeast-1",
          "bedrock:InferenceProfileArn": "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol"
        }
      }
    },
    {
      "Sid": "GrantGlobalCrisGlobalModelAccess",
      "Effect": "Allow",
      "Action": ["bedrock:InvokeModel"],
      "Resource": ["arn:aws:bedrock:::foundation-model/openai.gpt-6-sol"],
      "Condition": {
        "StringEquals": {
          "aws:RequestedRegion": "unspecified",
          "bedrock:InferenceProfileArn": "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol"
        }
      }
    },
    {
      "Sid": "AllowBearerTokenAuth",
      "Effect": "Allow",
      "Action": ["bedrock:CallWithBearerToken"],
      "Resource": "*"
    }
  ]
}

如果您使用流式传输（converse_stream 或 stream=True），请在前三条语句的 Action 中添加 bedrock:InvokeModelWithResponseStream。Converse 的授权为 bedrock:InvokeModel。如果您仅使用 SigV4 凭证调用 Converse，请删除第四条语句。

要切换模型，请将全文中的 openai.gpt-6-sol 替换为 openai.gpt-6-luna 或 openai.gpt-6-astra。完整参考请参阅全球跨区域推理的 IAM 策略要求。

全球跨区域推理的服务控制策略注意事项

全球跨区域推理请求不携带区域名称。Amazon Bedrock 会将 aws:RequestedRegion 设置为 unspecified，因此 SCP 中的区域允许列表会拒绝该调用，并且错误信息仅指明策略类型，而不指明具体是哪个策略。这是企业账户中首次调用失败的常见原因。

与其扩大允许列表，不如缩小例外范围。Amazon Bedrock 会在授权期间填充 bedrock:InferenceProfileArn 条件键，因此 SCP 可以允许这些配置文件，同时保留对其他所有内容的区域控制。以下 SCP 即实现了这一点。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DenyOutsideApprovedRegionsExceptBedrockInvoke",
      "Effect": "Deny",
      "NotAction": [
        "iam:*", "sts:*", "organizations:*", "account:*",
        "route53:*", "cloudfront:*", "waf:*", "wafv2:*", "shield:*",
        "support:*", "trustedadvisor:*", "health:*",
        "budgets:*", "ce:*", "cur:*", "tax:*", "billing:*",
        "bedrock:Invoke*"
      ],
      "Resource": "*",
      "Condition": {
        "StringNotEquals": { "aws:RequestedRegion": ["ap-southeast-1"] }
      }
    },
    {
      "Sid": "DenyBedrockInferenceOutsideApprovedRegionsUnlessCris",
      "Effect": "Deny",
      "Action": ["bedrock:Invoke*"],
      "Resource": "*",
      "Condition": {
        "StringNotEquals": { "aws:RequestedRegion": ["ap-southeast-1"] },
        "ArnNotLike": {
          "bedrock:InferenceProfileArn": [
            "arn:aws:bedrock:*:*:inference-profile/global.*"
          ]
        }
      }
    }
  ]
}

第一条语句对除 Amazon Bedrock 推理之外的所有服务强制执行您的区域允许列表。第二条语句拒绝在这些区域之外进行该推理，除非它通过全球跨区域推理配置文件进行路由。对于地理配置文件，请将其前缀（例如 inference-profile/us.*）添加到 ArnNotLike 列表中，因为地理请求携带真实的区域名称。请将您的源区域保留在允许列表中，并将您的组织使用的全球服务添加到 NotAction。

一个更直接的选择是将 unspecified 添加到您现有的允许列表中，这样做可行，但会向其他所有服务开放同样的例外。如需可直接使用的策略文件，请参阅 aws-samples service-control-policy-examples 仓库。

数据保留与滥用检测

对于自动化离线滥用检测，被分类器标记的流量会由 AWS 保留最多 30 天并以编程方式处理。在跨区域推理下，该保留发生在目标区域，对于全球配置文件而言，即模型部署所在的任何受支持的商业 AWS 区域。符合条件的客户可以通过其 AWS 账户团队申请完全零数据保留。更多信息请参阅 Amazon Bedrock 滥用检测和数据保留。

如果您的组织有数据驻留要求，请尽早将此提交给您的风险与合规团队。请参阅 AWS 金融服务合规中心中这五个国家的国家/地区页面。我们建议您就与您的业务相关的要求自行获取合规建议。

配额管理

bedrock-runtime 上的 GPT-6 配额以每分钟令牌数 (TPM) 计量，并按您调用的源区域进行跟踪。输入令牌和缓存写入令牌按 1:1 计算，每个输出令牌消耗 10 个令牌的配额。例如，一个包含 2,000 个输入令牌和 1,000 个输出令牌的请求会从您的配额中消耗 12,000 个令牌。

Amazon Bedrock 会预先预留完整的 max_tokens，因此请将其设置得接近你预期的补全量。一个配额覆盖 InvokeModel、Converse、Responses 和 Chat Completions。请从你的源区域在 Service Quotas 控制台中查看并提高该配额。在生产之前，请尽早申请提高配额，并在 AWS/Bedrock 命名空间中对 EstimatedTPMQuotaUsage 设置告警，阈值为分配量的 70–80%。当前数值请参阅 How tokens are counted in Amazon Bedrock 和 Amazon Bedrock endpoints and quotas。

监控与日志记录

你的运维面仍保留在源区域。Amazon CloudWatch 指标、AWS CloudTrail 事件、模型调用日志、配额核算和账单都保留在你发起调用的区域。你按该区域的费率付费，而不是按处理区域的费率付费。

CloudTrail 会记录每个请求的处理位置。AWS 将全球跨区域推理配置文件的目的地记录为其商业区域，而不是逐一列举。GetInferenceProfile 返回的是与区域无关的模型 ARN 和源区域模型 ARN，而不是目的地列表。你的每请求记录是源区域 CloudTrail 中的 additionalEventData.inferenceRegion。此端点上的推理属于管理事件，默认记录且不产生额外费用。CloudTrail Event History 保留 90 天，因此更长的时间范围需要配置跟踪或模型调用日志。使用以下命令检索 CloudTrail 事件。

aws cloudtrail lookup-events \
  --region ap-southeast-1 \
  --lookup-attributes AttributeKey=EventSource,AttributeValue=bedrock.amazonaws.com \
  --start-time <START> \
  --end-time <END> \
  --max-results 1 \
  --query 'Events[0].CloudTrailEvent' --output text | python3 -m json.tool

将时间窗口设置在你刚发起的调用附近，因为 CloudTrail 的投递会延迟几分钟。如果最近的事件是一次失败的调用，它会带有 errorCode 而没有 inferenceRegion。提高 --max-results 并选择一个没有 errorCode 的事件。

{
  "eventName": "Converse",
  "eventSource": "bedrock.amazonaws.com",
  "awsRegion": "ap-southeast-1",
  "managementEvent": true,
  "requestParameters": {
    "modelId": "global.openai.gpt-6-sol",
    "inferenceConfig": { "maxTokens": 1024 }
  },
  "additionalEventData": {
    "inferenceRegion": "us-east-1"
  }
}

指标和编码代理的使用情况保留在 CloudWatch 中。当开发者通过编码代理访问 GPT-6 时，CloudWatch Coding Agent Insights 会在 GenAI Observability 下添加现成的仪表板，按用户、团队和成本中心细分 token 使用量。这些代理原生发出 OpenTelemetry 指标。关于 Codex，请参阅 Set up OpenTelemetry for OpenAI Codex。

清理

本文添加了一个 IAM 策略，并可选地添加一个 SCP 语句和一个日志记录目的地。请分离或删除你附加的 IAM 策略，如果你添加了 SCP 条目，请将其还原。如果你创建了模型调用日志记录目的地，请在 Amazon Simple Storage Service（Amazon S3）或 Amazon CloudWatch Logs 中将其删除，以避免存储费用。全球跨区域推理配置文件是系统定义的，因此无需删除任何内容。

结论

本文展示了如何通过 bedrock-runtime 上的全球跨区域推理，从五个亚太源区域调用 GPT-6 Sol 和 GPT-6 Luna，并从亚太地区（新加坡）调用 GPT-6 Astra。将全球跨区域推理配置文件 ID 作为 model 参数传入，并配置本文中的 IAM 策略和 SCP 例外。同一端点提供 OpenAI 兼容 API，因此现有的 OpenAI 集成只需更改基础 URL 和密钥即可迁移。

要开始使用，请附加本文中的 IAM 策略，并通过 global.openai.gpt-6-sol 发送第一个请求。按 10 倍消耗速率设置你的每分钟 token 配额，并在 CloudTrail 中确认你的调用中出现 additionalEventData.inferenceRegion。

关于作者

Traci Lim

Traci 是 AWS 驻新加坡的高级 AI/ML 专家技术客户经理。作为一名机器学习工程师，他与初创企业和大型企业合作，将 AI/ML 应用投入生产并实现规模化运营，重点关注 GenAIOps、Agentic Ops、卓越运营以及成本与性能优化。在加入 AWS 之前，Traci 曾在科技和金融行业领导工程团队，在 AWS、Azure、GCP 和 SAP 上扩展分布式 AI 系统。他骨子里是个构建者，始终在寻找通过技术创造有意义影响的方法。

Karan Jhaveri

Karan 是 AWS 驻新加坡的高级技术客户经理。他与公共部门和企业客户合作，将生成式 AI 从实验阶段推进到规模化生产。他喜欢保持亲力亲为，深入细节并构建能够解决实际运营问题的解决方案。

Melanie Li

Melanie 博士是 AWS 驻澳大利亚悉尼的高级生成式 AI 专家解决方案架构师，她的工作重点是帮助客户使用最先进的 AI/ML 工具构建解决方案。她积极参与了亚太及日本地区（APJ）的多个生成式 AI 项目，充分发挥 LLM 的能力。在加入 AWS 之前，Li 博士曾在金融和零售行业担任数据科学相关职位。

Zohreh Norouzi

Zohreh 是 Amazon Web Services（AWS）的高级安全解决方案架构师。她帮助客户做出正确的安全决策，并加速他们迁移到 AWS 云的进程。她积极参与 AI 安全相关项目，利用自己的专业知识帮助客户大规模构建安全的 AI 解决方案。

Saurabh Trikande

Saurabh 是 Amazon Bedrock 和 Amazon SageMaker Inference 的高级产品经理。他热衷于与客户和合作伙伴合作，以推动 AI 民主化为目标。他专注于部署复杂 AI 应用、多租户模型推理、成本优化以及让生成式 AI 模型的部署更易获取等核心挑战。业余时间，Saurabh 喜欢徒步、了解创新技术、关注 TechCrunch，以及与家人共度时光。

Chris Dickens

Chris 是 OpenAI 的产品团队成员，专注于 OpenAI API。他的工作包括与 AWS 在 Amazon Bedrock 上合作，让 OpenAI 的前沿模型能够被开发者广泛使用。

在 Amazon Bedrock 上通过全球跨区域推理访问 OpenAI GPT-6 模型（泰国、马来西亚、新加坡、印尼、台湾）

AI 导读

正文· AI 翻译

OpenAI GPT-6 的全球跨区域推理配置文件

在 Amazon Bedrock 上开始使用 OpenAI 模型

先决条件

通过 Amazon Bedrock Runtime 调用 GPT-6 模型

设置 ChatGPT 桌面应用和 Codex CLI

安全与权限

全球跨区域推理的 IAM 权限

全球跨区域推理的服务控制策略注意事项

数据保留与滥用检测

配额管理

监控与日志记录

清理

结论

关于作者

Traci Lim

Karan Jhaveri

Melanie Li

Zohreh Norouzi

Saurabh Trikande

Chris Dickens

相关资讯专题

相关资讯专题

在 Amazon Bedrock 上通过全球跨区域推理访问 OpenAI GPT-6 模型（泰国、马来西亚、新加坡、印尼、台湾）

AI 导读

正文· AI 翻译

OpenAI GPT-6 的全球跨区域推理配置文件

在 Amazon Bedrock 上开始使用 OpenAI 模型

先决条件

通过 Amazon Bedrock Runtime 调用 GPT-6 模型

设置 ChatGPT 桌面应用和 Codex CLI

安全与权限

全球跨区域推理的 IAM 权限

全球跨区域推理的服务控制策略注意事项

数据保留与滥用检测

配额管理

监控与日志记录

清理

结论

关于作者

Traci Lim

Karan Jhaveri

Melanie Li

Zohreh Norouzi

Saurabh Trikande

Chris Dickens

相关阅读

相关资讯专题

相关评测