支持模型
使用 AI 模型进行原型制作
免费查找和试验 AI 模型。
本文内容
如果要开发生成式 AI 应用程序，则可以使用 GitHub Models 免费查找和试验 AI 模型。 准备好将应用程序引入生产环境后，可从付费 Azure 帐户切换到令牌。 请参阅 Azure CLI 文档。
另请参阅“负责任地使用 GitHub 模型”。
查找 AI 模型
若要查找 AI 模型，请转到 GitHub Marketplace，然后单击边栏中的 “模型”。
若要查看模型的详细信息，请单击模型的名称。
在操场中试验 AI 模型
操场处于有限的公共 beta 版，可能会发生变化。 若要请求访问，请加入候补名单。
GitHub Marketplace 提供了一个免费操场，可在其中调整模型参数并提交提示来查看模型响应方式。
若要打开操场，请转到 GitHub Marketplace，然后单击边栏中的 “模型”。 单击模型的名称，然后单击 “操场”。
若要调整模型的参数，请选择边栏中的 “参数”选项卡。 若要查看与所选参数对应的代码，请从“聊天”选项卡切换到“代码”选项卡。
操场速率有限。 请参阅下面的速率限制。
使用 API 试验 AI 模型
免费 API 使用处于有限的公共 beta 版，可能会发生变化。 若要请求访问，请加入候补名单。
GitHub 提供免费的 API 使用，以便你可以在自己的应用程序中试验 AI 模型。
若要了解如何在应用程序中使用模型，请转到 GitHub Marketplace，然后单击边栏中的 “模型”。 单击模型的名称，然后单击 “代码”。
使用每个模型的步骤都是相似的。 一般而言，需要：
（可选）使用语言下拉列表选择编程语言。
（可选）使用 SDK 下拉列表选择要使用的 SDK。
所有模型都可以与 Azure AI 推理 SDK 一起使用，有些模型支持其他 SDK。 如果想在模型之间轻松切换，应选择“Azure AI 推理 SDK”。 如果选择“REST”作为语言，则不会使用 SDK。 而是直接使用 API 终结点。
打开 codespace 或设置本地环境：
若要在 codespace 中运行，请单击 “运行 codespace”，然后单击“创建新 codespace”。
若要在本地运行，请执行以下操作：
创建 GitHub personal access token。 令牌不应具有任何作用域或权限。 请参阅“管理个人访问令牌”。
将令牌另存为环境变量。
如果需要，安装 SDK 的依赖项。
使用示例代码向模型发出请求。
免费 API 使用的速率受限制。 请参阅下面的速率限制。
插一句话，如果是oneapi接入，那个自定义渠道会自己加个v1/chat/completions，这样的话使用oneapi的只能自己转发一层
如果是newapi，则可以直接填入
https://models.inference.ai.azure.com/chat/completions投放生产
操场和免费 API 使用的速率限制旨在帮助你试验模型并开发 AI 应用程序。 准备好将应用程序引入生产环境后，可以使用付费 Azure 帐户中的令牌，而不是 GitHub personal access token。 不需要更改代码中的其他任何内容。 有关详细信息，请参阅 Azure AI 文档。
速率限制
操场和免费 API 使用受到每分钟请求数、每天请求数、每个请求的令牌数和并发请求数的速率限制。 如果受到速率限制，则需要等待命中的速率限制重置，然后才能发出更多请求。
低、高和嵌入模型具有不同的速率限制。 若要查看所使用的模型类型，请参阅 GitHub Marketplace 中的模型信息。
这些速率可能随时更改，恕不另行通知。
