LangChain

PromptLayer

PromptLayer是第一个允许您跟踪、管理和共享GPT提示工程的平台。PromptLayer充当您的代码和OpenAI Python库之间的中间件。

PromptLayer记录所有您的OpenAI API请求，允许您在PromptLayer仪表板中搜索和探索请求历史记录。

此示例演示了如何连接到[PromptLayer]（https://www.promptlayer.com），以开始记录您的OpenAI请求。 (opens in a new tab)

另一个示例在[这里]（https://python.langchain.com/en/latest/ecosystem/promptlayer.html）。 (opens in a new tab)

安装PromptLayer#

要使用PromptLayer与OpenAI，需要安装promptlayer包。使用pip安装promptlayer。

!pip install promptlayer

引入Imports#

import os
from langchain.llms import PromptLayerOpenAI
import promptlayer

创建一个PromptLayer API密钥#

您可以在www.promptlayer.com (opens in a new tab)上单击导航栏中的设置齿轮，创建一个PromptLayer API密钥。

将其设置为名为PROMPTLAYER_API_KEY的环境变量。

您还需要一个名为OPENAI_API_KEY的OpenAI密钥。

from getpass import getpass
 
PROMPTLAYER_API_KEY = getpass()

os.environ["PROMPTLAYER_API_KEY"] = PROMPTLAYER_API_KEY

from getpass import getpass
 
OPENAI_API_KEY = getpass()

os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

使用 PromptLayerOpenAI LLM#

您可以选择传递 pl_tags ，以便使用PromptLayer的标记功能跟踪您的请求。

llm = PromptLayerOpenAI(pl_tags=["langchain"])
llm("I am a cat and I want")

上述请求现在应该出现在您的PromptLayer仪表板 (opens in a new tab)中。

使用PromptLayer Track#

如果您想要使用任何PromptLayer跟踪功能 (opens in a new tab)，您需要在实例化PromptLayer LLM时传递参数return_pl_id以获取请求ID。

llm = PromptLayerOpenAI(return_pl_id=True)
llm_results = llm.generate(["Tell me a joke"])
 
for res in llm_results.generations:
    pl_request_id = res[0].generation_info["pl_request_id"]
    promptlayer.track.score(request_id=pl_request_id, score=100)

使用此功能可以让您在PromptLayer仪表板中跟踪您的模型性能。如果您正在使用提示模板，您还可以将模板附加到请求中。

总的来说，这为您提供了在PromptLayer仪表板中跟踪不同模板和模型性能的机会。

Predictionguard Replicate