通用功能#

这里的示例都是针对使用LLMs的某些“如何”指南。

• 如何使用异步API处理LLMs

• 如何编写自定义LLM包装器

• 如何（以及为什么）使用假LLM

• 如何缓存LLM调用

• 如何序列化LLM类

• 如何流式传输LLM和聊天模型响应

• 如何跟踪令牌使用情况