观测性能

LLMonitor是一个面向AI开发者的开源观测性能与评估工具。Vince和Hugh联手打造了这个工具，旨在提供对AI应用的深度监控。 主要特点和功能： 快速集成：与OpenAI或LangChain一键集成，开始记录数据。 完整查询和错误记录：记录完整查询和错误信息。 成本、令牌和延迟指标：将性能指标转化为成本、令牌和延迟。 用户跟踪：追踪用户及其使用情况。 聊天对话和用户反馈记录：记录聊天对话和用户反馈。 提示游乐场：用于迭代提示的游乐场。 追踪：轻松调试代理的追踪功能。 输出质量评估：对输出质量进行评估。 欢迎体验，您可以选择在自己的服务器上进行自托管，或使用我们的云托管版本（每日免费达到1,000次事件）。 Vince最初在他的创业公司内部构建了LLMonitor，因为他们对用户与他们的聊天机器人的交互方式一无所知，迫切需要一种轻松监控聊天和LLM查询的方法。 如果您正在构建由AI驱动的对话应用，我们非常愿意听取您的想法，并了解如何改进LLMonitor！ 同时，如果您喜欢我们的工具，请在GitHub上给我们一个⭐星：https://github.com/llmonitor/llmonitor