关于人工智能:解锁-AI-潜力-使用-GreptimeAI-深入观测-OpenAI-行为和用量

138次阅读

共计 1759 个字符,预计需要花费 5 分钟才能阅读完成。

随着人工智能技术的迅速提高,OpenAI 曾经锋芒毕露,成为该畛域的领军者之一。它在多种语言解决工作上体现卓越,包含机器翻译、文本分类和文本生成等。

然而,应用 OpenAI 时,继续监控 API 调用的重要性不容忽视,这不仅能够帮忙咱们辨认出性能瓶颈,统计和剖析应用状况,还能够帮忙咱们在 API 呈现问题时疾速发现并进行相应的解决。

GreptimeAI

GreptimeAI 提供了专为监测和治理大型语言模型(LLM)利用设计的定制可观测性解决方案。这一计划使您可能全面理解 老本、性能、流量和安全性 方面的状况。更多对于 GreptimeAI 的产品细节,请参阅 此文。值得一提的是,GreptimeAI 的存储解决方案构建于开源时序数据库 GreptimeDB 之上。

哪些 OpenAI 的模块会被监控

  • chat
  • completion
  • audio
  • images

反对的场景

  • async
  • stream
  • with_raw_response
  • retry
  • error

用户指南

装置 GreptimeAI

pip install --upgrade greptimeai

注册 GreptimeAI

首先,注册 GreptimeAI 以创立一个服务,并获取以下参数:

  • host
  • database
  • token

配置

在环境变量中设置 GreptimeAI 须要的配置:

export GREPTIMEAI_HOST='xxx'
export GREPTIMEAI_DATABASE='xxx'
export GREPTIMEAI_TOKEN='xxx'

如果你心愿间接传递参数,能够这么做:

openai_patcher.setup(host=os.environ.get("GREPTIMEAI_HOST"),
    database=os.environ.get("GREPTIMEAI_DATABASE"),
    token=os.environ.get("GREPTIMEAI_TOKEN"),
    client=client,
)

Example

以下是一个简略的示例,阐明如何在启用了 GreptimeAI 跟踪的状况下调用 OpenAI chat completion 模块。

from greptimeai import openai_patcher
from openai import OpenAI

client = OpenAI()
openai_patcher.setup(client=client)

completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "How do I output all files in a directory using Python?",
        }
    ],
    model="gpt-4",
    user="<user_id_from_your_application>",
    stream=True,
)

What does it look like in GreptimeAI

Overview:

下图展现了带有多个 span 的追踪细节:

对于 Greptime 的小常识:

Greptime 格睿科技于 2022 年创建,目前正在欠缺和打造时序数据库 GreptimeDB,格睿云 GreptimeCloud 和可观测工具 GreptimeAI 这三款产品。

GreptimeDB 是一款用 Rust 语言编写的时序数据库,具备分布式、开源、云原生和兼容性强等特点,帮忙企业实时读写、解决和剖析时序数据的同时升高长期存储老本;GreptimeCloud 能够为用户提供全托管的 DBaaS 服务,可能与可观测性、物联网等畛域高度联合;GreptimeAI 为 LLM 量身打造,提供老本、性能和生成过程的全链路监控。

GreptimeCloud 和 GreptimeAI 已正式公测,欢送关注公众号或官网理解最新动静!

官网:https://greptime.cn/

GitHub: https://github.com/GreptimeTeam/greptimedb

文档:https://docs.greptime.cn/

Twitter: https://twitter.com/Greptime

Slack: https://greptime.com/slack

LinkedIn: https://www.linkedin.com/company/greptime/

正文完
 0