头版Folia Daily Briefing
← 返回头版
科技人工智能

Grafana发布Go LLM SDK,支持流式响应和多个AI服务提供商

Grafana推出了一款Go语言的大语言模型开发工具包[1]。该SDK支持流式文本响应和完整文本生成两种模式,开发者可根据需求选择实时流式响应(StreamText)或等待完整结果(GenerateText)[1]。

这款工具包兼容多个主流AI服务提供商,包括Anthropic、Amazon Bedrock、OpenAI、OpenAI兼容API以及Grafana自有托管端点[1]。SDK还内置了工具调用、结构化输出和多步骤代理功能[1]。在前端集成方面,该SDK提供了React兼容的hooks库,包括useChat、useCompletion、useObject等组件[1]。

为满足生产环境需求,SDK还配备了超时设置、回退机制、日志管理、Prometheus指标导出以及代理可观测性支持[1]。该项目采用Apache License 2.0开源许可证发布[1]。


Go LLM SDKAI后端流式响应工具调用Grafana