这篇博文由我们优秀的贡献者 Thomas Vitale 共同撰写。

Ollama 现在支持来自 Hugging Face 的所有 GGUF 模型，允许通过 Spring AI 的 Ollama 集成访问 45,000 多个社区创建的模型，可在本地运行。

我们将探索如何使用 Spring AI 的此新功能。Spring AI Ollama 集成可以自动提取聊天补全和嵌入模型都无法使用的模型。这在切换模型或部署到新环境时非常有用。

使用 Ollama 设置 Spring AI

在您的系统上安装 Ollama：https://ollama.org.cn/download。

提示：Spring AI 还支持 通过 Testcontainers 运行 Ollama 或通过 Kubernetes 服务绑定 集成外部 Ollama 服务……

在人工智能快速发展的今天，开发人员一直在寻求增强其 AI 应用程序的方法。Spring AI 是一个用于构建 AI 驱动的应用程序的 Java 框架，它引入了一项强大的功能：Spring AI 顾问。

顾问可以增强您的 AI 应用程序，使它们更模块化、更便携且更易于维护。

如果您不方便阅读帖子，可以收听此**实验性**播客，该播客是根据博客内容**AI 生成**的

什么是 Spring AI 顾问？

从本质上讲，Spring AI 顾问是拦截并可能修改 AI 应用程序中聊天补全请求和响应流程的组件。该系统中的关键参与者是**AroundAdvisor**……

Spring AI 现在支持 NVIDIA 的大型语言模型 API，提供与各种 模型 的集成。通过利用 NVIDIA 的 OpenAI 兼容 API，Spring AI 允许开发人员通过熟悉的 Spring AI API 使用 NVIDIA 的 LLM。

我们将探讨如何配置和使用 Spring AI OpenAI 聊天客户端以连接到 NVIDIA LLM API。

• 演示应用程序代码可在 nvidia-llm GitHub 存储库中找到。
• SpringAI/NVIDIA 集成 文档。

先决条件

• 创建 NVIDIA 帐户并拥有足够的积分。
• 从 NVIDIA 提供的产品中选择您首选的 LLM 模型。例如，下面屏幕截图中的meta/llama-3.1-70b-instruct。
• 在模型页面中，获取您所选模型的 API 密钥。
……

OpenAI 最近 引入了 一项名为结构化输出的强大功能，该功能可确保 AI 生成的响应严格遵守预定义的 JSON 模式。此功能显着提高了 AI 生成内容在现实世界应用中的可靠性和可用性。今天，我们很高兴地宣布 Spring AI (1.0.0-SNAPSHOT) 已 完全集成支持 OpenAI 的结构化输出，以 Spring 原生方式为 Java 开发人员提供此功能。

下图显示了新的结构化输出功能如何扩展 OpenAI Chat API

注意：Spring AI 已经提供了一个强大的、与模型无关的结构化输出 实用程序，可用于各种 AI 模型，包括 OpenAI。OpenAI 结构化输出功能提供了一种额外的、一致的，但特定于模型的解决方案，目前仅适用于gpt-4o、gpt-4o-mini 及更高版本。

……

更快的信息处理不仅提供信息，还改变了我们感知和创新的方式。

Spring AI 是一个用于将 AI 功能集成到 Spring 应用程序中的强大框架，现在支持 Groq - 一个极快的 AI 推理引擎，支持工具/功能调用。

通过利用 Groq 的 OpenAI 兼容 API，Spring AI 通过调整其现有的 OpenAI Chat 客户端实现了无缝集成。这种方法使开发人员能够通过熟悉的 Spring AI API 利用 Groq 的高性能模型。

我们将探讨如何配置和使用 Spring AI OpenAI 聊天客户端以连接到 Groq。有关详细信息，请参阅 Spring AI Groq 文档 和相关的 测试……

本周早些时候，Ollama 引入了 一项令人兴奋的新功能：大型语言模型 (LLM) 的工具支持。

今天，我们很高兴地宣布 Spring AI (1.0.0-SNAPSHOT) 已完全采用此强大功能，将 Ollama 的功能调用功能引入 Spring 生态系统。

Ollama 的工具支持允许模型决定何时调用外部函数以及如何使用返回的数据。这开辟了无限的可能性，从访问实时信息到执行复杂的计算。Spring AI 采用此概念并将其无缝集成到……

更新：(2024 年 04 月 06 日) 添加了使用新的流畅 ChatClient API 使用结构化输出的代码片段。

更新：(2024 年 05 月 17 日) 为 BeanOutputConverter 添加了 泛型 支持。

科学处理事物的大块和小块，并假定其连续性，而艺术仅处理事物的连续性，并假定其大块和小块。- 罗伯特·M·佩尔西格

LLM 生成结构化输出的能力对于依赖于可靠解析输出值的后续应用程序非常重要。开发人员希望快速将 AI 模型的结果转换为数据类型，例如……

更新 2024 年 7 月 20 日：更新消息 API 层次结构图并更新支持多模态的模型名称

更新 2024 年 6 月 2 日：添加了另一个代码片段，展示了如何使用新的 ChatClient API。

人类通过多种数据输入模式同时处理知识。我们的学习方式，我们的经验都是多模态的。我们不仅仅拥有视觉、听觉和文本。

现代教育之父约翰·阿莫斯·夸美纽斯在其 1658 年的作品“世界图解”中阐述了这些学习的基本原则。

“所有自然关联的事物都应该结合起来教学”

……

更新：截至 2024 年 3 月 13 日，Mistral AI 已将其大型模型集成到其大型模型中，支持并行函数调用，此功能在该博客最初发布时不存在。

Mistral AI 是一家领先的开源大型语言模型开发商，它 发布了在其尖端模型中添加**函数调用**支持的消息。

**函数调用**是一项功能，它有助于将 LLM 与外部工具和 API 集成。它使语言模型能够请求执行客户端函数，从而允许它访问必要的运行时信息或执行任务……

什么是 Spring Cloud Function？

Spring Cloud Function 是一个基于 Spring Boot 的框架，允许用户通过将业务逻辑实现为 Java 函数（例如，Supplier、Function、Consumer）来专注于其业务逻辑。反过来，该框架提供了必要的抽象，以便在各种环境（例如，REST、流式处理）以及无服务器环境（例如 AWS Lambda 或 Azure Functions）中执行这些函数，而无需担心底层平台特定的细节。这使开发人员能够专注于编写其业务逻辑，并让框架处理…