这几天在使用llama.cpp遇到了一个坑，查阅了网上基本没啥资料提过，最后通过ollama部署的qwen3.6才有进展并解决。 坑点 就是在上篇中下载使用了在github中发布的cuda版本，于是就愉快地运行了，以为部署就完成了，毕竟运行结果测试都是正常的。直到在部署 hermes 时问题来了，在
新电脑到了，自然少不了本地搭建一套本地大模型环境了，毕竟16G的显存还是嘎嘎抗揍的。之前用的比较多的是使用ollama搭建，不过看了最近比较火的 llama.ccp之后决定尝试看看， 学习 llama.cpp 时，不用深究底层原理、复杂编译优化和模型量化细节，日常 90% 的落地场景，都是用 CLI
上一篇介绍了目前市面上比较常用的几个Java语言领域实现的AI大模型对接框架，在我们继续了解与使用这些框架之前，有必要先掌握这些框架的一些核心组件与概念，后续在使用AI框架开发AI应用时基本就是围绕这些概念进行实现或拓展，这里所介绍的组件主要是以SpringAI框架为主，具体组件区别以具体框架为准。
我们上次探讨了Java常用Web框架，今天，让我们把目光转向Java生态中另一个蓬勃发展的领域——AI框架。正如Spring、Vert.x、Quarkus等框架各有所长，在AI开发领域，Java同样涌现出了SpringAI、Langchain4J、SpringAIAlibaba等各具特色的解决方案。
在 Spring 框架持续进化以满足企业级开发不断变化的需求之际，面对人工智能领域的蓬勃发展，Spring 团队于 2023 年初悄然启动了一个具有前瞻性的项目 ——Spring AI，其首个正式版本 1.0 于 2025 年 5 月 20 日震撼发布，宣告着 Java 生态系统全面进军 AI 领域
