说白了,当下用大模型最大的痛点就是:它太通用了。OpenAI的GPT、Meta的Llama这些开源模型,确实什么都能做,但对你的特定业务场景来说,那就是"什么都会,什么都不行"。微调就是来解决这个问题的——用你的私有数据,让模型学会你的"方言"。我之前在生产环境里踩过不少坑。显存不够、训练巨慢...
前两天升级集群的时候顺手刷了一下Kubernetes官方博客,突然看到一篇标题让我愣了一下——Running Agents on Kubernetes with Agent Sandbox。点进去一看,好家伙,K8s社区居然正儿八经地搞了一个SIG级别的项目,专门解决"怎么在集群里跑AI Ag...
我之前在做一个多云项目的时候,整个基础设施的管理全靠手动操作——控制台点来点去,改个安全组规则都得登录上去找半天。后来有一次,同事在控制台改了个 VPC 的路由表,没通知任何人,结果线上服务挂了两个小时才排查出来。从那以后我就下定决心,基础设施必须用代码管起来,Terraform 就是从那个时...
最近一两年,只要跟AI沾边的东西都火得一塌糊涂,什么大模型、RAG、Agent,天天刷屏。但有一个东西,很多人天天在用,却说不清楚它到底是个啥——向量数据库。我自己第一次接触向量数据库的时候也是一脸懵,心想这不就是个数据库吗,跟MySQL有啥区别?后来真正在项目里用上了,才发现这玩意儿跟传统数...
最近被AI应用开发搞得有点上头。事情是这样的,公司领导突然说要搞个"智能知识库问答系统",让内部的运维文档、故障处理手册能通过对话的方式查询。需求倒是不复杂,但我一个搞运维的,平时写写shell脚本、搞搞自动化部署还行,这突然让我去搞AI应用开发,属实有点赶鸭子上架了。调研了一圈之后,Lang...
热爱技术的云计算运维工程师,Python全栈工程师,分享开发经验与生活感悟。
欢迎关注我的微信公众号@运维躬行录,领取海量学习资料