私有化RAG框架的设计与实现 发表于 2024-11-27 | 分类于 士兵突击 | 阅读量 883 0.1 摘要 在使用LLM开源模型的过程中,仅仅对 Prompt Engineer 即 提示词工程 上面做功夫必然不能够满足工业领域较为复杂的应用场景。因此本人决定重构一套架构,这并不是造轮子,更不是法轮功,而是以 松耦合 的应用视角把组件视为服务。 本文部分引用了2024年04月开源的RagFlow。 阅读全文 »
GPU算力服务器裸机的容器共享化架构的用户视角 发表于 2024-10-31 | 分类于 士兵突击 | 阅读量 689 0.1 摘要 本文对我校A100服务器进行配置,利用 Docker容器 实现多用户的共享使用,同时实现远程运维、硬件资源监控等高权限管理操作。 文中部分敏感信息不予公布,本文仅用作技术日志,不作为服务器维护参考。 阅读全文 »
对GPU算力服务器裸机的容器共享化架构设想与实践 发表于 2024-10-30 | 分类于 士兵突击 | 阅读量 631 摘要 本文对我校A100服务器进行配置,利用 Docker容器 实现多用户的共享使用,同时实现远程运维、硬件资源监控等高权限管理操作。 文中部分敏感信息不予公布,本文仅用作技术日志,不作为服务器维护参考。 阅读全文 »