GPU算力服务器裸机的容器共享化架构的用户视角 发表于 2024-10-31 | 分类于 士兵突击 | 阅读量 3220 0.1 摘要 本文对我校A100服务器进行配置,利用 Docker容器 实现多用户的共享使用,同时实现远程运维、硬件资源监控等高权限管理操作。 文中部分敏感信息不予公布,本文仅用作技术日志,不作为服务器维护参考。 阅读全文 »
对GPU算力服务器裸机的容器共享化架构设想与实践 发表于 2024-10-30 | 分类于 士兵突击 | 阅读量 4305 摘要 本文对我校A100服务器进行配置,利用 Docker容器 实现多用户的共享使用,同时实现远程运维、硬件资源监控等高权限管理操作。 文中部分敏感信息不予公布,本文仅用作技术日志,不作为服务器维护参考。 阅读全文 »
LLM模型技术路线2——知识库视角-对结构化、非结构化数据的向量库构建过程中的 预处理与运行时参数 发表于 2024-10-28 | 分类于 生存之民工 | 阅读量 1832 本文章仅代表个人观点,无涉政、涉黄、涉暴力等违规内容。 文中包含的学术、商业观点仅代表个人立场,无宣传、声明性质。
对RagFlow创建本地Agent的私有化搭建与调优经验 发表于 2024-10-26 | 分类于 游离态 | 阅读量 4747 0.1 摘要 在使用LLM开源模型的过程中,仅仅对 Prompt Engineer 即 提示词工程 上面做功夫必然不能够满足工业领域较为复杂的应用场景。 对于本地开源LLM和本地开源RAG建立向量知识库,本文选择了2024年04月开源的RagFlow。 阅读全文 »
对于LLM推理过程中部分超参数的个人理解 发表于 2024-10-25 | 分类于 游离态 | 阅读量 2223 0.1 摘要 在使用LLM开源模型的过程中,提示词Prompt固然重要,但在工作流WorkFlow的开发中需要对运行时(推理时)相关超参数进行一定地经验调整。 本文对LLM推理过程中常见的超参数进行通俗解释,其中不乏由于个人对LLM基础知识不牢所带来的理解错误,您可以在评论中指出。 阅读全文 »