构建私有化LLM的初步成效、架构设计与消融实验

发表于 2024-11-06 | 分类于生存之民工 | 阅读量 1646

本文章仅代表个人观点，无涉政、涉黄、涉暴力等违规内容。

文中包含的学术、商业观点仅代表个人立场，无宣传、声明性质。

GPU算力服务器裸机的容器共享化架构的用户视角

发表于 2024-10-31 | 分类于士兵突击 | 阅读量 2728

本文对我校A100服务器进行配置，利用 Docker容器 实现多用户的共享使用，同时实现远程运维、硬件资源监控等高权限管理操作。

文中部分敏感信息不予公布，本文仅用作技术日志，不作为服务器维护参考。

发表于 2024-10-30 | 分类于士兵突击 | 阅读量 3835

本文对我校A100服务器进行配置，利用 Docker容器 实现多用户的共享使用，同时实现远程运维、硬件资源监控等高权限管理操作。

文中部分敏感信息不予公布，本文仅用作技术日志，不作为服务器维护参考。

发表于 2024-10-28 | 分类于生存之民工 | 阅读量 1595

本文章仅代表个人观点，无涉政、涉黄、涉暴力等违规内容。

文中包含的学术、商业观点仅代表个人立场，无宣传、声明性质。

发表于 2024-10-26 | 分类于游离态 | 阅读量 4409

在使用LLM开源模型的过程中，仅仅对 Prompt Engineer 即 提示词工程 上面做功夫必然不能够满足工业领域较为复杂的应用场景。

对于本地开源LLM和本地开源RAG建立向量知识库，本文选择了2024年04月开源的RagFlow。