LLM输出的公式往往使用$
包裹,但Anki Manual指定\(
或\[
标识数学公式。
本工具可将LLM输出的原始Markdown中的公式批量转换为Anki支持语法,且区分了行间公式和行内公式。
具体的调参和分割效果需要自行多次尝试。
在边缘计算设备上部署大模型是一个新鲜事儿,网上教程多,但实战少,多为按照官网文档直接在线安装,本文主要解决以下几个问题:
在此,感谢 图为信息科技(深圳)有限公司 对我赞助的 TWOWIN TW-T806 设备。
本文设备的核心为 NVIDIA Jetson Orin NX ,原则上,本文的相关经验可供同核心或同系列开发板参考。
]]>在使用LLM开源模型的过程中,仅仅对 Prompt Engineer 即 提示词工程
上面做功夫必然不能够满足工业领域较为复杂的应用场景。因此本人决定重构一套架构,这并不是造轮子,更不是法轮功,而是以 松耦合 的应用视角把组件
视为服务
。
本文部分引用了2024年04月开源的RagFlow。
]]>本文对我校A100服务器进行配置,利用 Docker容器 实现多用户的共享使用,同时实现远程运维、硬件资源监控等高权限管理操作。
文中部分敏感信息不予公布,本文仅用作技术日志,不作为服务器维护参考。
]]>本文对我校A100服务器进行配置,利用 Docker容器 实现多用户的共享使用,同时实现远程运维、硬件资源监控等高权限管理操作。
文中部分敏感信息不予公布,本文仅用作技术日志,不作为服务器维护参考。
]]>