月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake

IT之家
2024-12-04 17:26:25

【月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake】本次开源将采用分阶段的方式，逐步开源高性能 KVCache 多级缓存 Mooncake Store 的实现，同时针对各类推理引擎和底层存储 / 传输资源进行兼容。详情点击：月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake