优food

优于o1预览版，推理阶段KV缓存缩减一半，LightTransfer降本还能增效 LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV...