模型推理框架

大模型边推理边纠错，有可能做到吗？这是ICML爆火的演讲 即便是最强大的语言模型（LLM），仍会偶尔出现推理错误。除了通过提示词让模型进行不太可靠的多轮自我纠错外，有没有更系统的方法解决这一问题呢？来自 Meta FA...

大模型推理成本降10倍、速度快20倍，AI Infra公司「趋境科技」在推理端开创模型落地新路径 2024年，落地，无疑是大模型最重要的主题。尽管最新推出的拥有千亿参数和十万上下文的大模型在效果上取得了显著进展，但它们...

大模型不会推理，为什么也能有思路？有人把原理搞明白了 大模型不会照搬训练数据中的数学推理，回答事实问题和推理问题的「思路」也不一样。大语言模型的「推理」能力应该不是推理，在今年 6 月，...

推理模型规划任务成功率从5%到95%，DeepMind遗传算法新研究火了 瞄准推理时扩展（Inference-time scaling），DeepMind新的进化搜索策略火了！所提出的“Mind Evolution”（...