推理合集

GPU推理时代终结？世界最大芯片加持推理狂飙20倍，英伟达H100也被干趴！ LLM若想高速推理，现如今，连GPU都无法满足了？曾造出世界最大芯片公司Cerebras，刚刚发布了全球最快的AI推理架构——Cerebra...

推理大模型1年内就会撞墙，性能无法再扩展几个数量级 | FrontierMath团队最新研究 一年之内，大模型推理训练可能就会撞墙。以上结论来自Epoch AI。这是一个专注于人工智能研究和基准测试的非营利组织，之前名...

OpenAI o1强推理能提升安全性？长对话诱导干翻o1 本文作者来自于上海交大，上海 AI Lab 和北航。第一作者是上海交大博士生任麒冰，导师为马利庄教授，其他作者包括北航研究生李昊，上海 AI Lab 研究员刘东...

400万token上下文、推理再加速46%！最新开源方案升级MIT成果，推理成本再降低 22倍加速还不够，再来提升46%，而且方法直接开源！这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。Strea...

将集体学习引入树搜索，新方法CoMCTS实现o1-like的推理与反思 “What I cannot create, I do not understand.”---Richard Feynman尽管多模态大语言模型（...