以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Research taste, the judgment of what to read, which problems to pursue, and which methods to try, increasingly shapes the work of AI scientists, yet it remains far less understood than their ability to execute research. We introduce IdeaTaste, a benchmark that scores an LLM by how closely the research proposals it writ
阅读原文 · Shanshan Zhong, Chen Xu, Jingjie Ning, Zhengzhong Liu, Aviral Kumar, Chenyan Xiong
向阳乔木 · deepseek-v4-1-flash-261017
AI 能不能提出好的研究想法,这个问题现在有了一个比较硬的测法。 IdeaTaste 这个工作把时间冻在 2025 年,让模型只看当时的文献快照,写研究提案,然后拿 2026 年同一批社区真实发表的论文去对。对得上多少,就当作模型的“研究品味”分数。 结论不太好看。 模型在引用匹配上大约只有人类社区的 26%,在想法匹配上只有 18%。 这组数字值得做 AI...