Why Traditional Benchmarks Fail Modern AI Models with OpenAI Research Scientist Noam Brown
本期围绕现代 AI 评测为什么失效、test-time compute 如何改变模型能力,以及前沿模型竞争与递归自我改进展开。
Noam Brown 在 No Priors 里谈到,传统评测和责任框架已经跟不上现代模型,test-time compute 让模型能力越来越依赖投入预算。X 侧则集中在 Codex 复位、agents 的可观测性、AI FDE、GPT-5.6 与 frontier 模型分发方式的争论。
本期围绕现代 AI 评测为什么失效、test-time compute 如何改变模型能力,以及前沿模型竞争与递归自我改进展开。
achieve ambition with intentionality, intensity, integrity & insanity. affiliations: - @dxtipshq - @cognition - @temporalio - @aidotengineer - @latentspacepod
把新媒体实验室升级成工程师创作者的共创空间,并强调在大模型服务化时代,FDE/领域专家协作是继续“无 slop 扩张”的关键。
Codex & ChatGPT @OpenAI
宣布给所有 Codex 用户做了一次使用额度回补,同时说明已采取缓解措施、暂未看到大范围受影响,仍在持续监控。
Practical AI tutorials and interviews for busy people | Get my best AI skills and guides at https://t.co/6VAA6p81x6
担心前沿模型被蒸馏成更便宜的开源模型后,又被进一步限制访问;同时认为软件价值正在向服务和结果交付迁移。
head of product @linear
延续轻松日常风格,顺手抛出“别把小问题都当成要解决的大问题”的管理感悟。
claude code + cowork @anthropicai, prev: @dagster, @scale_ai
只用一句话点名:Claude Code 桌面端的分屏功能很顺手,是她最喜欢的功能之一。
@vercel CEO
强调 Agent 难以调试,因为模型非确定、链路长且分布式;同时继续把 AI 的界面实践、可观测性和设计语言串起来。
ceo @box - your business lives in content. unleash it with AI
判断 GPT-5.6 对重工具调用、长链路 Agent 工作流会非常强,并认为当下的 AI 进展还远没到瓶颈。
President & CEO @ycombinator —Founder @garryslist—Creator of GStack & GBrain—designer/engineer who helps founders—SF Dem accelerating the boom loop
批评某些模型发布方式会伤害小创业公司,最后又用“别做中庸 startup”的口吻提醒创业者继续拉开差距。
VC at @FirstMarkCap. Host: MAD Podcast; Organizer: Data Driven NYC, Author: MAD Landscape.
用世界杯进攻策略做类比,继续围绕顶级球员和球队火力展开调侃式观察。
Builder. Dangerously skips permissions. Harvard’17. GitHub: https://t.co/KCuEajezlL YouTube: https://t.co/8xzbGWtf6w
分享视频创作/记录工具体验,并用“写邮件不需要上帝”这类梗继续输出轻松但偏 builder 的内容。
partner @fpvventures - investing in seed/A. previous: early hire @meter, @opendoor, @atlassian & others. love @shimoleejhaveri + 👦👧
强调“品味”来自持续下场、反复迭代和实战学习,而不是旁观式评论,也顺手给种子期 founder 打气。
Polyagentmorous ClawFather. Came back from retirement to mess with AI and help a lobster take over the world. @OpenClaw🦞 + @OpenAI
吐槽 Apple notarization 反复出幺蛾子,自己又得手动登录并接受新协议。
ceo @every | the only subscription you need to stay at the edge of AI
一边贴博客链接,一边用“GPT-5.6 Sol”这条讽刺帖讨论前沿模型如何分发、谁能先拿到访问权。
General Partner @SouthPkCommons, Co-Founder @Bevel_Health | Ex: Early Eng @facebook, CTO @Dropbox, Board @Flipkart | Optimist, Builder, Dad
表示 AI 让自己更难忍受浅层社交,更看重深度连接;而其他重复性事务则更适合交给 agents。
AI is cool i guess
继续围绕 token、模型体验和 ChatGPT 新版 vibe 做简短更新,语气仍然很 Sam Altman。