Microsoft 研究员 Jennifer Neville 谈 AI 评测的意外失败与真实世界表现
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动当前 AI 系统突破传统 benchmark 的性能边界，以及模型在超出传统基准测试时出现的"意外失败"。她指出，当结果偏离预期时，仔细审视训练数据至关重要，并分享了使用当前 AI 系统的实用建议。
#大佬观点
Microsoft ResearchAI 评分2222
GitHub Blog · AI & MLAI 评分2222 GitHub Podcast 拆解 AI 热门观点：该不该读代码、RAG 是否已死、Skills 是否杀死了 MCP
GitHub Podcast 最新一期拆解了五个 AI 热门观点：AI 生成的代码仍需阅读和负责，只是审查力度应按风险分级；Skills 与 MCP 解决不同问题，前者是打包的团队经验，后者是智能体连接工具与数据的标准，二者可组合使用；RAG 并未消亡，它为模型提供训练数据之外的相关信息，能减少 token 消耗并让回答更有依据。
Berkeley AI ResearchAI 评分3434 智能免费之后怎么办？面向智能体、由智能体运行、由智能体构建的数据系统
伯克利 EPIC Data Lab 提出，随着推理成本从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不到 $1、部分厂商低于 $0.10，数据系统面临三大新挑战：为智能体服务、运行智能体集群、由智能体合成。作者指出智能体的"agentic speculation"会让单次用户请求产生上千条 SQL 查询，其中 80-90% 子查询是重复工作，需重新设计查询接口与优化策略。