Microsoft 研究员 Jennifer Neville 谈 AI 评测与意外失败
What AI gets wrong and what failure teaches us
AI 导读
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界，以及模型在传统 benchmark 之外测试时出现的"意外失败"。
摘要与补充说明
她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果超出预期时深入审视数据的重要性。
正文· AI 翻译
Jennifer Neville是微软的合伙人研究经理，她的职业生涯一直围绕着理解和推进 AI 在现实世界中的应用展开；与她长期研究的人机交互很像，她早期的职业道路也是多轮转向的：先是数学，然后是物理；认知科学，然后是工作；最后是计算机科学——尽管她曾竭力避开这个领域。
在与首席应用科学家Chad Atalla的这次对话中，她探讨了评估在推动当今 AI 系统性能边界以满足用户需求方面所扮演的角色，以及当模型在传统基准之外接受测试时出现的“令人意外的失败”。Neville 还分享了使用当前 AI 系统的实用建议，讨论了为什么当结果超出预期时仔细审视数据很重要，以及数十年的 AI 进展教会了她什么关于预测未来的经验。
从意想不到的职业轨迹到 AI 交互与学习的前沿，本期节目提出了一个更大的问题：当道路——无论是人类的还是人工的——没有按我们预期的方式展开时，我们能学到什么？
订阅微软研究播客：
文字记录
[音乐]
JENNIFER NEVILLE：有些时候我觉得自己在原地打转。事情不顺利。我会有点沮丧。然后我们到达了一个确实学到了东西的节点，那种情感上的激动，那才是真正吸引我的地方。能够理解一些别人尚未理解的东西……
CHAD ATALLA：当然……
NEVILLE：……因为它正处于我们对事物认知的前沿。
标准开场白：这里是微软研究播客，微软的研究人员——通过基础科学与技术研究推动进步——在此探讨计算与 AI 领域中的人物、方法与未来。
[音乐结束]
CHAD ATALLA：大家好，欢迎收听。我是 Chad Atalla，微软研究院的一名应用科学家。
今天，我的嘉宾是 Jennifer Neville，她是微软研究院的合伙人研究经理，也是普渡大学 Samuel D. Conte 计算机科学与统计学讲席教授。
她的研究考察面向交互领域和结构化数据的机器学习与 AI，研究 AI 系统训练所依据的数据点如何影响其行为，以及这与用户真正想要的是否一致。
在这些研究中，她发表了 130 多篇论文，被引用超过 10,000 次，并获得了美国国家科学基金会 CAREER 奖、入选IEEE“10 to Watch”AI 榜单（在新标签页中打开），以及国际数据挖掘会议（在新标签页中打开）和国际学习表征会议的最佳论文奖。
Jen 的工作最让我惊叹的是她的远见，以及她在 AI 领域发展过程中始终保持一条连贯主线能力，我很期待听到更多关于她如何走到今天这一步的故事。
Jen，感谢你加入我。
JENNIFER NEVILLE： 谢谢你邀请我。
ATALLA： 太棒了。我很想了解你是如何走到今天这一步的。让我们把时间倒回很久以前。我小时候想成为天体物理学家，但当然，我现在拥有的是计算机科学背景。你是什么时候知道你想进入计算机科学领域的？
NEVILLE： 这是个好问题。我……在我成长过程中，我想做任何事，唯独不想做计算机科学，因为那是我爸爸从事的领域，而我想做任何与我爸爸所做的不同的事。所以上大学时，我先是主修数学，然后主修物理，但我真的无法与这些专业产生共鸣。
于是我从大学辍学了一段时间，当我再次回到大学时，我改为主修认知科学，但这对我也太“软”了。里面没有足够的数学。那时，如果有人告诉我：“AI 是你应该做的事，因为它把认知科学与数学和计算思维结合起来，”我想我会省下很多时间，[笑声] 但那并没有发生。
所以我又工作了一段时间。然后当我回到学校时，我决定主修计算机科学，因为我想做的是思考如何与数据打交道、处理数据。就在那时，我发现了 AI。纯属偶然。我甚至没有真正意识到它是计算机科学的一部分。
ATALLA： 太棒了。进入计算机科学领域并想从事数据或 AI 工作是一回事，而想参与这方面的研究又是另一回事。那么，是什么样的问题或宏大想法激发了你的研究动力？
NEVILLE： 是的，这其实也是个有趣的故事。我进入研究领域，只是因为我在计算机科学学位中参加了荣誉项目，而作为荣誉项目的一部分，你必须做一个研究项目 [笑声]。
ATALLA： 这是强制性的，是的。
NEVILLE： 这是强制性的。所以当我与教授们讨论研究项目应该做什么时，他们实际上说：“嗯，你必须决定你想研究什么主题。”
那时，我对数据感兴趣，也对 AI 感兴趣，我想了很多。我读了很多东西。我决定要研究的是如何对相互关联的 Web 数据进行数据挖掘，所以……当我决定这就是我想研究的问题时，我被引荐给了一位特定的教员……
ATALLA： 不错。
NEVILLE： ……他当时刚刚开始在这个当时被称为统计关系学习的新兴领域工作。我们在那个领域做了我的项目，我在一个研讨会上发表了一篇论文，然后我就有点着迷了。
ATALLA： 好的，是的。
NEVILLE： 所以我原本没有计划继续读研究生，但那段经历……
ATALLA： 是的。
NEVILLE： ……让我想继续读研究生并坚持下去。
ATALLA： 很好。你觉得是哪一部分让你着迷的？是那种做研究的兴奋感吗？还是会议的氛围以及学术出版的样子？
NEVILLE： 真的是做研究的那种兴奋感和过程。那是一个很长的项目。有时候我觉得自己在原地打转。事情不顺利。我会有点沮丧。但我的导师会支持我、保持积极，说：“不，继续做。我们在学到东西。”然后，然后我们到了某个点，我们确实学到了东西，那种情感上的兴奋感，那才是真正让我着迷的。能够理解一些别人还没理解的东西……
ATALLA： 当然。
NEVILLE： ……因为它就在我们所知事物的前沿，呃，那简直就像毒品一样，对吧？[笑声] 所以它让我在研究中坚持了这么久，同样的，同样的……追逐同样的感觉。
ATALLA： 明白了。嗯，很喜欢。是的，你2021年从学术界加入了Microsoft。事实上，你现在仍然是教授，你已经教学和指导了20年。是什么促使你职业生涯的一部分转向产业界的研究，你会如何描述产业研究和学术研究的区别？
NEVILLE： 我的研究，算是，横跨从理论到应用的整个范围。我获得终身教职后的第一次休假时，我很多同事……处于职业生涯同一阶段的同事都去了产业实验室休假，然后再也没回Purdue。我考虑过我想走哪个方向，更偏理论还是更偏应用，我觉得在职业生涯的那个阶段，探索理论方面会更好，因为那样我可能真的会回到Purdue。
于是我去Berkeley的Simons Institute休假，那非常理论化。那是一次很棒的经历，但回到学术界算是无缝衔接。第二次休假时，我走了另一个方向，来到MSR [Microsoft Research]在这里休假。当然，能够看到理论中的算法，算是，落到实处——它们在实践、真实系统、真实用户和真实数据中表现如何，那是很难回头的。所以这就是为什么我现在还在这里。
ATALLA： 明白了。
NEVILLE： 所以我认为学术界和产业界研究的区别取决于……真的受你研究目标所在的影响。所以我认为从根本上说，感觉非常相似，你在学术界和产业界会问的问题，但在产业界，你在真实系统、真实数据上大规模应用它的能力真的与学术界非常不同，而在学术界，我认为你最终会问更抽象的问题，这些抽象同时覆盖许多不同领域的应用。这就是你从DARPA [Defense Advanced Research Projects Agency]和NSF [National Science Foundation]这样的地方获得资助的方式。
但在工业界，稍微容易一些，你知道，就是真正动手去做，在真实系统中实践。然后你的目标，某种程度上，是产品和公司的利益。所以随着……这种情况的变化，也许你会提出或调查的问题类型也会改变。所以我认为实际上能同时在……
ATALLA：是的。
NEVILLE：……两个地方都待过是很好的，对吧？就像，两者之间有很多协同效应，而且我认为有很多机会可以去工业界再回到学术界，或者从工业界起步然后去学术界。但眼下，如果你在做 AI 系统方面的工作，我认为工业界确实是该去的地方。
ATALLA：明白了。是的。对于现在正在决定职业生涯该走哪条路的人来说，这或许是有用的建议。
我在 Microsoft 已经待了六年多一点，其中大部分时间都在做 AI 评估，当然，这个领域有许多令人生畏的根本性问题和挑战。
我最初接触到你的工作、了解到你的工作，是因为你的一部分工作为其中一些问题提出了解决方案，并帮助指出了这些问题。我的第一反应是松了一口气，因为有像你这样出色的人在做这些事情，你会替我们处理好。我真的很欣赏你如何平衡对 AI 评估的批判与沿途提供解决方案。
但我知道那只是你更广泛研究议程的一小部分。那么你会如何描述你在这里领导的团队的当前研究章程？
NEVILLE：我们的团队叫AI Interaction and Learning team。我们真正关注的是努力推动这些 AI 系统在真实工作环境中的行为前沿。所以这意味着研究当前系统性能的边界在哪里，用户在实际工作流程中如何体验这一点，然后我们如何改进并推动模型在这类任务——用户正在处理的复杂任务——上的性能。
我们关注评估的原因是，我们发现 ML 和 AI 人士评估的标准方式是通过基准测试，而这些基准相对于人们实际使用的方式来说相当简单。所以我们发现你真正需要做的第一件事是问，我们想从这些系统中得到什么？并设计实用的评估，把系统置于那种环境中。所以这意味着多轮行为、协作环境、用户正在做的长时程任务等。
然后一旦我们能看到那些评估中出现的性能差距或问题在哪里，那也让我们知道在理论上或算法上我们需要在哪里改进这些系统。
所以我们从评估开始，但最终，我们试图做的是开发更好的算法、模型、估计方法……
ATALLA：当然。
NEVILLE：……来推动模型的性能。
ATALLA：是的，这是理解进而能够推动边界并改进这些系统的入口。
NEVILLE：是的。
ATALLA：你提到了多轮交互和协作环境。你最近有几篇论文专门研究了这些问题，比如LLM 在多轮对话中可能会迷失，或者它们可能在这类智能体知识工作场景中损坏文档。你能具体谈谈这些研究项目吗？
NEVILLE：当然。我们……这些例子说明，我们不得不以创新的洞察来设计评估方式，才能真正控制和测试模型在这些场景中的行为。
所以对于多轮对话，我们做的是拿单轮基准——也许我应该先退一步说，我们在实践中观察到用户的一个特点是，他们常常没有充分说明自己想做什么。他们一开始并不知道如何给出完整的说明。作为计算机科学家和软件工程师，我们有时会忘记这一点，但普通用户可能无法在第一轮就完整地说明事情。于是他们会在多轮中逐渐弄清楚自己在做什么，并在各轮中不断补充条件和澄清。
所以我们做的是拿公开的单轮基准数据集，把原本完全指定的单个复杂指令轮次改掉，让模拟用户的模型在多轮中提供这些澄清，然后研究模型——我们现有的所有模型——当任务以多轮方式给出时，它们表现如何。
我们发现，在单轮场景中看到的性能——非常高，因为作为模型构建者，我们当然是在针对这一点做优化——实际上在多轮中会显著下降。这是一个相当令人惊讶的发现，因为之前没有人以那种方式评估过……
ATALLA：当然。
NEVILLE：……之前没有人这样评估过。但当我们把这项研究发布出去后，系统的用户都深有共鸣……
ATALLA：当然……是的。
NEVILLE：……“嗯，这就是我的体验。我知道这种情况在发生。我们该怎么解决？”其中一个……所以我们正在研究强化学习方法，真正帮助模型在这些环境中更好地学习，从而修正这种行为。
但我们在论文中谈到的一个实用解决方案是，如果你让模型有点困惑了——如果你在多轮中指定了某些内容——那就直接停止聊天，清空一切，回到起点，然后根据你现在所知，给出一个完全指定的单轮指令……
ATALLA：我明白了，是的。
NEVILLE：……然后它在那类交互中会表现得更好。
所以这也许说明，尽管我们从根本上是在寻找模型的算法改进，但有时在这些项目中，我们最终会得出一些洞察，关于用户如何改变自己的行为……
ATALLA：当然。是的。
NEVILLE：……从而从模型那里获得更好的结果，比如，就它们目前的表现而言……
ATALLA：是的……
NEVILLE：……就它们目前的表现而言。
ATALLA：是的。我们注意到你研究的一个主题是，如何改进这些系统，使它们更好地与用户真正想要的东西保持一致。你在这里提到过一个案例：“嘿，我们知道用户实际上往往不会在第一轮就完整说明他们想要什么，而我们确实有这些长时间的多轮交互。”在你的论文发表后，他们对在多轮对话中迷失方向的这种困扰表示了共鸣。
你如何看待理解用户的愿望、需求和体验，以及这与你所做的、比如像你说的模拟用户来运行这些更长的多轮评估，有什么关联？
NEVILLE：是的，那就是……能够大规模地看到用户试图做什么，以及他们在系统中遇到什么样的失败和成功，我认为这是你在产业实验室里能获得的优势之一，你能看到那种规模的数据。
所以我们在微软内部与产品团队做了大量工作，大规模分析消费者日志，以找出用户所经历的主要失败模式。而这……提供了我们所做的很多工作的那种洞察或动机。也有很多优秀的产品团队在分析用户取得的成功，这让你甚至可以反过来向用户推荐……他们在我们现有系统中能够成功完成的是哪类任务。
我想如果你回想搜索引擎刚出现的时候，人们必须学会如何与搜索引擎交互……
ATALLA：当然。
NEVILLE：……从而有效地获取他们要找的信息。我们现在可能已经忘了曾经发生过这件事，因为在所有这些 AI 系统出现之前，这已经是每个人都会做的一部分了。但现在我认为正处在一个从搜索引擎向这些基于聊天的系统过渡的时期，而且我认为用户也必须有所学习，……
ATALLA：对，是的。
NEVILLE：……在这个新环境中。而我认为分析用户所做事情中成功的部分，是开始推荐……的好方法。
ATALLA：是的。
NEVILLE：……并以同样的方式辅导或教导用户。
ATALLA：我很喜欢你指出查看真实数据的效用，但这实际上意味着什么？你们真的在查看真实数据吗？隐私在这里如何介入？你们有什么样的流程来负责任地利用真实环境中的数据？
NEVILLE：哦，是的，这是个好问题。谢谢你提出来。我们实际上并不查看数据。我们是以保护隐私的方式大规模分析数据，以提取失败或成功的模式。还有很多很多限制，我们实际上不能亲眼看到数据。我们只能把方法推送到非常受限的环境中处理数据。然后，嗯，然后这些保护隐私的更高层洞察，才是后来推动我们在算法上所做事情的东西。
所以先明确一下，我们并不是在拿你的数据或你的回复做微调，但你在回复中提供的细节越多——无论是通过捐赠信息，还是在你点踩并给出描述时，或者在你与模型的聊天互动中——这些内容最终都可能被提炼成改进模型的东西，而不是靠人工去查看你做了什么。
ATALLA：你提到从以搜索为主导的模态转向这些多轮聊天交互。但现在我们也看到智能体和协作式知识工作类任务变得更加重要，你也提到你在这方面做了一些工作。还有哪些有趣的发现你想和听众分享吗？
NEVILLE：是的。我们既有理论研究，试图刻画那些对 transformer 来说在模型内部计算起来本质上就很困难的任务类型，也有更多基于仿真的工作，我们研究在长时程工作流中执行的复杂任务，比如你拿到一些文档，然后对这些文档反复进行编辑。
在这些环境中，对模型甚至对智能体来说，任务的复杂性在于不仅要跟踪用户在这项长时程工作活动中想要做什么，还要理解当前状态是什么、哪些信息相关、哪些不相关、事情发生了怎样的变化。这些是智能体开始做得相当不错的事情，但有些特定类型的任务比其他任务更容易。
ATALLA：当然。
NEVILLE：所以我们关注的是，哪些类型的任务其复杂性会超出当前智能体的能力，以及如何解决这个问题。智能体使用工具的最佳方式是什么？引入人类参与是否更好？我们如何知道事情已经出了问题？所以，甚至让智能体自我监控，评估自己是否正确回答了某个问题，或者是否应该回滚到之前的状态。我认为这些目前都还是开放问题。
但我们确实有一些工作表明，再次，随着我们在这些工作流中走得越来越长，我们会遇到令人意外的失败，因为错误如果不被捕获就会累积……
ATALLA：是的。
NEVILLE：……并且随着它们必须在反复交互中执行任务，开始让 AI 更加困惑。
ATALLA：是的，“令人意外的失败”这个说法让我觉得很有意思。它暗示了一种预期：“嘿，这应该做得更好，而我对它以这种特定方式失败感到意外。”你觉得你看到的这类意外错误更多了，还是很多错误其实是意料之中的，你能理解它会以这种方式或那种方式失败？
NEVILLE：是的，我认为确实存在意料之中的失败，因为那些……嗯，当然，随着我们努力让系统越来越好，意料之中的失败会越来越少。
ATALLA：对。如果我们能预料到它们，就能修复它们。
NEVILLE：没错。但像幻觉这类问题，是社区里长期以来就已被刻画过的失败类型，并且有专门的基准和方法来尝试减少这些问题。
我认为我的团队最终会去寻找那些几乎令人惊讶的失败，因为它们不是传统的失败，而且往往很难被单独分离出来并证明它们确实在发生，因为它们非常微妙，不会仅仅表现为对数学问题的错误答案，或法律意见中的幻觉案例，而是文档中语义内容的这种微妙丢失。我想，如果我回顾一下我们和团队一起调查过的东西，我们有一种假设，即我们认为作为人类难以做到的事情，也会是模型难以做到的事情。而事实上，情况往往并非如此，因为我们必须考虑对 transformer 来说实际计算起来困难的是什么，对它们的检索系统来说从底层内容中检索起来困难的是什么……
ATALLA：对。
NEVILLE：……从底层内容中。
所以我认为“令人惊讶”之所以出现，是因为我们作为人类可能认为非常简单的事情，或者我们认为如果之前某个任务被正确完成了，我们现在就认为同样的任务应该能被可靠地正确完成。但事实上，对于 LLM 来说，情况未必如此。因此，这种惊讶，我想，是悄悄混入的，源于我们基于人类智能对什么是难、什么是易所抱有的自身预期。
ATALLA：是的。那么，在用户可能存在的这种困惑——基于他们期望这些系统擅长什么，也许是基于对人类智能的反思——以及外面存在的所有炒作和营销之间，你希望真实用户从中得到什么？或者鉴于你在这里的工作，你会如何提醒他们思考自己可能对 AI 系统抱有的能力和期望？他们怎样才能穿透这些噪音，建立更好的预期？
NEVILLE：哦，这是个好问题。我认为，我认为当前的 AI 系统有很多能力，现在就会对人们在工作中非常有用。我认为我们工作的启示是，你不应该期望它们在所有方面都 100% 成功。你应该检查你得到的答案。如果你得到的东西你认为不正确，你不一定就要假设模型完全做不到那件事。但你应该考虑再问一次，或者换一种方式问，下一次你可能得到更好的答案。
这很难融入我们目前的工作方式，因为我认为你不能……它们还没有准备好让事情被 100% 委托给它们。但如果你能弄清楚如何在有你参与、有监督和验证的工作流中使用它们，我认为它们可以非常有用，能完成事情、提高生产力和你完成事情的速度。
所以……另外也许要说的是，你知道，请多包涵，因为[笑声]我们是在这些系统发布的同时实时开发它们的。所以你的使用实际上帮助我们推动了模型的边界，因为它给了我们哪些能做、哪些不能做的例子。
也许我还想说的另一点是，用户可能不太理解的是，过去在使用基于搜索的系统或推荐系统时，我们作为用户能给出的反馈只是那种点赞、点踩。但现在我们处在一个实际上可以给出保真度高得多的反馈的环境中，这对下游改进模型非常有用。
所以如果你在和模型进行某种聊天环境下的交互，要明白如果出了什么问题，实际上说出它是怎么出问题的、在……在你的文本交互或语音交互中真正传达出到底哪里出了问题、你期望什么、实际得到了什么，是有帮助的。因为这实际上会在我们更新模型时被用到。所以你可以这样想：作为用户，你的角色可以是训练模型去做你希望它做、但它现在做不到的事情。
ATALLA：太棒了。这里有个有趣的行动号召。
我只是好奇。你谈到了我们现在用于这类大型语言系统的 transformer 范式。你认为大型 AI 系统的科学接下来会走向何方？宽泛地说，也许这是个很难的问题，但至少在你的兴趣和研究方向上，你认为这些系统的科学接下来会走向何方？
NEVILLE：那、那是个、那是个大问题。[笑声]我认为我们……研究界同时在试图弄清楚 transformer 架构是否是合适的底层模型，因为 transformer 中计算的工作方式存在某些已知的局限。其中很多局限可以通过模型外围的包装——也就是我们现在围绕模型的智能体框架——以及后端进行的推理来解决。
所以我认为一个悬而未决的问题是，我们能在多大程度上用这种围绕它的包装基础来应对 transformer 架构的局限，以及哪些问题需要用某种根本不同的……
ATALLA：当然。
NEVILLE：……底层架构来解决？我认为我们将看到替代架构和模型的快速发展，以及围绕我们现有模型的精巧包装。
我认为在下一代工作中，我们将不得不关注与模型的更长期交互，并让模型以比现在切实得多的方式理解它们所工作的世界。但我对正在发生的研究非常看好。我认为我们会，你知道，在这方面取得成功。
也许回到我刚开始的时候，我的第一份实习是 2000 年在 AT&T Labs。我清楚地记得实习时坐在午餐桌边下围棋，谈论我们怎样才能让，你知道，AI 模型能够，你知道，玩这个游戏，以及它为什么比国际象棋更难、我们能做些什么。
而且，我当时正在学怎么下围棋。我是在9×9的棋盘上学的。我不知道你有没有学过怎么下围棋，……
ATALLA：我没有。
NEVILLE：……但你不是在大棋盘上学的……
ATALLA：哇。
NEVILLE：……因为那太难了，即使对人类来说也是如此，对吧。所以你要从这块9×9的棋盘开始。
而我当时有点像是在观察自己如何学习下棋，并思考算法会如何学习下棋。在我们做这件事的时候，你知道，我们多少在猜测AI要花多久才能做到这一点。所以现在回想起来挺有意思的，因为你知道，在AT&T Labs，很多机器学习与AI研究领域的，可以说是，杰出人物都在那里。人们当时说：“哦，要做到这个得花50年。”你知道，有些人说100年。但当然，现在这已经是一个被解决的问题了（在新标签页中打开）。
ATALLA：是啊。
NEVILLE：所以展望未来，有些事我作为研究者可能会想，因为我们要突破眼下在行为中看到的这类边界实在太难了，人就有一种倾向去想：“哦，这得花10年，”或者“这得花25年。”
但我觉得，考虑到研究的速度、在这个领域做研究的人数，以及这些模型运行的规模，我认为它实际上会比我当年——你知道，2000年那个刚学AI的学生——所想的要快得多地发生。所以……
ATALLA：哇。那么，本着这种精神，回顾2000年，让我们想象现在向前跳20年进入未来，或者只跳10年，因为事情发展得太快了。
NEVILLE：[笑] 是啊。
ATALLA：你希望在这个领域的研究中留下什么样的印记？
NEVILLE：我觉得，贯穿我研究生涯的，可以说是，一条主线，就是思考复杂系统，以及如何让AI和机器学习在这些复杂系统中运作。所以——甚至现在，这就是我们在协作方面关注的重点，我们在思考多人类、多AI的交互。我觉得……如果我真的从科幻式结果的角度来想，我认为如果在工作环境中，我们开始看到由人类和AI共同组成的团队一起协作，去完成任务并创新，那我们就算成功了；如果我们能让这件事正确运转，那我就会觉得我的研究是成功的。
ATALLA：太棒了。那么，在我们收尾之际，我觉得来个快问快答会很有趣，也就是快问快答、无伤大雅的简短回答，想到什么就说什么。听起来不错吧？
NEVILLE：当然。
ATALLA：太棒了。有哪一条建议让你印象深刻，或者改变了你的看法？
NEVILLE：呃，好吧。不过你说了要简短回答。[笑]
当我刚开始学习计算机科学时，呃，实际上，Doina Precup（在新标签页中打开）是我第一门计算机科学课程的助教，她在我感到不知所措、觉得自己……别人什么都懂而我什么都不懂的时候对我说，你知道，不要，不要害怕提问，因为人们可能看起来好像知道发生了什么，但实际上，他们并不知道发生了什么，而且他们实际上会非常感激你有勇气提问，因为他们可能也在想同样的事情。而且，如果你愿意提问，这对你和他们都有帮助。
所以在我整个职业生涯中，我一直把这一点铭记于心。你知道，你可能会害怕，觉得自己提问会显得很愚蠢，这很难做到。但毫无疑问，一路走来，每当我产生这些恐惧感……但还是鼓起勇气去提问时，我确实发现人们非常感激。而且，你知道，人们事后会说：“哦，我当时也在想同样的事情。我很高兴你问了那个问题。”所以，要勇敢地提问。
ATALLA：太棒了。你通过惨痛教训学到了什么？
NEVILLE：看数据。[笑声]看数据。
所以在机器学习中，我们有一种倾向——这同样适用于基准测试。我们有，我们有一个测试集。我们运行我们的模型。我们训练它。我们把它应用到测试集上。我们通常会得到一个数字，那就是我们试图提升的指标。于是我们认为如果数字在上升，我们就做得不错。如果数字没有变化，我们就想：“哦，那这个问题太难了。”
但我已经多次通过惨痛教训认识到，当事情不顺利时，如果你花时间看看数据，你实际上可能会发现数据中有错误。数据不是你预期的那样。数据与你训练模型时的分布不同。所以每当……我想也许这让我成了一个数据人。[笑声]但通常当事情没有按照我们预期的方式表现时，我们会去查看数据，试图理解原因。
ATALLA：是的。有道理。这是个好教训。也是个很难的教训。
NEVILLE：[笑]很难记住。
ATALLA：是的。
NEVILLE：而那……也许重要的一点是，尽管我已经学到了那个教训，……
ATALLA：当然。
NEVILLE：……在我的职业生涯中，我不得不重新学习那个教训至少六次。
ATALLA：是的。那么，反过来，你最引以为豪的成就是什么？
NEVILLE：我想我会说，是我能够同时获得终身教职和抚养一个幼儿。
ATALLA：哇，是的。
NEVILLE：我在我们开始之前刚有了儿子——我丈夫也是教职员工——所以是在我们开始教职之前。所以我认为我能够获得终身教职、我儿子健康快乐，而且我还设法维持了婚姻[笑]……
ATALLA：是的，确实。
NEVILLE：……这大概是我最大的成就，呃，是的……
ATALLA：很大的成就，是的。最后一个问题。艺术或自然是以什么方式影响你的工作的？
NEVILLE：嗯，我不确定这算不算自然，但作为AI从业者，我一直观察到的一件事是，孩子、人、动物、昆虫似乎是如何了解世界和环境并改变自己的行为的。所以我完全承认，作为一个有幼儿的家长，我非常书呆子气。我会把我们从机器学习中得到的想法拿来，试着看看能不能帮我儿子学得更好。
比如，当他还是个婴儿、在学翻身的时候，我会说，“好，让我给你一个正向训练样本。[笑声] 来，抓住你的腿这样做，”然后……
ATALLA：是的，是的。
NEVILLE：……然后看看这对他学习的效果，同时也观察他学习，然后再思考这如何能融入我们开发的算法和模型中。这大概是我职业生涯中一直反复回到的最大互动。
ATALLA：太美了。是的。
NEVILLE：谢谢。
ATALLA：好的，Jen，感谢你分享你的故事和见解。很高兴你能来。
也感谢我们的听众收听。如果你想了解更多我在Microsoft同事的工作，请访问Microsoft Research页面 aka.ms/research，或者[音乐]收听本播客的其他节目。谢谢。
[音乐结束]
了解更多：
- AI交互与学习
主页 - 当你委托任务时，LLM会损坏你的文档
出版物 | 2026年4月 - 关于我们近期AI委托与长时程可靠性研究的进一步说明
- Microsoft Research博客 | 2026年5月
- LLM在多轮对话中迷失
出版物 | 2025年5月
在新标签页中打开
文章 AI会犯什么错，失败教会我们什么 首次发表于 Microsoft Research。