大语言模型能写文章，也能生成视频吗？
2024年，北京大学校友于力军联合主导的VideoPoet研究，把这一设想变成了现实：模型可以依据一段文字生成动态影像，还能为画面配上声音。这项工作获得了国际机器学习大会（ICML）最佳论文奖。
如今，他在Google DeepMind从事Gemini大模型研究，并于2026年入选《麻省理工科技评论》“35岁以下科技创新35人”亚太区榜单。
从让机器看懂视频，到让机器生成视频，于力军的研究几乎与这一轮AI浪潮同步展开。但谈到年轻人该如何进入这个热门领域，他却先抛出一个值得停下来想一想的问题——“如果有一天，AI不再这么火，你还愿意继续研究它吗？”
那个给教室写“下课铃”的少年
于力军对计算机的兴趣，起初与人工智能无关。
中学时，偶尔会因高三模拟考试暂停打铃。其他年级照常上课，却少了一记准时下课的提醒。他便写了一个小程序，装进班级的电脑，到点自动响铃——“让老师不要拖堂，同学们到点下课。”多年后再讲起这件事，他记住的仍是那个要被解决的小问题。
他喜欢摆弄电脑，却不太热衷玩游戏。同学们打趣，他总在“折腾”班里的那台机器。对他而言，弄清机器怎样运转，再让它按自己的想法做成一点事情，本身就足够有趣。
填报高考志愿时，家人希望他考虑当时热门的经济学，他自己最感兴趣的始终是计算机。最终进入北大读这个专业，他用“如愿以偿”来形容。
入学后，他又修读了经济学双学位。这个决定，既有同学之间的相互影响，也有他对另一类问题的好奇：社会资源如何分配？人们为什么作出不同的选择？课程推进下去，他发现自己学得不错，便一路坚持了下来。
2019年，他同时取得计算机科学与技术、经济学两个学士学位。
于力军本科毕业时留影
在本科课表上，这是两组互不相关的课程。多年后回望，于力军更能理解这段学习的意义。一项技术的发展，始终受制于资源如何分配、人们有什么需求、社会环境怎样变化。掌握一种方法之外，还要知道它将在怎样的世界里发挥作用。
当然，探索也有不那么顺利的时刻。大一那年，他选了难度较高的数学课，又想挑战物理学院的课。与有竞赛基础的同学同堂上课，他在力学期中考试中碰了壁。这次经历让他更清楚地看见自己的兴趣与所长，也更坚定了继续学习计算机的选择。
大二的一门“计算机系统导论”，让他找到了另一种学习状态。这门课引入了卡内基梅隆大学的教材和课件，颇具挑战的作业与考试让他印象深刻。许多同学觉得吃力的地方，恰好是他最感兴趣的部分：程序如何运行，软硬件如何配合，一台计算机怎样从底层支撑起复杂的应用。
学期尚未开始，他已经把教材通读了一遍；正式上课后，也学得得心应手。他一度觉得，自己也许很适合研究操作系统。参与课程教学的陈向群老师邀请他进入实验室，他欣然答应。
而老师为他指向的，是人工智能。陈向群鼓励他关注这一方向，并安排他跟随一位在微软亚洲研究院工作的师兄开展研究。这个原本想深耕操作系统的学生，由此推开了AI的门。
“这是对我后面的生涯影响比较深远的一个时刻。”回望当年，他尤其感念老师的眼光——兴趣可以成为出发点，而老师的引导，让他看见了此前还不熟悉的研究空间。
于力军在北京大学计算机科学技术系门前的毕业合影
2018年夏天，在北大暑期科研项目的支持下，于力军前往卡内基梅隆大学开展研究。出发前，他给多位老师写邮件，介绍自己的背景与兴趣，最终进入了后来的博士生导师Alexander G. Hauptmann的实验室。
这一次，他在这位多媒体领域先驱的指导下，接触到更偏向视频的研究。
视频为什么吸引他？一张图片包含空间信息，视频还多了一个时间维度。信息量更大，处理起来也更复杂，对系统效率和模型能力的要求都更高。他喜欢的，正是这类有挑战性的问题。今天，他主要研究多模态基础模型，所谓“模态”，可以理解为文本、图像、声音、视频等不同类型的信息；多模态研究希望让模型把这些信息联系起来，在同一个框架中完成理解与生成。
于力军的研究方向，是在博士阶段拐了个小弯：从视频理解，转向视频生成。彼时，导师询问实验室中是否有人有意赴谷歌实习，而一位已在谷歌的师兄恰在招募人员。于力军对此颇感兴趣，遂与对方接洽。这位师兄便是蒋璐。此后，二人共同探索视频生成，相关研究逐步推进至MAGVIT及其后续工作，并进一步延伸至VideoPoet。
若问在一系列研究成果中，哪一项最令他富有成就感，他的答案是第一篇MAGVIT论文。原因颇为具体：那是他首次接触视频生成，也是第一次从零开始构建起这样一套系统。以今日眼光回望，彼时的生成质量或许已难称突出；但在2022年开展这项研究时，亲眼目睹模型的生成效果，他感到由衷的自豪——“原来可以把视频生成的质量推到这个高度。”MAGVIT后来发表于CVPR2023，并以单一模型处理多种视频生成任务。
此后的MAGVIT-v2，着力解决另一个关键问题：怎样把图像和视频转换成适合语言模型处理的信息单位，也就是“视觉词元”。
VideoPoet沿着这条思路展开。它将图像、视频、音频等统一转换为模型可以处理的序列，再用大语言模型的框架进行学习和生成。文生视频、图生视频、视频编辑等任务，因此得以放在同一个研究框架中探索。
这项工作获得了ICML2024最佳论文奖。论文题目下面排着一长列作者姓名，于力军是共同第一作者。
于力军与合作者在ICML2024获奖现场合影
视频生成研究起步之时，最紧迫的任务是提高生成质量，使技术真正可用。随着生成效果不断改善，人们已能够借助模型修改视频局部、补充内容或转换风格。但他也注意到，生成能力的提升，并不必然带来同等程度的社会价值。如果大量内容只是被用来消磨时间，便很难简单地将其视为生产力的提升。
“我今年一直在反思这个问题。”他主动谈及这一点。对一位参与推动视频生成进步的研究者而言，模型能力提高之后，技术究竟落于何处，同样值得认真思考。
对进一步走进现实世界的机器人，他既怀有期待，也保留着判断的边界。更好的多模态理解能力，可以帮助机器人认识当前环境、决定下一步行动；但视频生成质量的提高，并不直接等同于机器人就能把事情做好。
真实世界自有其节奏。一次化学反应需要时间，一项生物实验需要等待，机器人叠一件衣服、收一次盘子，每一次尝试都要占用空间与时间。在他看来，正是这些约束，使涉及物理世界的研究难以像纯粹在计算机中完成的任务那样快速迭代。
从“能否生成”到“怎样有用”，他所追问的问题，也随着研究向前推进而不断延展。
面对层出不穷的新模型、新能力，研究者如何保持判断？于力军建议，先厘清一个前提：产品与能力迭代很快，底层方法的变化却未必同样频繁。在他看来，有些新能力并非源自全新方法，而是既有方法在更大规模、更充分训练下取得的进步。与其被每一条消息牵动，他更愿沉下心来思考：按照当前发展速度，一年之后模型可能达到什么水平？哪些问题届时有望得到解决？要让这样的进步持续下去，现在还需要做什么？
工具越强，研究中的判断越不能省略。谈及人工智能辅助科研，于力军提到科研“品味”——选择值得研究的问题、判断一项工作价值的能力。人工智能可以辅助收集资料、执行任务、组织文字，但研究者仍需形成自己的认识：一个想法能否成立，实验能否支撑结论，这一方向是否值得继续投入。工具介入越深，这些判断越需要有人认真承担。
也正因此，当被问及AI时代研究者最重要的品质时，他选择了“严谨”。
过去，一项任务由人亲手完成，中间做过什么，人通常心中有数。如今，人工智能可能很快交来一个结果，过程却不一定清楚。“它给你个结果，那你信还是不信？”他反问道。
他的回答落在实验设计上：检查过程是否得到正确执行，提前设计必要的约束与验证，再据此得出可靠结论。速度提高之后，对结果的责任依然在研究者手中。
先把知识的圈画大，再向外走一步
说起北大带给自己的影响，于力军最珍视的，是对不同个体和特长的尊重。一个人有所长，能够被看见、被认可，便会更有自信，也更愿意继续尝试。
他还记得入学时的一场讲座中，老师谈道：本科阶段先把知识的“圈”画大，尽可能接触不同学科；到了研究生、博士生阶段，再在一个特定方向上“冒一个尖”，推动人类知识边界向前挪动一分。
当年那张同时装着计算机与经济学的课表，正是这个“圈”的一部分。理解一项技术的发展，不能只看技术本身：资源如何分配、人们有什么需求、社会环境怎样变化，都会影响它的走向。
因此，谈到未来需要什么样的人才，他尤其看好能够连接不同学科的人：既了解某个领域的知识和运行机制，也理解AI的原理、能力与局限。这种结合，可能帮助人们发现此前没想到的应用，解决一直难以解决的问题。
本科四年，继续攻读博士学位又是数年。等一个年轻人完成训练，眼前的热门方向很可能已经变了模样。兴趣能否经得住这种变化，比此刻的热度更值得认真考虑。
他自己有过一个带着想象力的念头：假如一切推倒重来，能不能靠自己把计算机科学中的那些技术重新实现一遍？后来研究大模型，他又把这个问题带进了新的领域。这个设想透着他一贯的好奇——一套复杂系统究竟怎样运行，自己能否真正理解它，并亲手把它做出来。
未来，新的工具、新的方向仍将不断涌现，也难免出现未曾预料的转折。对今天的北大学子而言，他留下的问题依然值得记取：当热度褪去，你还愿意把时间花在什么事情上？
这个答案，或许正是下一次认真选择的起点。
