实习派 | 王拓为：从初探到突破，做更有影响力的系统研究

（本文阅读时间：8分钟）

“做更有影响力的研究，让学术成果发挥现实作用。”这是清华大学计算机科学与技术系博士二年级学生王拓为科研道路上的方向标，也是一座始终闪耀的灯塔。

从初来实习的零经验本科生，到在全球高性能计算与系统结构领域的顶级会议SC上“一投即中”成功发表论文，王拓为一路进阶，展现了从学习到创造的蜕变。

微软亚洲研究院异构计算组高级研究员李琨，不仅是他成长过程中的引路人，更是他从科研新手成为初具锋芒的青年学者的见证者。

如何坚定方向，如何做出卓有成效的研究，又如何能够快速成长为“独当一面”的优秀科研人？让我们走进王拓为的实习体验，寻找答案。

生活中的王拓为

本科初入实验室时，王拓为曾在算法设计和系统优化之间权衡。最终他锚定系统领域，希望通过最大限度激发硬件计算性能，为系统飞跃性提升产生基础性影响。

要做科研，更要做有影响力的科研。坚定这一信念，王拓为在2022年秋天来到了微软亚洲研究院异构计算组，开启了他的科研之旅。

提起刚开始实习的日子，王拓为觉得就像“摸着石头过河”。在学校实验室的他是“跟随者”，在师兄姐的带领下复现实验，但在微软亚洲研究院，他的身份迅速转换成了“创造者”。

构建科研想法，探索实验方法，撰写高质量论文，扩大成果知名度——步骤众多，环环相扣。在这之前，王拓为并不了解一次完整科研实践的构成，带着些许迷茫，他迎来了第一个课题。

以密度泛函理论为代表的计算化学方法虽然广泛应用于药物设计、材料科学和能源生产等领域，但其高昂的计算开销成为大规模分子系统应用的障碍。针对这一问题，在与团队的合作下，王拓为从系统角度出发，提出了一种全新的解决方案：弹性并行转换技术（EPT）。

EPT 通过将复杂的分子系统抽象并分解为适合并行处理的单元，优化任务划分粒度，并自动生成专为 GPU 架构设计的高效计算内核。这一创新在保持计算精度的前提下，将性能提升了10倍以上，为科学研究迈向更高效、更精确、更大规模的计算奠定了系统基础和技术支撑。

分子系统工作（EPT）系统框架图

更重要的是，这项工作首次尝试从系统角度重新定义和设计科学计算任务，以将传统的科学计算应用引入系统社区，为跨领域融合探索了新路径。虽然这一研究目前仍在持续推进，但王拓为并不急待一个结果，而是认真打磨技术，默默积累经验。

科研的挑战不仅在技术层面，还在于如何表达和传播研究成果。对于初次尝试撰写科研论文的王拓为来说，这也是一场“硬仗”。由于缺乏科研论文写作经验，王拓为还记得当时将自认满意的论文提交给mentor李琨后，得到的反馈却并不理想。

王拓为（右）与 Mentor 李琨（左）

但李琨给予了王拓为充分的包容和细致的指导，他从逻辑梳理、语言表达、图文排版等细节出发，一对一讲解科研文章写作的“独门绝技”。与此同时，王拓为也会主动交流个人想法。润物细无声之中，两人完成磨合并逐渐形成默契，他们的关系“亦师亦友”，十分融洽。

当需要与外部合作时，李琨会积极联系相关领域的专家学者提供帮助；当需要更多硬件资源时，他也会努力协调申请，利用微软亚洲研究院的丰富资源，确保王拓为的科研工作没有后顾之忧。

“在工作中，拓为展现了强烈的求知欲与内驱力，他不仅充满好奇心，还总能发现别人忽略的问题，提出独特的见解。”这是李琨对王拓为个人特质的欣赏，也是他从不局限其天马行空想法的原因。

此外，李琨还指出王拓为最可贵的一点，是不急功近利。他的目标从来不是为了快速发几篇论文，而是追求将问题深入研究并努力做到极致，让工作真正具有持久的影响力。这与微软亚洲研究院的科研理念非常契合。

科学研究往往需要时间的沉淀，最初的分子系统性能优化工作虽然仍待完善，却为王拓为打下了扎实的基础。此时李琨建议他“两条腿走路”：在推进已有工作的同时，尝试新的课题。

经过讨论，他们决定将新的研究方向定为大模型微调。在一次阅读文献时，王拓为发现了一篇介绍稀疏化技术的文章中的观点可以与新的研究方向巧妙结合。这次“灵感的碰撞”催生了一个全新的研究方向：如何通过稀疏化技术降低大模型微调的成本。

稀疏化微调工作（Long Exposure）

在这一领域，已有的参数高效微调技术提出冻结预训练模型的大部分参数，仅微调少量（额外）参数，在实际中被广泛使用。然而，王拓为发现，可训练参数数量的减少可以大大缩短微调中参数更新阶段的计算和内存开销，但是却无法相应地作用于开销更大的前向传播和反向传播阶段。

针对上述问题，他定义了一种全新的模型稀疏范式 Shadowy Sparsity，这在模型参数高效微调中独有且在此前从未得到发掘。在此基础上，王拓为进一步设计出高效模型微调系统 Long Exposure，该系统在稀疏捕捉、预测和计算方面进行了全面优化，实现了微调效率的2.49倍提升。这项研究首次探索了稀疏性在模型微调中的应用，为系统优化开辟了新路径，并成功被高性能计算领域顶会 SC’24 录用。

王拓为在国际超算大会SC'24作报告

提起成功感受，王拓为深感努力与积累的重要性。他再次回忆起目前自己仍在推进的科学计算工作，如果没有来时一路的坎坷与积累，很难有如今厚积薄发的收获。

“有时候努力不一定要以你认为理所应当的形式回报给你，只要有付出，总会在未来不期而遇的某个时刻用到它。”王拓为感慨万分。

实习光阴荏苒如流，如今王拓为已从本科毕业，在清华大学继续攻读博士学位。李琨见证了他身上的飞速成长：“拓为已经具备了博士生应有的水准，能够独立地推动科研项目的进行并完成技术落地。”

回顾来时路，王拓为难忘李琨的耐心与包容，如果没有mentor李琨始终如一的信任与帮助，他或许很难积蓄勇气与信心收获现在的成功。

此外，他也特别感谢微软亚洲研究院首席研究员曹婷老师的悉心指导。曹婷老师在课题方向的选择和具体实验的细节上给予了王拓为诸多建议，同时也鼓励他在探索新方向时保持信心与专注。“曹老师的建议让我受益匪浅，她的支持让我对科研的未知领域充满勇气。”王拓为说。

王拓为在清华大学的导师——计算机科学与技术系副教授任炬老师，同样长期指导王拓为的成长。任炬老师会定期与王拓为进行科研讨论，了解他目前的科研进展，并从个人角度提供新的建议。关于大模型稀疏化微调的文章，任炬老师也作为通讯作者参与其中。“任老师的科研理念与研究院的异构计算组非常契合，我在双方的指导下，也得以更快地成长。”王拓为感激道。

除了良师引路，微软亚洲研究院还给予了更多新知。这里有不同高校的实习生同学，各专业领域的研究员。与多元的优秀人才前行，彼此阅历不同、背景不同，思想的碰撞使他受益匪浅，于微软亚洲研究院窥见无限天地。

王拓为（左二）与组内聚餐 

从科研小白到发表顶会论文，王拓为的科研征程进入了新阶段。目前，他思考的问题是实现科研的“从一到多，从有到精”，继续向更高难度、更具现实意义的课题发起挑战。

对于未来，王拓为选择以平常心对待，不骄不躁，不疾不徐。在科研旅途中，面对不顺，他常常选择暂时跳出难题，调整心态，“科研不是生活的全部，人生有时比我们想象的要更加广阔。”

“希望能够做出更有影响力的工作”依旧是他追寻的目标。如今王拓为期待有朝一日，能够将自己的科研发现落实到应用层面，让一沓沓纸页在这一时代创造独特的价值，一如多年前坚定选择计算机系统优化领域和一路走来每一次面对抉择的那些瞬间。

李琨

微软亚洲研究院

高级研究员

你也许还想看