▲ 论文的方法框架

近日，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI）王宏伟教授知识工程与知识系统实验室（DSKE LAB）的一项工作"Generalized Out-of-Distribution Fault Diagnosis (GOOFD) via Internal Contrastive Learning "，被SCI一区IEEE Transactions on Industrial Informatics期刊接收。该论文第一作者为DSKE LAB 2022级硕士研究生王馨悦、2022级硕士研究生张涵容，通讯作者为浙江大学王宏伟教授。

---

故障诊断在工业过程中的机器监测中是至关重要的。随着工作条件日益复杂和生产安全需求的增加，对多样化故障诊断方法的需求与日俱增。因此，我们迫切需要一种能够处理多任务的综合故障诊断系统。然而，目前故障诊断领域中的子任务通常是被分开研究的；同时，当下的这些诊断方法还不足以直接构建通用性系统。为了解决这个问题，我们提出了广义分布外故障诊断（GOOFD）框架以整合各种子任务。同时，本文还提出了一种基于内部对比学习和马氏距离的集成性故障诊断方法，来适用于我们提出的GOOFD多任务框架。该方法通过内部对比学习进行特征提取，并基于马氏距离进行异常识别，实现同时解决多个子任务的问题。通过实验对比，证明我们提出的方法不但可以应用于多种故障诊断任务，还比现有的单任务SOTA方法取得更好的性能，验证了GOOFD集成性框架的有效性。

---

论文简介

目前，故障诊断研究主要包含两个任务：1）确定系统是否正常。用于这一任务的技术称为过程监控，主要关注生产过程中的异常检测任务。2）对已发生的故障进行分类并找出其原因。用于这一任务的方法叫故障检测和故障分类。然而，目前这些子任务的解决方法都是被单独分开讨论的，再加上实际生产过程越来越复杂，这导致了两个问题：1）目前仍然缺乏一个用于多任务的广义故障诊断框架；2）由于子任务的方法框架都不同，其特征提取方法和网络结构都是独立的，导致其训练会比较耗时。为了解决这些问题，开发一个集成性的故障诊断系统是至关重要的，并且该系统需要采用统一的方法来同时处理多种任务。综上，本文提出了一种全新的框架，我们的主要贡献总结如下：

1. 我们首次提出了一个名为广义分布外故障诊断（GOOFD）框架的综合诊断系统，包括过程监控、故障分类和OSFD任务，这为后续相关研究提供了广阔的扩展和探索空间。

2. 本文介绍了一种新的集成性故障诊断方法ICL-OD，用于1)解决GOOFD框架中的多任务问题，以及2)基于内部对比学习和马氏距离方法学习未知类别样本，并且相比于baseline方法可以学习到更具区分度的特征值。

3. 在基准数据集和实际数据集上进行了大量实验，结果表明我们提出的方法可以应用于不同的故障诊断任务，并且相比现有的单任务方法具有更好的性能。

▲ 实验对比

▲ 实验对比

---

作者信息

王馨悦，2022级浙江大学ZJUI学院硕士研究生，由王宏伟教授指导，研究方向为深度学习、故障诊断。

张涵容，2022级浙江大学ZJUI学院硕士研究生，导师为王宏伟教授，研究方向为深度学习、故障诊断和知识图谱。

---

论文信息

论文标题：

Generalized Out-of-Distribution Fault Diagnosis (GOOFD) via Internal Contrastive Learnin

论文地址：

https://ieeexplore.ieee.org/document/10510599/

近日，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI）王宏伟教授知识工程与知识系统实验室（DSKE LAB）的一项工作: MedM2G: Unifying Medical Multi-Modal Generation via Cross-Guided Diffusion with Visual Invariant，被计算机视觉领域顶会CVPR2024接收。该工作构建了一个医学多模态生成框架，在同一个模型中对齐、提取和生成医学多模态。该论文第一作者为DSKE LAB 2022级博士生詹晨璐，通讯作者为浙江大学王宏伟教授和王高昂助理教授、研究员。

近年来，各种基于去噪扩散模型的高级医学领域生成工作显著提高了医学诊断任务的效率。然而，这些医学生成模型大多依赖于不同的单流管道，用于专门的生成任务，过程繁琐且速度缓慢。在需要整合多种医学模态进行分析的真实世界医学场景中，这种生成方法在其外延上面临着诸多实质性的限制。此外，最新的多模态生成方法在提取特定医学知识和利用有限的医学配对数据实现跨模态生成方面的能力还非常有限。这些不足使得构建一个能够处理多种医学模态任务的统一医学生成模型成为迫切需要。这样的模型仍然存在一些困难的挑战：( 1 )多种医疗模式之间的巨大差异对实现一致性提出了重大挑战，并带来了昂贵的成本。( 2 )与一般领域的图像不同，医学影像模态( CT、MRI、X光等图像)具有各自独特的临床特性。传统的统一对齐方法往往会导致混叠。( 3 )一般多模态生成式预训练模型通常具有大规模匹配良好的跨模态数据库，而医学跨模态配对训练数据集非常缺乏，使得医学多模态的生成式能力难以再训练。

▲ 论文的主要框架

为了解决上述挑战，该论文提出了一个统一的医学多模态生成模型MedM2G，该模型创新地在统一的模型中对齐、提取和生成多种医学模态。MedM2G通过与多种扩散模型交互实现医学多模态生成。本文主要的动机是解决以下问题：1 ) MedM2G可以生成任意模态的成对数据。利用生成的数据进行预训练，提高了下游任务(分类、分割、检测、翻译)的性能。2 ) MedM2G可以对稀缺的医疗模式进行代际补偿。3 ) MedM2G可以融合生成多模态用于医学综合分析。4 ) MedM2G可以在一个统一的模型内处理多个任务，并实现了SOTA 结果。本文具体的贡献可以主要包含以下几个方面：

• 提出了第一个能够对齐、提取和生成多种医学模态的统一医学多流生成框架MedM2G。

• 提出了以自适应参数为条件的多流交叉引导扩散策略，用于高效的医学多模态生成，并配合医学视觉不变量保存来维护特定的医学知识。具体来说，我们首先提出在输入和输出共享空间中有效采用的中心对齐，它将每个模态的嵌入与文本嵌入进行简单对齐，从而实现所有模态的对齐。值得注意的是，为了保持跨模态概念生成所特有的3种医学影像模态的特定医学知识，我们提出了医学视觉不变量保持，通过最小化两个增强视图的非对角线元素来更好地提取。此外，增强医学跨模态的交互是至关重要的，因此，我们将自适应表示和可共享的交叉注意力子层限制在每个跨模态扩散器中。结合本文提出的多流训练策略，我们的模型可以无缝地处理多个无跨模态配对数据集的医疗生成任务。

• MedM2G在5个医疗生成任务的10个数据集上都获得了优越的性能。 除此之外，MedM2G可以生成的成对的医学模态数据来进行预训练，有效提高了下游分类、分割、检测、转化任务的性能。

▲ 多流训练策略

▲ 医学模态生成结果

▲ 利用生成的医学数据辅助下游任务

作者信息：
詹晨璐，ZJUI和浙江大学计算机科学与技术学院计算机科学与技术专业联合培养博士研究生，由ZJUI王宏伟教授、王高昂助理教授、林毓助理教授联合指导，研究方向为多模态、医学图像处理。

论文信息：
标题：MedM2G: Unifying Medical Multi-Modal Generation via Cross-Guided Diffusion with Visual Invariant

论文地址：https://arxiv.org/abs/2403.04290

2024年1月28日，浙江大学知识工程与知识系统实验室（DSKE LAB）2023年年终总结会议暨年度表彰大会在海宁顺利举行。会议由团队负责人王宏伟教授主持，团队20余名成员参加会议。活动以丰富多彩的内容和热烈的氛围，展现了团队的凝聚力和团结精神，也对实验室未来的发展路径与目标做出了长远规划。

年终总结会议上，团队成员分享了一年来的学习和工作成果，并感慨了自己的成长与收获。接着是优秀学员颁奖仪式，DSKE LAB共颁发四项奖项，包括科研成果奖、卓越贡献奖、精益求精奖和科研新秀奖，以表彰团队成员在科研、贡献和创新方面的杰出表现。令人惊喜的是，实验室的毕业生代表覃博、秦昊、燕凯宏等，通过在线视频的方式送上祝福，为整个团队增添了温馨的氛围，也让在场的成员们备受鼓舞。最后，王宏伟教授发表了总结讲话，鼓励大家奋力向前，在新的一年再创佳绩。

会议结束后，团队成员们在轰趴馆内度过了愉快的时光。晚餐是围炉火锅，大家在温暖的氛围中共享美食，也增进了彼此间的情谊。随后，KTV、小影院、台球、桌游等各种活动区域相继开放，成员们自由互动，放松心情。抽奖环节更是激发了大家的热情，将轰趴馆的氛围推向高潮。

在新春佳节即将来临之际，DSKE LAB将以饱满的热情迎接新的一年，在2024年继续携手共进，力争做出质量更高、影响力更强的成果。

2023年9月23日，在杭州亚运会盛大开幕的背景下，DSKE团队举办了一场充满温情和活力的迎新团建活动。本次活动以“Heart to Heart @ DSKE”为主题，以秋天的橙作为主色调，象征着丰收与希望。王宏伟教授带领团队30余位成员参与活动，活动在海宁举行。 2023年9月23日，在杭州亚运会盛大开幕的背景下，DSKE团队举办了一场充满温情和活力的迎新团建活动。本次活动以“Heart to Heart @ DSKE”为主题，以秋天的橙作为主色调，象征着丰收与希望。王宏伟教授带领团队30余位成员参与活动，活动在海宁举行。

Continue reading "DSKE LAB 迎新团建活动圆满成功"

2023年8⽉9日—10⽇，由浙江⼤学伊利诺伊⼤学厄巴纳⾹槟校区联合学院(ZJUI)主办的国家重点研发计划项⽬“制造业多价值链协同数据空间设计理论与⽅法”2023年年度督导会在杭州顺利召开。本次会议邀请到多位权威专家对项目过去一年的工作进行评价，并为下一步的工作提出指导意见，其中包括浙江理工大学前副校长陈⽂华教授、同济大学赵卫东教授、浙江大学马庆国教授、杭州电子科技大学前副校长陈畴墉教授、杭州电子科技大学计算机学院院长俞俊教授、浙江大学设计工程研究所所长张树有教授。浙江大学国际联合学院院长李寒莹教授、华北电⼒⼤学科研院副院长张充为大会致辞，项目四个课题负责人华北电力大学⽜东晓教授、华北电力大学刘达教授、浙江大学王宏伟教授、东北电⼒⼤学韩洁平教授以及北京清畅电力技术股份有限公司张焕粉总经理等子课题负责人及主要科研⻣⼲等40余⼈出席本次会议，会议由ZJUI副院长王宏伟教授主持。

Continue reading "国家重点研发计划项目 “制造业多价值链协同数据空间设计理论与方法”2023年年度督导会顺利召开"

Continue reading "ZJU知识工程与知识系统团队举办户外团建活动"

　　

Continue reading "ZJUI王宏伟团队获批2023年浙江省自然科学基金委基础公益研究计划重大项目"

　　王宏伟教授负责的“数据驱动的晶圆制造过程异常检测与故障诊断方法”获得2022年度国家自然科学基金面上项目资助。

Continue reading "团队获批国家自然科学基金面上项目"

近日，ZJU知识工程与知识系统课题组成员参加了第18届IEEE CASE会议，王宏伟主持了“自适应和弹性网络-物理制造网络”的主题会议，李梦璇做了题为“Knowledge Driven Technologies for Digital Twins in Cyber-Physical Manufacturing Networks: A Review”的报告，该工作由李梦璇、马克、陈浩楠、张田青、王腾悦、杨量景、Katherine Driggs-Campbell、王宏伟，共5名学生和3位导师协作完成。

Continue reading "ZJU知识工程与知识系统课题组论文被第18届IEEE CASE国际会议录用"

摘要 开放知识图(OpenKG)链接预测对于在问题回答和文本理解等应用程序中使用OpenKG非常重要。OpenKGs中的名词短语(NPs)和关系短语没有被规范化，这使得OpenKG的链接预测具有很高的挑战性。解决这一问题的现有方法将规范化信息注入到知识图嵌入模型中。然而，它们仍然不能充分利用NPs的语义。首先，两个不同的NPs，即使是指同一个实体，也可以携带不同版本的信息，这已经被以前的方法忽略了。其次，OpenKGs中NPs的邻域信息尚未被利用，其中包含了丰富的链路预测信息。基于这些观察结果，我们提出了OpenKG分段嵌入(OKGSE)方法。具体来说，为了充分捕获属于同一聚类的NPs的差异，我们学习了NP聚类和NP的单独嵌入部分。同时，我们通过将图上下文整合到语义匹配得分函数中来利用邻域信息。跨四个基准测试的广泛实验表明，OKGSE可以实现最先进的性能，并有效地捕获每个NP的独特语义。

Continue reading "ZJU知识工程与知识系统团队成员论文《基于分段嵌入的开放知识图链接预测》被CCF-C国际会议2022 IJCNN录用"