Category Archives: Uncategorized

近日，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI）王宏伟教授知识工程与知识系统实验室（DSKE LAB）的一项工作"API Is Enough: Conformal Prediction for Large Language Models Without Logit-Access"，被自然语言处理领域顶会EMNLP2024 Findings接收。该工作解决了在logit不可访问情况下量化大语言模型不确定性的普遍挑战。论文第一作者为DSKE LAB 2023级硕士生苏嘉源，指导老师为浙江大学王宏伟教授。 共形预测（CP）因其模型无关性和分布无关性特性，被视为适用于各种大语言模型（LLMs）和数据分布的方法。然而，现有的用于LLMs的CP方法通常假设可以访问logit，但对于某些仅提供API的大语言模型来说，logit是无法获取的。此外，logit已知存在校准问题，可能会导致CP性能下降。为应对这些挑战，我们提出了一种新的CP方法：(1) 针对无logit访问的仅API大语言模型进行优化；(2) 尽可能缩小预测集的规模；(3) 确保用户定义覆盖率的统计保证。该方法的核心思想是利用粗粒度（如样本频率）和细粒度不确定性概念（如语义相似度）来构建不一致性测度。在封闭式和开放式问答任务上的实验结果表明，我们的方法在大多数情况下优于基于logit的CP基线。 论文简介 大语言模型（LLMs）取得了显著的进展，展现了自然语言生成的研究潜力。然而，它们经常生成不准确、不真实或不基于事实的信息，这种现象被称为“幻觉”。因此，量化LLMs的不确定性对于确保其生成负责任的回应至关重要。 然而，由于复杂的数据分布和模型内部机制，以及通常难以获取logit信息，LLMs的不确定性量化（UQ）充满挑战。一个潜在的解决方案是使用CP，它以模型无关性和分布无关性著称，并提供严格的覆盖率保证。现有的大多数用于LLMs的CP方法依赖于访问模型的logit来测量非一致性得分。然而，对于一些仅提供API的LLMs，终端用户几乎不可能访问logit信息。即使logit信息可获取，也可能存在校准问题，这可能导致CP在估计预测集时性能下降，进而影响预测的效率和有效性。 为了在没有logit访问的情况下实现CP，我们提出对每个输入抽样一定次数（例如30次），并将每个响应的频率作为粗粒度的不确定性概念。这种方法减少了抽样成本并消除了对logits的依赖。然而，仅使用频率作为非一致性测度会导致得分集中在某些值上，降低预测集的效率。为了解决这个问题，我们提出了两个细粒度的不确定性概念：归一化熵（NE），用于衡量不同提示之间的一致性，以及语义相似度（SS），用于衡量响应与同一提示内最频繁响应之间的相似度。通过结合这些不同的不确定性信息，所提出的非一致性得分函数可以更好地区分不同响应的不确定性。 ▲提出的问题和解决方法的说明 我们的贡献总结如下： 这是首个针对没有logit访问的LLMs的CP工作，提供了小规模预测集的覆盖率保证。 提出了一种新颖的CP方法，使用粗粒度和细粒度的不确定性概念作为非一致性测度。还从理论上证明了：(1) 使用响应频率来近似模型输出概率在计算上是不可行的；(2) 我们的方法确保了严格的统计覆盖率保证。 在封闭式和开放式问答任务上进行了实验，证明了方法的有效性。值得注意的是，我们在大多数情况下超越了所有基线，包括四种访问logit的方法和一种不访问logit的方法。 ▲Llama-2-13b模型在TriviaQA数据集上的结果 ▲Llama-2-13b模型在WebQuestions数据集上的结果 ▲Llama-2-13b模型在MCQ任务上的结果 作者信息 苏嘉源，ZJUI人工智能专业硕士研究生，指导教授为ZJUI王宏伟教授，研究方向为自然语言处理、大语言模型。 团队介绍 DSKE LAB成立于2018年，聚焦自然语言处理、知识图谱构建、基于知识的决策与推理、知识驱动的协同建模与仿真、数据驱动的状态监测和故障诊断等方面的研究，研究成果发表于包括 ACL、EMNLP、CVPR、IJCAI、TII、TNNLS、TASE等在内的各项国际顶级会议和期刊。其中，团队近年围绕自然处理领域的低资源命名实体识别、低资源关系抽取、开放知识图谱推理等问题开展研究，研究成果先后在ACL、EMNLP等高水平会议发表。 论文信息 论文标题： API Is Enough: Conformal Prediction for Large Language Models Without Logit-Access 论文地址： https://arxiv.org/pdf/2403.01216

在数字化浪潮的推动下，制造业正经历着前所未有的变革。近日，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI）王宏伟教授主导的国家重点研发计划子课题，同项目组其他课题一起发表了专著《制造业多价值链协同数据空间设计理论与方法》。该专著为制造业的智能化转型提供了理论支撑和实践指导。 该专著对制造业多价值链协同数据空间的理论与设计方法进行了系统性的研究，并以北京清畅电力技术股份有限公司作为对象进行应用情况的分析和验证。本书首先对制造业多价值链协同数据空间进行定义，设计制造业多价值链协同数据空间体系架构，研究数据空间内部相关数据处理方法及关键支撑方法。在此基础上，利用数据空间管理设计方法和系统架构，构建制造业多价值链协同数据空间知识引擎，设计制造业多价值链协同数据空间管理引擎和管理平台。最后进行应用实践，辅以案例以便读者更好地吸收、掌握使用方法。该专著适合于制造业相关大数据管理人员和科研人员、数据空间设计和应用科研人员以及相关专业的高等学校教师和研究生使用，也适用于推进数字化转型的其他行业工作者参考、借鉴。 该国家重点研发计划项目，制造业多价值链协同数据空间设计理论与方法，由华北电力大学牵头，由浙江大学、东北电力大学、清华大学共同完成。该项目聚焦于制造业多价值链的管理难点和痛点，创建了制造业多价值链协同数据空间设计基础理论，构建了面向制造企业的多价值链协同体系，形成了价值链活动新业务模式，实现了企业全过程多价值链协同管理。较大地提高制造企业智能化管理水平、综合竞争力和经济效益。 在项目中，王宏伟教授主导的课题三，多价值链协同知识服务引擎技术与方法，聚焦于多价值链协同知识的服务引擎构建、复杂数据空间的知识挖掘和协同知识的重用这三个关键科学问题，充分运用知识发掘和服务科学理论，基于知识关联、知识图谱、深度学习、迁移学习及自然语言处理等方法，设计支持多价值链协同数据空间的知识服务引擎架构、智能知识挖掘、动态知识服务等核心技术，解决多价值链协同知识的服务引擎构建问题。 王宏伟教授团队长年耕耘于知识工程与知识系统、工业大数据挖掘、自然语言处理、多模态等研究领域。在该国家重点研发计划项目中，王教授带领团队，将知识工程等人工智能技术充分运用到制造业多价值链场景中，并实际解决多价值链下制造业企业海量数据难管理、知识难挖掘和重用的问题，使团队的核心科研技术在项目中得到了充分地应用和延申。

近日，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI）王宏伟教授知识工程与知识系统实验室（DSKE LAB）的一项工作" SemanticMask: A Contrastive View Design for Anomaly Detection in Tabular Data"，被机器学习领域顶会IJCAI2024接收。该论文第一作者为DSKE LAB 2021级博士研究生陶舒婷，通讯作者为浙江大学王宏伟教授和孟祥明助理教授。 论文简介 基于数据增强技术的对比学习最近在图像领域的异常检测方面取得了实质性的进展。然而，由于缺乏空间结构，为表格数据设计有效的数据增强方法仍然具有挑战性。传统技术，如随机遮盖，忽视了特征之间的相关性，无法准确地表示数据。为了解决这个问题，我们提出了一种新颖的增强技术，称为SemanticMask，它利用列名中的语义信息生成更好的增强视图。SemanticMask旨在确保视图之间共享的信息包含足够的信息用于异常检测，而不会产生冗余。在论文中，我们分析了共享信息与异常检测性能之间的关系，并从经验上证明了针对表格异常检测任务的良好视图是特征相关的。我们的实验结果验证了SemanticMask优于表格数据的传统异常检测方法和数据增强技术。我们还进一步评估了多类别异常检测任务，SemanticMask也明显优于基线。 ▲ SemanticMask方法总流程图 对于现实世界的表格数据，列名通常携带有价值的语义信息。这意味着具有语义相似列名的特征通常是相关的，当异常发生时会表现出相似的异常值模式。利用这种语义关联，我们提出了一种基于语义的掩码方法（称为SemanticMask）用于基于对比学习的异常检测。具体来说，SemanticMask使用语言模型和聚类算法将特征分成k个簇，将具有语义相似列名的特征分组到同一个簇中。在设计对比视图时，由于异常特征是未知的，因此共享信息包含整个语义范围内的完整特征覆盖至关重要，即增强视图之间的共享特征至少包含每个簇中的一个特征。SemanticMask通过将这些簇随机且公平地划分为两个不同的子集来实现这一点。然后，每个增强视图选择不同的子集，并对其各自选择的子集中的每个簇应用预定的掩码比例，同时保持未选择的簇不受影响。因此，SemanticMask降低了每个簇的信息丢失的可能性，同时防止了冗余，从而在视图之间共享信息的数量上实现了平衡。相比之下，传统的数据增强技术，如随机掩码，忽视了这种语义连接。它们随机选择特征作为共享信息，因此共享特征更有可能仅来自部分簇，导致生成的表示不足以捕获关键的异常特征。主要贡献总结如下： (1) 我们提出了SemanticMask，一种将列名的语义信息纳入考虑的方法，用于创建表格领域异常检测的有效增强视图。此外，我们引入了两种扩展变体：一种结合掩码估计模块，以解决分类特征自然包含导致歧义的零值的情况；另一种整合了描述异常检测任务的一句话提示作为先验知识，有助于选择共享特征。 (2) 我们分析了共享信息的数量与不同设置下SemanticMask的下游异常检测性能之间的关系。我们还从经验上证明了基于对比学习的异常检测的良好视图是特征相关的。 (3) SemanticMask优于表格数据的最先进异常检测方法和增强技术。此外，我们还将SemanticMask扩展到多类异常检测，并进一步展示了其效果和多功能性。 ▲掩码概率与共享信息的关系 ▲人造异常设计说明 作者信息： 陶舒婷，ZJUI和浙江大学计算机科学与技术学院计算机科学与技术专业联合培养博士研究生，由ZJUI王宏伟教授、孟祥明助理教授联合指导，研究方向为对比学习，扩散模型。

近日，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI）王宏伟教授知识工程与知识系统实验室（DSKE LAB）的一项工作UniDCP: Unifying Multiple Medical Vision-Language Tasks Via Dynamic Cross-Modal Learnable Prompts，被期刊IEEE Transactions on Multimedia 接收（清华A类期刊，CCF-B类，IF:8.4）。该工作构建了一个具有动态跨模态可学习提示的统一医学视觉语言模型，可以在统一模型中灵活应用于多个医学视觉语言任务。该论文第一作者为DSKE LAB 2022级博士研究生詹晨璐，通讯作者为浙江大学王宏伟教授和王高昂助理教授。 论文简介 医学视觉语言预训练(Med-VLP)模型近年来加速了医学诊断应用的快速发展。然而，大多数 Med-VLP 模型都是从头开始独立学习特定于任务的表示，因此在跨多个微调任务工作时会导致极大的不灵活性。在这项工作中，我们提出了 UniDCP，这是一个具有动态跨模态可学习提示的统一医学视觉语言模型，可以在统一模型中灵活应用于多个医学视觉语言任务。具体而言，我们明确构建了一个统一的框架，通过利用跨模态提示进行统一来协调来自多个预训练任务的不同输入，从而可以容纳同一模型中的异构医学微调任务。此外，我们设想了一种动态跨模态提示优化策略，该策略优化可共享空间内的提示，以隐式处理可共享的临床知识。UniDCP 是第一个能够在8 个医学单模态和跨模态任务（14 个相应数据集）上执行的 Med-VLP 模型，并且始终比各种最先进的方法有着更优异的结果。 ▲ 论文的主要框架 我们提出了一个集成且灵活的模型，具有低成本扩展性。1）集成：UniDCP在各种模态任务中具有更广泛的泛化性，没有特定于任务的模块，并在统一模型中实现了全面的SOTA结果。2）灵活性：我们提出动态提示，为每个任务选择语义上最有效的表示，它可扩展地适应各种任务，而开销可以忽略不计。我们的贡献总结如下： 我们提出了 UniDCP，这是一种统一的可塑模型，能够通过跨模式提示协调来自多个预训练任务的异构输入，从而执行多个医疗微调任务。 我们提出了动态跨模式提示在可共享空间内优化策略，以在不同任务转换下与可共享的临床知识配合。 UniDCP 是第一个 Med-VLP 模型，在 8 项医学视觉语言任务和 14 个基准上取得了最先进的结果，说明了将可共享的临床知识集成到多个任务中的优越性。 UniDCP能够执行多种医疗单模态和跨模态任务： 实验结果： 医学视觉问答任务定量比较分析： 作者信息： 詹晨璐， ZJUI和浙江大学计算机科学与技术学院计算机科学与技术专业联合培养博士研究生，导师为王宏伟教授和王高昂助理教授。研究方向为多模态、医学图像处理。 论文标题： UniDCP: Unifying Multiple Medical Vision-Language Tasks …

Continue reading “喜报 ｜DSKE LAB博士研究生在多模态方向顶级期刊IEEE Transactions on Multimedia 发表成果”

▲ 论文的方法框架 近日，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI）王宏伟教授知识工程与知识系统实验室（DSKE LAB）的一项工作"Generalized Out-of-Distribution Fault Diagnosis (GOOFD) via Internal Contrastive Learning "，被SCI一区IEEE Transactions on Industrial Informatics期刊接收。该论文第一作者为DSKE LAB 2022级硕士研究生王馨悦、2022级硕士研究生张涵容，通讯作者为浙江大学王宏伟教授。 故障诊断在工业过程中的机器监测中是至关重要的。随着工作条件日益复杂和生产安全需求的增加，对多样化故障诊断方法的需求与日俱增。因此，我们迫切需要一种能够处理多任务的综合故障诊断系统。然而，目前故障诊断领域中的子任务通常是被分开研究的；同时，当下的这些诊断方法还不足以直接构建通用性系统。为了解决这个问题，我们提出了广义分布外故障诊断（GOOFD）框架以整合各种子任务。同时，本文还提出了一种基于内部对比学习和马氏距离的集成性故障诊断方法，来适用于我们提出的GOOFD多任务框架。该方法通过内部对比学习进行特征提取，并基于马氏距离进行异常识别，实现同时解决多个子任务的问题。通过实验对比，证明我们提出的方法不但可以应用于多种故障诊断任务，还比现有的单任务SOTA方法取得更好的性能，验证了GOOFD集成性框架的有效性。 论文简介 目前，故障诊断研究主要包含两个任务：1）确定系统是否正常。用于这一任务的技术称为过程监控，主要关注生产过程中的异常检测任务。2）对已发生的故障进行分类并找出其原因。用于这一任务的方法叫故障检测和故障分类。然而，目前这些子任务的解决方法都是被单独分开讨论的，再加上实际生产过程越来越复杂，这导致了两个问题：1）目前仍然缺乏一个用于多任务的广义故障诊断框架；2）由于子任务的方法框架都不同，其特征提取方法和网络结构都是独立的，导致其训练会比较耗时。为了解决这些问题，开发一个集成性的故障诊断系统是至关重要的，并且该系统需要采用统一的方法来同时处理多种任务。综上，本文提出了一种全新的框架，我们的主要贡献总结如下： 我们首次提出了一个名为广义分布外故障诊断（GOOFD）框架的综合诊断系统，包括过程监控、故障分类和OSFD任务，这为后续相关研究提供了广阔的扩展和探索空间。 本文介绍了一种新的集成性故障诊断方法ICL-OD，用于1)解决GOOFD框架中的多任务问题，以及2)基于内部对比学习和马氏距离方法学习未知类别样本，并且相比于baseline方法可以学习到更具区分度的特征值。 在基准数据集和实际数据集上进行了大量实验，结果表明我们提出的方法可以应用于不同的故障诊断任务，并且相比现有的单任务方法具有更好的性能。 ▲ 实验对比 ▲ 实验对比 作者信息 王馨悦，2022级浙江大学ZJUI学院硕士研究生，由王宏伟教授指导，研究方向为深度学习、故障诊断。 张涵容，2022级浙江大学ZJUI学院硕士研究生，导师为王宏伟教授，研究方向为深度学习、故障诊断和知识图谱。 论文信息 论文标题： Generalized Out-of-Distribution Fault Diagnosis (GOOFD) via Internal Contrastive Learnin 论文地址： https://ieeexplore.ieee.org/document/10510599/

近日，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI）王宏伟教授知识工程与知识系统实验室（DSKE LAB）的一项工作: MedM2G: Unifying Medical Multi-Modal Generation via Cross-Guided Diffusion with Visual Invariant，被计算机视觉领域顶会CVPR2024接收。该工作构建了一个医学多模态生成框架，在同一个模型中对齐、提取和生成医学多模态。该论文第一作者为DSKE LAB 2022级博士生詹晨璐，通讯作者为浙江大学王宏伟教授和王高昂助理教授、研究员。 近年来，各种基于去噪扩散模型的高级医学领域生成工作显著提高了医学诊断任务的效率。然而，这些医学生成模型大多依赖于不同的单流管道，用于专门的生成任务，过程繁琐且速度缓慢。在需要整合多种医学模态进行分析的真实世界医学场景中，这种生成方法在其外延上面临着诸多实质性的限制。此外，最新的多模态生成方法在提取特定医学知识和利用有限的医学配对数据实现跨模态生成方面的能力还非常有限。这些不足使得构建一个能够处理多种医学模态任务的统一医学生成模型成为迫切需要。这样的模型仍然存在一些困难的挑战：( 1 )多种医疗模式之间的巨大差异对实现一致性提出了重大挑战，并带来了昂贵的成本。( 2 )与一般领域的图像不同，医学影像模态( CT、MRI、X光等图像)具有各自独特的临床特性。传统的统一对齐方法往往会导致混叠。( 3 )一般多模态生成式预训练模型通常具有大规模匹配良好的跨模态数据库，而医学跨模态配对训练数据集非常缺乏，使得医学多模态的生成式能力难以再训练。 ▲ 论文的主要框架 为了解决上述挑战，该论文提出了一个统一的医学多模态生成模型MedM2G，该模型创新地在统一的模型中对齐、提取和生成多种医学模态。MedM2G通过与多种扩散模型交互实现医学多模态生成。本文主要的动机是解决以下问题：1 ) MedM2G可以生成任意模态的成对数据。利用生成的数据进行预训练，提高了下游任务(分类、分割、检测、翻译)的性能。2 ) MedM2G可以对稀缺的医疗模式进行代际补偿。3 ) MedM2G可以融合生成多模态用于医学综合分析。4 ) MedM2G可以在一个统一的模型内处理多个任务，并实现了SOTA 结果。本文具体的贡献可以主要包含以下几个方面： 提出了第一个能够对齐、提取和生成多种医学模态的统一医学多流生成框架MedM2G。 提出了以自适应参数为条件的多流交叉引导扩散策略，用于高效的医学多模态生成，并配合医学视觉不变量保存来维护特定的医学知识。具体来说，我们首先提出在输入和输出共享空间中有效采用的中心对齐，它将每个模态的嵌入与文本嵌入进行简单对齐，从而实现所有模态的对齐。值得注意的是，为了保持跨模态概念生成所特有的3种医学影像模态的特定医学知识，我们提出了医学视觉不变量保持，通过最小化两个增强视图的非对角线元素来更好地提取。此外，增强医学跨模态的交互是至关重要的，因此，我们将自适应表示和可共享的交叉注意力子层限制在每个跨模态扩散器中。结合本文提出的多流训练策略，我们的模型可以无缝地处理多个无跨模态配对数据集的医疗生成任务。 MedM2G在5个医疗生成任务的10个数据集上都获得了优越的性能。 除此之外，MedM2G可以生成的成对的医学模态数据来进行预训练，有效提高了下游分类、分割、检测、转化任务的性能。 ▲ 多流训练策略 ▲ 医学模态生成结果 ▲ 利用生成的医学数据辅助下游任务 作者信息： 詹晨璐，ZJUI和浙江大学计算机科学与技术学院计算机科学与技术专业联合培养博士研究生，由ZJUI王宏伟教授、王高昂助理教授、林毓助理教授联合指导，研究方向为多模态、医学图像处理。 论文信息： 标题：MedM2G: Unifying Medical Multi-Modal Generation via Cross-Guided …

Continue reading “知识工程与知识系统实验室博士研究生在计算机视觉领域顶会CVPR发表成果：MedM2G:通过具有视觉不变性的交叉引导扩散统一医学多模态生成”

2024年1月28日，浙江大学知识工程与知识系统实验室（DSKE LAB）2023年年终总结会议暨年度表彰大会在海宁顺利举行。会议由团队负责人王宏伟教授主持，团队20余名成员参加会议。活动以丰富多彩的内容和热烈的氛围，展现了团队的凝聚力和团结精神，也对实验室未来的发展路径与目标做出了长远规划。 年终总结会议上，团队成员分享了一年来的学习和工作成果，并感慨了自己的成长与收获。接着是优秀学员颁奖仪式，DSKE LAB共颁发四项奖项，包括科研成果奖、卓越贡献奖、精益求精奖和科研新秀奖，以表彰团队成员在科研、贡献和创新方面的杰出表现。令人惊喜的是，实验室的毕业生代表覃博、秦昊、燕凯宏等，通过在线视频的方式送上祝福，为整个团队增添了温馨的氛围，也让在场的成员们备受鼓舞。最后，王宏伟教授发表了总结讲话，鼓励大家奋力向前，在新的一年再创佳绩。 会议结束后，团队成员们在轰趴馆内度过了愉快的时光。晚餐是围炉火锅，大家在温暖的氛围中共享美食，也增进了彼此间的情谊。随后，KTV、小影院、台球、桌游等各种活动区域相继开放，成员们自由互动，放松心情。抽奖环节更是激发了大家的热情，将轰趴馆的氛围推向高潮。 在新春佳节即将来临之际，DSKE LAB将以饱满的热情迎接新的一年，在2024年继续携手共进，力争做出质量更高、影响力更强的成果。

2023年9月23日，在杭州亚运会盛大开幕的背景下，DSKE团队举办了一场充满温情和活力的迎新团建活动。本次活动以“Heart to Heart @ DSKE”为主题，以秋天的橙作为主色调，象征着丰收与希望。王宏伟教授带领团队30余位成员参与活动，活动在海宁举行。 2023年9月23日，在杭州亚运会盛大开幕的背景下，DSKE团队举办了一场充满温情和活力的迎新团建活动。本次活动以“Heart to Heart @ DSKE”为主题，以秋天的橙作为主色调，象征着丰收与希望。王宏伟教授带领团队30余位成员参与活动，活动在海宁举行。

2023年8⽉9日—10⽇，由浙江⼤学伊利诺伊⼤学厄巴纳⾹槟校区联合学院(ZJUI)主办的国家重点研发计划项⽬“制造业多价值链协同数据空间设计理论与⽅法”2023年年度督导会在杭州顺利召开。本次会议邀请到多位权威专家对项目过去一年的工作进行评价，并为下一步的工作提出指导意见，其中包括浙江理工大学前副校长陈⽂华教授、同济大学赵卫东教授、浙江大学马庆国教授、杭州电子科技大学前副校长陈畴墉教授、杭州电子科技大学计算机学院院长俞俊教授、浙江大学设计工程研究所所长张树有教授。浙江大学国际联合学院院长李寒莹教授、华北电⼒⼤学科研院副院长张充为大会致辞，项目四个课题负责人华北电力大学⽜东晓教授、华北电力大学刘达教授、浙江大学王宏伟教授、东北电⼒⼤学韩洁平教授以及北京清畅电力技术股份有限公司张焕粉总经理等子课题负责人及主要科研⻣⼲等40余⼈出席本次会议，会议由ZJUI副院长王宏伟教授主持。