工院先锋

工院先锋

喜报!工程师学院学子在2022年ICPR Multimodal Subtitle Recognition相关赛事中获得冠军

编辑:系统管理员 发布时间:2022.05.20 阅读数:468 来源:工程师学院

2022515日,由ICPR与腾讯联合举办的ICPR Multimodal Subtitle Recognition相关赛事圆满结束。经过激烈的角逐,智慧能源项目2005班谢昊源同学参与的赛道一任务“Extracting subtitles in visual modality with audio annotations中,该项目团队荣获冠军

image.png 

获奖团队项目介绍:

赛道名称Extracting subtitles in visual modality with audio annotations

参赛团队单位:网易、浙江大学、华中科技大学

项目介绍:本项目主要通过主办方提供的音频模态信息预测视频帧中的字幕信息。通过遍历真实标注中的每一条字幕,并且与预测字幕信息计算tIOU(时间交并比)匹配tIoU最大并且0.5的预测结果,计算CER团队的解决方案最终以绝对优势获得了此次赛道一的冠军。融合多模态信息识别视频中的内容是其中一项极具挑战和应用价值的研究课题。本次竞赛专注于视频字幕提取这一任务,字幕是视频数据中最重要的文本信息之一,其文字来源于访谈节目或电视剧等类的视频。