← 高金

SentiScribe

2025 · 我做多模态融合与情绪标注

SentiScribe

输入是一段对话视频,输出是带同步情绪标注的转录文本。

三路信号各自抽特征再融合:面部表情、语音韵律、语言内容。

难的地方在于三者经常不一致——说着「我没事」而表情和语调都在说相反的话。 这种不一致本身才是最有信息量的部分,所以融合策略不能简单取多数投票。