SentiScribe

输入是一段对话视频,输出是带同步情绪标注的转录文本。
三路信号各自抽特征再融合:面部表情、语音韵律、语言内容。
难的地方在于三者经常不一致——说着「我没事」而表情和语调都在说相反的话。 这种不一致本身才是最有信息量的部分,所以融合策略不能简单取多数投票。

输入是一段对话视频,输出是带同步情绪标注的转录文本。
三路信号各自抽特征再融合:面部表情、语音韵律、语言内容。
难的地方在于三者经常不一致——说着「我没事」而表情和语调都在说相反的话。 这种不一致本身才是最有信息量的部分,所以融合策略不能简单取多数投票。