第3个回答 2022-09-28
定义 通过一种模态样本来检索具有近似语义的另一种模态样本。 跨模态学习是多模态学习的分支。 跨模态检索训练过程中所有模态的数据都存在,但在测试过程中只有一种模态可用。
在跨模态检索中，检索结果的模态和查询的模态是不同的。比如，用户使用图像检索文本，视频和音频。跨模态检索的关键在于对不同模态的关系进行建模，难点就是跨越语义鸿沟。然而，当要检索的文档包含多模态的时候，一般的跨模态方法就无法直接应用到多模态检索。
.什么是跨模态检索？
模态是指数据的存在形式，比如文本、音频、图像、视频等文件格式。有些数据的存在形式不同，但都是描述同一事物或事件的。而我们在信息检索的需求往往不只是同一事件单一模态的数据，也可能需要其他模态的数据来丰富我们对同一事物或事件的认知，此时就需要跨模态检索来实现不同模态数据之间的检索。
2.什么是子空间学习(Subspace learning methods)以及其用途？
子空间学习大意是指通过投影，实现高维特征向低维空间的映射，是一种经典的降维思想。例如人脸图像，如果每幅图像提取出来的特征是1000维，则每幅图像对应着1000维空间中的一个点。维数太高给计算带来很多问题，且很多人认为真实有效的人脸图像特征并没有那么高维，可能只有100维，即每幅人脸只是100维空间中的一个点。将特征从1000维压缩到100维，就是子空间学习问题。在模式识别中，可能绝大多数的维数约简（降维，投影）算法都算是子空间学习，如PCA, LDA, LPP, LLE等等。子空间学习的主要问题，就是如何将特征从高维空间压缩到低维空间，需要保留什么样的信息，设定什么样的准则，低维空间的特征具有哪些特征等问题。
3.前期数据处理：中心化，标准化。
中心化:将原始数据减去平均数
标准化:将原始数据减去平均数然后再除以标准差,得到的数据范围是0~1。
标准化目的是消除不同变量间量纲差异，自身变异，数值大小带来的影响。
4.主成分分析（PCA）与典型相关分析（CCA）的异同点。
二者在对特征空间降维，映射至子特征空间的计算方法相同，但其对应的解释不同，二者均是通过构造原变量的适当线性组合提取不同信息，主成分分析着眼于考虑变量的“分散性”信息，而典型相关分析则立足于识别和量化二组变量的统计相关性，是两个随机变量之间的相关性在两组变量之下的推广。
5.典型相关性分析（CCA）的计算思想。
典型相关分析最朴素的思想：首先分别在每组变量中找出第一对典型变量，使其具有最大相关性，然后在每组变量中找出第二对典型变量，使其分别与本组内的第一对典型变量不相关，第二对本身具有次大的相关性。如此下去，直到进行到R步，两组变量的相关系被提取完为止，可以得到R组变量。关于典型相关分析的具体数学推导，我将以附录形式给出。