该指南使用深度学习来融合来自各种来源的信息。多模式数据我们对世界的体验是多模式的-我们看到物体，听到声音，感知质地，气味和味道。情态是指事物发生或经历的方式。当一个研究问题包含多种形式时，它具有多种形式的特征。为了使人工智能在理解我们周围的世界方面取得进步，它需要能够同时解释这些多模式信号。例如，图像通常与标签和文本说明相关联，文本包含图像以更清楚地表达文章的中心思想。不同的模式具有非常不同的统计属性。尽管通过组合不同的模式或信息类型来提高效果，多模式深度学习是一项非常诱人的任务，但在实践中，如何组合不同的噪声水平和各模式之间的冲突是一项非常诱人的任务。一个挑战。此外，该模型对预测结果具有不同的定量影响。实际上，最常见的方法是连接不同输入的高级嵌入，然后应用softmax。多模式深度学习的示例，其中使用不同类型的神经网络来提取特征。这种方法的问题在于它将赋予所有子网/模式同等的重要性，这在现实中是极不可能的。所有模式对预测都有相同的贡献。网络的加权组合。我们使用子网的加权组合，以便每个输入模式可以对输出预测产生学习贡献（Theta）。我们的优化问题变为-将Theta权重赋予每个子网后的损失函数。将权重附加到子网后，预测输出。使用一切！准确性和可解释性我们在两个现实的多峰数据集上获得了SOTA：MultimodalCorpusofSentimentIntensity（MOSI）数据集-有417个带视频注释的视频，其音频特征每毫秒被注释一次。总共有2199个带标签的数据点，其中情绪强度定义为从强负到强正，线性标度从-3到+3。模式包括：1.文本2.音频3.语言每个模式对情感预测的贡献TranscriptionStartSitePrediction（TSS）数据集-转录是基因表达的第一步，在此步骤中，特定的DNA片段被复制到RNA中（ mRNA）。转录的起点是转录开始的位置。 DNA片段的不同部分具有不同的特征，这会影响它们的存在。我们将TSS分为三个部分：上游DNA和下游DNATSS位置。我们取得了空前的进步，比之前的最新成果提高了3％。 TATAbox下游DNA区域的使用对该过程影响最大。