关于训练的Loss

[yenanjing]

您好，
（1）请问训练loss中，除了两个对比损失，生成任务的L(task)是仅指交叉熵损失吗？（即torch.nn.CrossEntropyLoss）
（2）T5原文中提到了类似spanBert的bert-style的mask损失，请问论文中是否应用了这种目标函数呢？还是仅使用seq2seq的目标函数呢？
非常感谢！

[LeMei]

您好， （1）请问训练loss中，除了两个对比损失，生成任务的L(task)是仅指交叉熵损失吗？（即torch.nn.CrossEntropyLoss） （2）T5原文中提到了类似spanBert的bert-style的mask损失，请问论文中是否应用了这种目标函数呢？还是仅使用seq2seq的目标函数呢？ 非常感谢！

(1)是的，生成序列的每一步还是一个分类任务，因此用的是交叉熵损失。
(2)T5原文中提到了类似spanBert的bert-style的mask损失应该是训练T5所需要的损失。我们是在T5上进行微调。用到的是有监督损失(seq2seq的目标函数)+无监督的对比损失。

[huigeStudent]

您好， （1）请问训练loss中，除了两个对比损失，生成任务的L(task)是仅指交叉熵损失吗？（即torch.nn.CrossEntropyLoss） （2）T5原文中提到了类似spanBert的bert-style的mask损失，请问论文中是否应用了这种目标函数呢？还是仅使用seq2seq的目标函数呢？ 非常感谢！

你好 请问一下你跑通了吗，能提供相关代码嘛？