迁移学习网络训练中，train损失和迁移损失都在下降，但test_loss不变，test_acc下降？
source_domain有2000数据，target_domain有500，都是高维导波数据，网络采用的多层linear层，迁移损失用DAN或DSAN（从王晋东博士github抄的），训练过程中cls-loss下降很快，transfer_loss下降的缓慢，但test-loss不变，test-acc越训越低， 我在方面没什么经验。，请问各位我的网络可能发生了什么问题
我的解答思路和尝试过的方法
网络有问题吗，可能线性层堆叠不适合这种数据？ 可能迁移损失不对？ 可能我的数据量太少
存不存在迁移方向这种问题？ 数据处理有问题
我只能想到这种浅显的问题。
