关于DevNet的学习以及改进

Question

你好，我最近在研究DevNet，碰巧看到了您的【论文笔记】Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection*这篇文章，我觉得很受用，我想问问你这篇文章截图里的代码能开源让我学习一下吗，我刚入门DL，正在把这个课题作为我的毕设。另外我想问问关于这个DevNet有什么改进的地方您觉得可以做的吗？我有尝试过您文章里引用的一个关于改进Contrastive Loss的点，但我尝试了似乎效果没有原来的好。谢谢

Answer 1

loss改进太困难了，需要调，很难找个比较好的loss。
1、文章只用了cutmix进行数据增强，可以尝试做些改动，用些其他的增强方式；
2、或者，进行两种不同程度的增强（一条弱增强，一条强增强），同时也用两个伪异常head支路分别对两个增强进行预测。
3、论文用的resnet18进行特征提取，可以考虑些新的网络或者带有transformer结构的特征提取器。
4、或者在head中加一些transformer类似的结构，給网络增加些全图信息。