Comparing Spectral Bias and Robustness For Two-Layer Neural Networks: SGD vs Adaptive Random Fourier

相关文章推荐

开心的柳树 · 射阳县人民政府纪实风采 ...· 2 年前 ·

豪情万千的米饭 · 【文章】探店2022款保时捷Cayenne ...· 2 年前 ·

细心的冲锋衣 · 创意月饼礼盒设计：中秋节就这么安排！ | ...· 2 年前 ·

爱跑步的香蕉 · 绝地天通·初漫画免费 - 绝地天通·初漫画 ...· 2 年前 ·

细心的筷子 · 或2021年推出外媒曝光BMW i4假想图｜皆电· 2 年前 ·

We present experimental results highlighting two key differences resulting from the choice of training algorithm for two-layer neural networks. The spectral bias of neural networks is well known, while the spectral bias dependence on the choice of training algorithm is less studied. Our experiments demonstrate that an adaptive random Fourier features algorithm (ARFF) can yield a spectral bias closer to zero compared to the stochastic gradient descent optimizer (SGD). Additionally, we train two identically structured classifiers, employing SGD and ARFF, to the same accuracy levels and empirically assess their robustness against adversarial noise attacks. 中文翻译：

推荐文章

开心的柳树 · 射阳县人民政府纪实风采欢迎回家！射阳县组织开展2021年退役军人光荣返乡接站活动

2 年前

豪情万千的米饭 · 【文章】探店2022款保时捷Cayenne E-Hybrid，愿黑马金盾守护你高贵的人生_车家号_汽车之家

2 年前

细心的冲锋衣 · 创意月饼礼盒设计：中秋节就这么安排！ | 颜值正义 | Foodaily每日食品

2 年前

爱跑步的香蕉 · 绝地天通·初漫画免费 - 绝地天通·初漫画 - 漫画在线全集免费阅读 - 腾讯动漫

2 年前

细心的筷子 · 或2021年推出外媒曝光BMW i4假想图｜皆电

2 年前