Wenn er echt ist, ist der Werbespruch genial.

Stimme völlig zu. Und es gibt genügend europäische Wissenschaftler in den USA, denen man genau jetzt ein attraktives Rückkehrangebot machen sollte. Das gleiche gilt für die Start-Up-Szene im Silicon Valley.

The Disintegration Theorem is already a result of measure theory en.wikipedia.org/wiki/Disinte...

💡 These bounds enables us to quantify the interplay between optimisation hyperparameters and the tail-index. Doing so, we contribute to the ongoing discussion on links between heavy tails and the generalization performance of neural networks.

Find our paper here: openreview.net/pdf?id=EFrgB...

💻 We give explicit upper and lower bounds on the tail-index of the resulting parameter distribution and validate these bounds in numerical experiments.

🧮 In our paper, we analyze a continuous diffusion approximation of SGD and show mathematically (in a regularized linear regression framework) that it leads to an asymptotically heavy-tailed parameter distribution, even though local gradient noise is Gaussian.

TL;DR: Heavy tailed parameter distributions can emerge from locally Gaussian gradient noise, as we show both theoretically and empirically.

It has repeatedly been observed that loss minimization by stochastic gradient descent (SGD) leads to heavy-tailed distributions of neural network parameters.

Inzwischen gibt es mehr als 8.000 „Starterpacks“ auf #Bluesky. Starterpacks sind kuratierte Listen von Accounts, denen man mit einem Klick folgen kann. Ihr könnt die 8.000 Starterpacks hier nach Begriffen wie Politik, Journalismus, Geschichte etc. durchsuchen: