Quantitative convergence of convolutional neural networks with correlated weights

Abstract

Me üldistame Basteri ja Trevisani, 2024 tulemust, mis mõõdab juhusliku täisühendusega närvivõrgu ja Gaussi protsessi vahelist kaugust, juhuslikule korreleeritud kaaludega konvolutsioonilisele närvivõrgule. Selleks leiame ülemise tõkke ruut Wassersteini kaugusele juhusliku konvolutsioonilise närvivõrgu ja talle vastava Gaussi protsessi vahel. Saadud tõke näitab, kuidas arhitektuurilised parameetrid mõjutavad koondumiskiirust, kui kanalite arv kasvab. Erijuhul kui konvolutsioonilise närvivõrgu struktuur taandub tavaliseks närvivõrguks, saame tagasi tulemuse Basteri ja Trevisani, 2024 tööst.

We extend the quantitative Gaussian approximation of randomly initialized fully connected neural networks established in Basteri and Trevisan (2024) to convolutional neural networks with patch-wise correlated weights. Specifically, we derive an upper bound on the quadratic Wasserstein distance between the output distribution of a randomly initialized convolutional neural network and its associated neural network Gaussian process. The obtained bound reveals how the architectural parameters affect convergence in the wide limit. As a corollary, we recover the fully connected network bound of Basteri and Trevisan (2024) when the convolutional structure degenerates to a dense layer.