105: batch normalization | TensorFlow | Tutorial
The video discusses in TensorFlow: tf.nn.batch_normalization()
00:00 - Start
00:26 - Internal covariate shift, scale, shit or offset
02:25 - Create tensors: input, mean, variance, scale, offset
04:30 - tf.nn.batch_normalization()
05:11 - Manual calculation of normalized values
07:36 - What does scale and shift actually do?
10:27 - Plots: original data, normalized without scale and shift, normalized with scale and shift
12:48 - When to use the Sergey method vs. the original method?
14:03 - Build model: tf.keras.Sequential()
16:15 - Plot: loss with and without scale, shift
17:00 - Batch size
17:43 - Train: model.fit(): batch_size
19:00 - Train on entire dataset: model.fit(): batch_size * num_batches
19:52 - Ending notes
----------------
TensorFlow Guide
----------------
batch_normalization:
https://www.tensorflow.org/api_docs/p...
Sergey Ioffe, Christian Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift:
http://arxiv.org/abs/1502.03167
http://proceedings.mlr.press/v37/ioff... (PDF)
In questa pagina del sito puoi guardare il video online 105: batch normalization | TensorFlow | Tutorial della durata di ore minuti seconda in buona qualità , che l'utente ha caricato learndataa 12 febbraio 2024, condividi il link con amici e conoscenti, su youtube questo video è già stato visto 140 volte e gli è piaciuto 2 spettatori. Buona visione!
