105: batch normalization | TensorFlow | Tutorial
The video discusses in TensorFlow: tf.nn.batch_normalization()
00:00 - Start
00:26 - Internal covariate shift, scale, shit or offset
02:25 - Create tensors: input, mean, variance, scale, offset
04:30 - tf.nn.batch_normalization()
05:11 - Manual calculation of normalized values
07:36 - What does scale and shift actually do?
10:27 - Plots: original data, normalized without scale and shift, normalized with scale and shift
12:48 - When to use the Sergey method vs. the original method?
14:03 - Build model: tf.keras.Sequential()
16:15 - Plot: loss with and without scale, shift
17:00 - Batch size
17:43 - Train: model.fit(): batch_size
19:00 - Train on entire dataset: model.fit(): batch_size * num_batches
19:52 - Ending notes
----------------
TensorFlow Guide
----------------
batch_normalization:
https://www.tensorflow.org/api_docs/p...
Sergey Ioffe, Christian Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift:
http://arxiv.org/abs/1502.03167
http://proceedings.mlr.press/v37/ioff... (PDF)
Sur cette page du site, vous pouvez voir la vidéo en ligne 105: batch normalization | TensorFlow | Tutorial durée heure minute seconde en bonne qualité , qui a été Téléchargé par l'utilisateur learndataa 12 février 2024, Partagez le lien avec vos amis et connaissances, sur youtube cette vidéo a déjà été regardée 140 fois et il a aimé 2 téléspectateurs. Bon visionnage!
