this repo has no description
Continue rapport
+16
-6
+16
-6
rapport/context.typ
+16
-6
rapport/context.typ
···
37
37
38
38
#let exhaustive_memory_table = (caption, filled: false) => {
39
39
let maybe = content => if filled { content } else { [] }
40
-
let costs = (plus_one, minus_one) => [ $L(+1) = #plus_one, L(-1) = #minus_one$ ]
41
-
pad(x: 10%, figure(
40
+
let costs = (plus_one, minus_one) => [ $L(x+1,) = #plus_one quad L(x-1,) = #minus_one$ ]
41
+
pad(x: 7%, y: 10%, figure(
42
42
table(
43
-
columns: (2fr, 1.2fr, 3fr),
44
-
align: left,
43
+
columns: (2fr, 1.9fr, 3fr),
44
+
align: (left, center, left),
45
45
inset: 8pt,
46
-
[*État courant* $(x, "retour")$], [*Action* \ +1 ou -1], [*Coûts associés* \ #maybe[avec $L = (x, "retour") |-> |x-2|$]],
46
+
[*État actuel* \ $(x, "retour")$], [*Meilleure action* \ +1 ou -1], [*Coûts associés* \ #maybe[avec $L = (x, "retour") |-> |x-2|$]],
47
47
[ $(0, "C'est plus")$ ], maybe[ +1 ], maybe(costs(2, 2)),
48
48
[ $(1, "C'est plus")$ ], maybe[ +1 ], maybe(costs(1, 2)),
49
49
[ $(3, "C'est moins")$ ], maybe[ -1 ], maybe(costs(2, 3)),
···
58
58
59
59
L'entraînement consiste donc ici en l'exploration de l'entièreté des états possibles de l'environnement, et, pour chaque état, le calcul du coût associé à chaque action possible. On remplit la colonne "Action à effectuer" avec l'action associée au coût le plus bas.
60
60
61
+
Il faut définir la fonction de coût, souvent appelée $L$ pour _loss_:
62
+
63
+
$
64
+
L: E -> S
65
+
$
66
+
67
+
avec $E$ l'ensemble des états possibles de l'environnement, et $S$ un ensemble muni d'un ordre total (on utilise souvent $[0, 1]$)
68
+
69
+
Quand on parle de "coût d'une action", on parle du coût de l'état résultant de l'application de l'action en question à l'état actuel
70
+
61
71
#exhaustive_memory_table(filled: true)[ Entraînement terminé, avec pour fonction coût $L$ la distance à la solution ]
62
72
63
73
Ici, cette approche exhaustive suffit parce que l'ensemble des états possibles de l'environnement, $E$, posssède 6 éléments
64
74
65
-
Cependant, ces ensembles sont bien souvent prohibitivement grands (e.g. $n in [| 0, 10^34 |]$), infinis ($n in NN$) ou indénombrables ($n in RR$)
75
+
Cependant, ces ensembles sont bien souvent prohibitivement grands (e.g. $x in [| 0, 10^34 |]$), infinis ($x in NN$) ou indénombrables ($x in RR$)
66
76
67
77
Dans le cas de la robotique, $E$ est une certaine représentation numérique du monde réel autour du robot, on imagine donc bien qu'il y a beaucoup trop d'états possibles.
68
78
rapport/main.pdf
rapport/main.pdf
This is a binary file and will not be displayed.