Maskinlæring og dataanalyse (ML): gratis øving, teori og oppgaver

1. Data og grunnbegreper

Hva handler det om?

Maskinlæring er å la datamaskinen finne mønstre i data i stedet for at vi skriver reglene selv. Du gir modellen mange eksempler, og den lærer seg en sammenheng den kan bruke på nye tilfeller: gjenkjenne feil i en produksjonslinje, anslå strømforbruk i morgen eller sortere e-post.

Begreper og formler

• Egenskaper (features) $x$ er det modellen får inn. Merkelapp (label) $y$ er svaret vi vil at den skal gi.
• Veiledet læring: eksemplene har fasit $y$. Regresjon gir et tall, klassifisering gir en kategori.
• Ikke-veiledet læring: ingen fasit. For eksempel klynging (clustering) som finner grupper.
• Trenings- og testsett: modellen lærer på treningsdata og måles på testdata den aldri har sett, ofte fordelt 80/20.
• Overtilpasning (overfitting): modellen pugger treningsdataene, også støyen, og gjør det dårlig på nye data.
• Min–maks-normalisering: $x' = \dfrac{x - x_{min}}{x_{max} - x_{min}}$ gir verdier mellom 0 og 1.
• Standardisering: $z = \dfrac{x - \mu}{\sigma}$ gir gjennomsnitt 0 og standardavvik 1.
• Middelkvadratfeil: $\text{MSE} = \dfrac{1}{n}\sum (y_i - \hat y_i)^2$.

Slik løser du oppgavene

1. Finn ut hva som er $x$ og hva som er $y$, og om svaret er et tall eller en kategori.
2. For normalisering: finn min og maks (eller $\mu$ og $\sigma$) og sett inn.
3. For feilmål: regn ut feilen for hvert punkt, kvadrer, og ta gjennomsnittet.

Eksempel

Temperaturene 10, 15 og 30 °C skal min–maks-normaliseres. Hva blir 15?

1. $x_{min} = 10$, $x_{max} = 30$.
2. $x' = (15 - 10)/(30 - 10) = 5/20 = 0{,}25$.

Vanlige feil

• Å teste modellen på de samme dataene den ble trent på. Da ser den mye bedre ut enn den er.
• Å normalisere med min og maks fra hele datasettet, inkludert testdata. Det lekker informasjon.
• Å tro at en mer komplisert modell alltid er bedre. Den kan lett overtilpasse.

Begreper i denne delen

Øv på data og grunnbegreper i appen →

2. Lineær regresjon og gradientnedstigning

Hva handler det om?

Den enkleste modellen som lærer av data, er en rett linje: $\hat y = wx + b$. Modellen justerer vekten $w$ og konstantleddet $b$ slik at linja treffer punktene best mulig. Nøyaktig samme idé, bare med mange flere vekter, ligger bak store nevrale nett.

Begreper og formler

• Modell: $\hat y = wx + b$. $w$ er stigningstallet, $b$ er skjæringen med $y$-aksen.
• Tapsfunksjon: $L = \text{MSE} = \dfrac1n\sum (y_i - \hat y_i)^2$. Målet er å gjøre $L$ så liten som mulig.
• Minste kvadraters metode gir svaret direkte:

• Gradientnedstigning: gå litt i motsatt retning av gradienten, om og om igjen:

der $\eta$ er læringsraten.

• For MSE er $\dfrac{\partial L}{\partial w} = -\dfrac2n\sum x_i\,(y_i - \hat y_i)$.
• Forklaringsgrad $R^2$ mellom 0 og 1: hvor stor del av variasjonen i $y$ modellen forklarer.

Slik løser du oppgavene

1. Regn ut gjennomsnittene $\bar x$ og $\bar y$.
2. Regn ut avvikene fra gjennomsnittet og sett inn i formelen for $w$, deretter $b$.
3. For ett gradientsteg: regn ut gradienten, gang med $\eta$ og trekk fra.

Eksempel

Punktene $(1, 2)$, $(2, 4)$ og $(3, 5)$. Finn $w$.

1. $\bar x = 2$, $\bar y = 11/3$.
2. $\sum (x-\bar x)(y-\bar y) = (-1)(-5/3) + 0 + (1)(4/3) = 3$ og $\sum (x-\bar x)^2 = 2$.
3. $w = 3/2 = 1{,}5$, og $b = 11/3 - 1{,}5\cdot 2 \approx 0{,}667$.

Vanlige feil

• For stor læringsrate: tapet hopper fram og tilbake og kan eksplodere. For liten: det tar evigheter.
• Å glemme minustegnet i oppdateringen. Vi går nedover, mot lavere tap.
• Å tolke en god tilpasning som årsakssammenheng.

Begreper i denne delen

Øv på lineær regresjon og gradientnedstigning i appen →

3. Klassifisering og evaluering

Hva handler det om?

En klassifiseringsmodell sier «ja» eller «nei»: er delen defekt, er svulsten ondartet, er transaksjonen svindel? For å vite om modellen er god, må vi telle opp hvor den treffer og hvor den bommer. Og vi må velge hvor streng den skal være.

Begreper og formler

• Forvekslingsmatrisen (confusion matrix) teller fire utfall:

sant positiv (TP), falsk positiv (FP), sant negativ (TN) og falsk negativ (FN).

• Treffsikkerhet (accuracy): $\dfrac{TP + TN}{N}$.
• Presisjon: $\dfrac{TP}{TP + FP}$. Av dem modellen sa ja til, hvor mange var riktige?
• Gjenkalling (recall): $\dfrac{TP}{TP + FN}$. Av alle de ekte positive, hvor mange fant modellen?
• F1-mål: $F_1 = \dfrac{2PR}{P + R}$, et kompromiss mellom presisjon $P$ og gjenkalling $R$.
• Logistisk regresjon gir en sannsynlighet med sigmoidfunksjonen $\sigma(z) = \dfrac{1}{1 + e^{-z}}$. Over en terskel (ofte 0,5) sier modellen ja.
• k nærmeste naboer (k-NN): et nytt punkt får samme klasse som flertallet av de $k$ nærmeste punktene.

Slik løser du oppgavene

1. Sett opp de fire tallene TP, FP, TN og FN.
2. Velg riktig formel: presisjon ser på de positive svarene, gjenkalling på de positive tilfellene.
3. Tenk på hva som er verst: en falsk alarm eller et tilfelle som blir oversett?

Eksempel

En modell finner 40 av 50 defekte deler, og slår falsk alarm på 10 fine deler. Presisjon og gjenkalling?

1. $TP = 40$, $FN = 10$, $FP = 10$.
2. Presisjon $= 40/50 = 0{,}8$. Gjenkalling $= 40/50 = 0{,}8$.

Vanlige feil

• Å stole på treffsikkerhet når klassene er skjeve. Er bare 1 % svindel, får en modell som alltid sier «nei», 99 %.
• Å bytte om presisjon og gjenkalling.
• Å tro at terskelen må være 0,5. Lavere terskel gir høyere gjenkalling, men lavere presisjon.

Begreper i denne delen

Øv på klassifisering og evaluering i appen →