Världens bästa modell?

Att analysera hur bra en modell egentligen är, är inte helt enkelt för gemene man och någonstans handlar det, som konsument av en modell, om ifall man helt enkelt tycker att den är bra eller inte. Som det mesta här i livet. Men här pratar vi hockey. Vad är acceptabelt? Fjolårsmålet under debutsäsongen för WAAPS var, som hemsidenamnet skvallrar om, att vara bättre än 50%. Det kan vi konstatera att det har WAAPS lyckats med. 66.5% landade tillslut modellen på för all historisk data (~68% på säsongen 16/17).

Men vad är bra? Finns det ett bra nog? Sommarprojektet för Better Than a Monkey har varit just att försöka reda ut vad som är bra nog. För att göra detta så har internet scannats efter liknande projekt. På SHL-nivå kan jag fortfarande inte finna något projekt som är publikt, så för att finna något som har med hockey att göra så vändes blicken mot Nord Amerika och NHL. Fyra modeller fann jag varav två idag är aktiva sajter medan två av dem har skapats i mer av forskningssyfte inom ämnet.

SajtACC%Länk
Moneypuck~57%http://moneypuck.com/about.htm
Game Score Charts59,3%https://gamescorecharts.wordpress.com/2016/12/29/game-probabilities/
"Studie 1" om ML på Hockey59,3%http://nhlnumbers.com/2013/8/6/theoretical-predictions-in-machine-learning-for-the-nhl-part-ii
"Studie 2" om ML på Hockey60%http://nhlnumbers.com/2013/5/18/can-we-make-predictions-in-hockey-with-machine-learning-a-simple-experiment

Bästa modellen når alltså upp till 60% och en “Studie 2” menar på att den teoretiska gränsen för att förutse vinnaren i en hockeymatch ligger kring 62%. In på länken om ni vill läsa mer om det.

Hmmm.

WAAPS levererar alltså 66,5% medan den näst bäst modellen i detta test ligger på 60% och teoretiska gränsen kring 62%.

Frågan som jag i detta läge twittrade ut, men som ingen hade något intresse i att svara på: Är WAAPS världens bästa modell som inte bara passerat utan direkt krossat den teoretiska gränsen på vad som tidigare varit möjligt eller är SHL enklare att förutse än NHL?

För att svara på fråga ett så undersöker vi fråga nummer två.

Sagt och gjort så fungerar nu WAAPS även med NHL-data.

Ett första snabbt test som går att genomföra är antalet hemmasegrar.
I NHL vinner hemmalaget 54% av matcherna. I SHL vinner hemmalaget 57% av matcherna.

Genom att arbeta fram Power Ranken på NHL-lagen får vi en tydligare indikation på vad svaret på vår fråga är. Det lag med högst justerad (hemma/borta) Power Rank i en NHL-match vinner 59,9% av matcherna. I SHL vinner det lag med högst Power Rank 67,7(!)% av matcherna. Där har vi svaret på vår fråga. NHL är svårare att förutse än vad SHL är och den teoretiska gränsen som det talas om i artikeln går inte att applicera på SHL.

Men vad levererar WAAPS på NHL-data då? 59,8% i Accuracy och 64,1% i AUC.

MätningNHLSHL
Hemmavinster54%57%
Justerad Power Rank59,9%67,7%
WAAPS ACC %59,8%66,5%
WAAPS AUC %64,1%69,9%

Slutsats.

SHL är enklare att förutse än NHL och WAAPS står sig väl i konkurrensen med modellerna som finns. WAAPS slår till exempel båda de modellerna som finns aktiva idag och det skall även tas in att modellen inte har justerats något för att passa NHL bättre. Jag har en övertygelse om att en eller två procentenheter ytterligare finns att addera till de 59,8% och därmed skulle den gränsen kunna nås som det talas om i artikeln med teoretisk gräns. Jag tvivlar faktiskt på den siffran. Kan bli ett mål för hösten att slå den siffran, i mån av tid.

Jag har även valt att skriva med AUC (Area Under Curve) som är ett sätt att utvärdera Machine Learning-modeller. I och med att det inte är specificerat i artiklarna ovan om de andra modellerna om det är ACC (Accuracy) eller AUC deras siffror är skrivna i så utgår jag från att det är ACC.

Som ni ser ovan så är det förstås lockande att bygga en modell baserat bara på Power Rank då den har en högre ACC än ML-modellen. Problematiken kan exemplifieras med fjolårssäsongen i SHL då KHK’s framfart under hösten hade missats i ALLA matcher då de hade sämre Power Rank än samtliga lag. Det hade ju inte varit kul. En parentes är att laget med högre Power Rank vann 64,8% av matcherna 16/17. WAAPS träffade på 68%).

WAAPS är bra men det finns potential till förbättring.