Beneish M-score – Bland missförstånd och alternativa fakta

 

Det här blir upptakten till ett senare inlägg jag hoppas kunna få färdigt den här månaden (och som delvis också kommer att handla om M-score). I det här inlägget får ni följa min jakt på vad som egentligen är sant kring en del av de påståenden som görs om den här modellen, något som förbluffande nog ingen verkar ha rett ut tidigare.

M-score används för att beräkna en sannolikhet för redovisningsmanipulation för ett bolag. Dessa beräkningar brukar kunna få ganska starka mothugg från bolaget i fråga, eller anhängare av det. Kritiken går ofta ut på att modellen är föråldrad, att den har använts på fel sätt, att det finns senare (bättre?) varianter av modellen, att fel brytpunkt har använts, eller något annat i den stilen.

Jag kommer inte gå in i detalj på de parametrar modellen består av. För en tydlig beskrivning av modellen på svenska hänvisar jag istället till ett inlägg kring detta av Kenny Granath på Värdepappret. Ekvationen för att beräkna sannolikheten ser hur som helst ut på följande sätt:

Resultatet blir ett värde som, om det är större än -1,78 (alltså närmare noll, eller positivt), visar att bolaget sannolikt manipulerar räkenskaperna. En brytpunkt på just -1,78 innebar i ursprungsartikeln att 74 % av bolagen som manipulerade räkenskaperna kunde upptäckas. Samtidigt var endast 14 % av de bolag som fångades upp oskyldiga till redovisningsmanipulation.

 

Jakten börjar

Under 90-talet publicerade Beneish flera artiklar om nyckeltal och modeller som kan användas för att upptäcka brott mot generellt accepterade redovisningsprinciper (kallas i resten av inlägget för GAAP) (Beneish & Press, 1993; Beneish, 1997). I artikeln från 1997 stöter man först på just de 8 parametrar som sedan kom att utgöra hans välkända modell, men 1997 förekommer de tillsammans med ytterligare 4 parametrar. År 1999 publiceras så artikeln där Beneish använder sin modell för att beräkna en sannolikhet för Earnings manipulation baserat på uppgifter från två på varandra följande år. Modellen kallas för PROBM.

Fast forward till idag. Beneish modell för att upptäcka brott mot GAAP används över hela världen, och har framgångsrikt använts för att flagga för bokföringsbrott i flera stora bolag. Modellen finns även som färdigt tillval i vissa screeners. Men någonting har hänt.

Det går nästan inte att läsa en studie eller kommentar om M-score (som den har kommit att kallas) utan att det påstås att Beneish, efter artikeln från 1999, har påstått att tre av faktorerna är överflödiga och skapat en reviderad variant av modellen. Denna variant tar endast hänsyn till 5 av de 8 ursprungliga parametrarna, och använder andra koefficienter och brytpunkt för när ett bolag klassas som en “manipulator”. Användningen av den förenklade modellen är utbredd och förekommer i ett stort antal publikationer och blogginlägg. Det finns även ett förberett Excel-dokument som beräknar båda varianterna av M-score, men nu plötsligt med den nyare brytpunkten (-2,22) för dem båda…

Med ovanstående i beaktande skulle man kunna tro att Beneish, i den senaste artikeln han publicerade om M-score (Beneish et al., 2013), har övergått till att använda modellen med endast 5 parametrar. Här väcks min nyfikenhet, och eftersom jag gärna vill ha lite kött på benen innan jag utan vidare använder en modell så vill jag kolla upp när (och varför) Beneish har ändrat den.

Jag läser artikeln från 2013, i hopp om att få lite klarhet i detta. En av parametrarna (TATA) har fått en modifierad innebörd, tack vare att det i USA i slutet på 80-talet blev krav på att redovisa kassaflöden i finansiella rapporter. Övriga 7 parametrar har samma innebörd som i originalartikeln, och någon modell med färre parametrar nämns inte. Dessutom används fortfarande den ursprungliga brytpunkten (-1,78).

Det här kommer som lite av en överraskning, eftersom jag hade förväntat mig att en senare förbättring/förenkling av modellen sannolikt är den han skulle hållit sig till i fortsättningen.
Hur hamnade vi här? Det måste betyda att Beneish, någon gång mellan 1999 och 2013, istället publicerade en annan artikel som tar upp denna alternativa modell, och motiverar uteslutandet av de tre parametrar som saknas där. Jag nystar vidare…

Mycket riktigt hänvisar den sida som tillhandahåller Excel-dokumentet till en artikel av Beneish som ska vara daterad 2007 och gå under namnet “The Predictable Cost of Earnings Manipulation”. Jag får tag på vad som visar sig vara en arbetsversion, inte en färdig publikation. Det spelar ingen roll, tänker jag. Så länge han motiverar den nyare modellen på något sätt kan det här ändå få sin upplösning. Jag läser igenom utkastet, men artikeln handlar huvudsakligen om att undersöka avkastningen på en portfölj som tar både korta och långa positioner (hedge) utifrån deras M-score. I artikeln används bara versionen med 8 parametrar, och ingen hänvisning görs till en enklare modell.

Olika kommentarer på internet hänvisar till andra (både tidigare och senare) artiklar av Beneish. Allt mer frustrerad letar jag rätt på allt jag kan hitta från den perioden. Men varje dokument jag öppnar visar sig vara utkast eller sammanfattningar. Plötsligt sitter jag till midjan i arbetsversioner från 2005 till 2009, varav ingen av dem skriver någonting om en annan modell än den med 8 parametrar!

Kommentarer på forum, tillsammans med en jämförelse av de olika dokumenten gör att jag kan komma till följande slutsats: Beneish arbetade med två olika studier under denna period.

• Den ena fokuserade på att utvärdera avkastningen för en strategi som använder M-score (8 parametrar).
• Den andra använde M-score (8 parametrar) ihop med 4 andra faktorer för att beräkna ett O-score (inte att förväxla med Ohlson’s O-score). Sedan beräknades avkastningen för en strategi som rankar bolag efter O-score.

Ingen av dessa arbetsversioner resulterade i en färdig publikation. Istället omarbetades de kraftigt och inspirerade i slutändan den artikel som publicerades 2013. Jag har alltså inte lyckats hitta någonting som är skrivet av Beneish som nämner den förenklade modellen.

Så här kan det ju inte få sluta. Jag vägrar acceptera att den alternativa modellen bara ska ha dykt upp från ena dagen till nästa, utan att det finns dokumenterat i någon form. Vad är det egentligen som Beneish har publicerat som har skapat dessa påståenden om en förenkling? Vad har jag missat? Jag kavlar upp ärmarna och tänker att: “Nej, nu j****r ser jag till att gå till botten med det här!”
Mitt fortsatta letande tar mig till… Italien.

Jag får tag på en relativt ny artikel som faktiskt använder varianten med 5 parametrar (Corsi et al., 2015), fast den här gången jämförs den mot ytterligare en variant, anpassad för italienska SME:s (small and medium-sized enterprises). Den italienska varianten har även den 5 av Beneish ursprungliga 8 parametrar. De två modellerna är mycket lika varandra, men koefficienterna samt en av parametrarna skiljer dem åt. Här kommer dock till slut ett genombrott: I artikeln påstås att modellen med 5 parametrar härleddes av Université de Lille, på ett urval av Europeiska bolag.

Huzzah! Kan detta vara vad jag har letat efter? Referensen för detta går däremot bara till en annan italiensk artikel, som är den som sägs ha gjort varianten anpassad för italienska SME:s, och som jag då förutsätter i sin tur hänvisar till denna franska källa. Den italienska artikeln visar sig tråkigt nog vara oerhört svår att få tag på. Men skam den som ger sig…

Till slut ligger den där på bordet framför mig (bildligt talat). En italiensk artikel, skriven på italienska, som till sist ska ge mig den hänvisning jag letat så efter. Jag börjar skumma igenom den (Giunta et al., 2014). Jag behöver inte kunna italienska för att förstå ord som Beneish, M-score, otto eller cinque. Halvvägs igenom kommer så den italienska varianten av modellen. Trevligt. Då är det nog bara rader kvar till dess att det jag letar efter dyker upp. Jag läser vidare. Artikeln tar slut… Ursäkta? Jag läser igenom en gång till… Ingenting. Inte ens med omfattande hjälp av Google Translate lyckas jag hitta minsta lilla blinkning åt en äldre modell med 5 parametrar.

Modstulen börjar jag om. Utan att ha annat att gå på än “Université de Lille” och “Beneish” lägger jag mitt hopp till Google. Jag hittar ytterligare en italiensk artikel (Paolone & Magazzino, 2014), samtida med den förra, men den här gången är den åtminstone på engelska. Den fokuserar på modellen med 8 parametrar, men ger i slutet av artikeln en länk till den franska studien! Jag noterar att länken är snart 12 år gammal, men håller andan…  och klickar…

Mycket riktigt har den slutat fungera (antagligen för många år sedan). I adressen i länken går det åtminstone att utläsa att det verkar ha rört sig om ett arbete i en kurs om bokslut som gick 2004-2005. Paolone & Magazzino antyder däremot att andra källor också har diskuterat den nu mytomspunna varianten med endast 5 parametrar. Dessa är Wells (2001) och Harrington (2005). Kanske kan detta fortfarande få en upplösning. Jag tänker att det är lika bra att gå så långt tillbaka som möjligt först…

Den av Wells är endast ett kortare inlägg i Journal of Accountancy, där Wells påstår att Beneish (i artikeln från 1999) “theorized there may be up to five useful predictors of earnings manipulation”. Till saken hör att Beneish faktiskt gör ett sådant konstaterande, men presenterar ingen uträkning som passar en modell med endast 5 parametrar. De 5 som Beneish och Wells nämner är inte heller exakt samma som de som är med i den vitt spridda varianten med 5 parametrar, vilket betyder att källan till den förenklade modellen inte kommer härifrån.

Efter mycket grävande (och ett medlemskap i Fraud Magazine senare) lyckas jag få tag på Harringtons artikel. Precis som Wells visar sig denna vara mer av arten “nyhetsartikel” än något vetenskapligt. Hon hänvisar till Beneish (1999) och nämner 5 parametrar som extra viktiga. Hon skriver att de 5, tillsammans med ytterligare 3 som “were found to be less indicative of earnings manipulation” ger den totala modellen. Den förenklade variant hon påstår är den korrekta inkluderar SGAI och exkluderar bland andra TATA, och motiverar det med att Beneish hävdar det i artikeln från 1999 (något som absolut inte stämmer).

• De 5 parametrar Harrington presenterar är inte exakt samma som de som nämns av Beneish och Wells.
• Vidare är Harringtons 5 parametrar inte heller exakt samma som i den “officiella” varianten med 5 parametrar…

Nu börjar det här bli smått parodiskt! Det går tydligen att plocka vilka parametrar som helst från Beneish ursprungliga modell och hävda att just de fem är de mest signifikanta. Släng in några referenser också så har du ryggen fri sedan. Att göra påståenden utan att faktakolla dem är tydligen inte något nytt fenomen.

Harrington skriver tyvärr ingenting om en studie från Lille, som nu närmast börjar liknas vid den heliga graal.

Jag gör ett sista försök att hitta någonting, vad som helst, som kan ge mig svar på mina frågor. Ett examensarbete på masternivå verkar slutligen kasta lite ljus på detta (Hofmann, 2006). Den är på italienska…

Nåväl. Har jag gjort det förut kan jag göra det igen. I stycket efter att den ursprungliga modellen har beskrivits står följande:

Varför skulle ni ha det lättare än vad jag har haft?

Hypotesen som Hofmann lägger fram är i alla fall att “någon” sannolikt har skrivit ned vad som vid “något tillfälle” har uttryckts, men aldrig publicerats av Beneish. I ett senare stycke står även att “the formula of the 5-variable model is not indicated in Beneish (1999) but is described in different literature sources (see Université de Lille 2004) that deal with this model”.

En till hänvisning till Lille! Jag scrollar ned i arbetet, i jakt på referensen till det franska universitetet. En strimma av hopp finns att det ska visa sig vara en annan länk, som kanske fortfarande lever. Jag når slutet…

 

Länken är identisk med den förra…

Spåret kallnar. Jag ger upp. Med tom blick stirrar jag på skärmen framför mig. Argt konstaterar jag att Paolone & Magazzino (2014) uppenbarligen bara har kopierat referensen till Lille från Hofmanns artikel. Jag tvivlar annars på att de hämtade den 2006 (som det står i referensen), och sedan satt på den i 8 år innan de använde den som underlag. Länken fungerade antagligen inte ens när de publicerade sin artikel.

I min enfald trodde jag att jag, om jag bara letade tillräckligt noggrant, skulle kunna hitta svaren på alla påståenden som görs kring den här modellen. Men ibland går det inte som man vill. Källor försvinner, påståenden förstoras upp. Till slut börjar saker som någon gång har sagts likställas med väl underbyggda vetenskapliga studier.

Vad innebär det här?

Jag gör ett försök att sammanfatta det mitt grävande har resulterat i.

• År 1999 publicerar Beneish en artikel som till viss del är en vidareutveckling av en modell han tar upp två år tidigare. I artikeln finns en modell med 8 parametrar som kan användas för att beräkna en sannolikhet för att ett bolags bokföring är manipulerad. Brytpunkt för modellen är -1,78. Beneish döper den till PROBM, men på de flesta andra håll går den senare under namnet M-score.

• Den variant med 5 parametrar som många påstår att Benish ligger bakom har i själva verket ett helt annat ursprung. En eller flera studenter från Universitetet i Lille har någon gång under perioden 2004-2005 valt ut 5 parametrar som har visat sig ha signifikans för deras urval, beräknat koefficienter och brytpunkt, och publicerat det som en del av ett arbete i en kurs. Metoden är testad på Europeiska bolag, med okänt resultat. Brytpunkt för modellen med 5 parametrar uppges vara -2,22 (något jag inte har kunnat kontrollera).

Den här modellen har sedan fått stor spridning och börjat användas lika flitigt som den ursprungliga. Jag kan tänka mig två orsaker till detta (en objektiv och en konspiratorisk):

1. Den kräver färre parametrar och är alltså enklare att beräkna.
2. Bolag som får ett negativt betyg av den mer omfattande modellen vill förstås gärna kunna framhäva en alternativ modell som kanske ger en fördelaktigare siffra.

• Exakt vilken variant av modellen som används kanske inte är det viktiga. Däremot är det fel att hävda att någon av dem ger tillförlitligare resultat (eftersom det inte finns någonting som stödjer det). Beneish använder fortfarande den med 8 parametrar, snarare än någon förenklad modell (som han aldrig ens nämner). Det finns heller inget som helst konsensus över vilka de 5 parametrarna ska vara i en förenklad modell. I tabellen nedan kan ni se vilka olika varianter jag har stött på under mitt letande.

Den från Wells (2001) är den enda som korrekt hänvisar till de 5 parametrar som Beneish fann hade störst inflytande på resultatet. För övriga (däribland den mest utbredda varianten med 5 parametrar) hittar jag inga belägg för varför just de 5 parametrarna har använts. Oftast är det genom felaktiga hänvisningar till uttalanden som Beneish ska ha gjort.

• Många har i senare arbeten hävdat att värdet -2,22 ska användas som brytpunkt för modellen med 8 parametrar, snarare än -1,78 som förespråkas i originalartikeln. I alla artiklar där Beneish över huvud taget nämner en lämplig brytpunkt, är det däremot konsekvent -1,78 som används (Beneish 1999, 2007, 2009, 2012, 2013). Det gäller alltså även artiklar av Beneish som publicerats långt efter att den förenklade varianten började spridas.

Att den brytpunkt som verkar gälla för varianten med 5 parametrar (-2,22) skulle gälla även för den ursprungliga modellen finns det därför inga som helst belägg för (ja, fetstil, kursiv och understruken på samma gång).

Exempelvis i arbetet av Hofmann används samma brytpunkt (-2,22) för båda två, något som motiveras på följande sätt:

Även om det stämmer att brytpunkten på -2,22 har använts vid tidigare beräkningar med den ursprungliga modellen, är inte det samma sak som att det är rätt. Det antas att den har definierats genom observationer av tillräckligt stora urval, men källor på detta kan man ju se sig i månen efter.

(Tillägg efter inläggets publicering: Beneish har via mail dementerat att brytpunkten -2,22 ska användas på modellen med 8 parametrar. Det råder alltså ingen tvekan längre om att en lämplig brytpunkt för modellen med 8 parametrar är -1,78 – inget annat.)

 

Slutord

Att jag överhuvudtaget började grotta ned mig i vad som är sant och falskt om M-score är för att jag själv vill använda det i ett senare inlägg. Det ligger inte i min natur att göra någonting halvbra, så när jag insåg att det inte var någon som egentligen visste hur det låg till med det här kunde jag inte låta bli att börja gräva. Jag kommer förstås att behöva göra en del kompromisser när jag själv använder modellen, men jag ska se till att det framgår vilka dessa är.

 

Artiklar som nämnts

Beneish, M., & Press, E., 1993
Costs of Technical Violation of Accounting-Based Debt Covenants

Beneish, M., 1997
Detecting GAAP Violation: Implications for Assessing Earnings Management among Firms with Extreme Financial Performance

Beneish, M., 1999
The Detection of Earnings Manipulation

Wells, J. T., 2001
Irrational Ratios

Harrington, C., 2005
Formulas for detection – Analysis ratios for detecting financial statement fraud

Hofmann, J., 2006
Earnings Management e Analisi Della Qualità Degli Utili: Un Confronto Tra Metodi Quantitativi Per Il Rilevamento Di Manipolazioni Del Bilancio D’Esercizio

Beneish, M., & Nichols, D. C., 2007
The Predictable Cost of Earnings Manipulation

Beneish, M., & Nichols, D. C., 2009
Identifying Overvalued Equity

Beneish, M., Lee, C. M. C., & Nichols, D. C., 2012
Fraud Detection and Expected Returns

Beneish, M., Lee, C. M. C., & Nichols, D. C., 2013
Earnings Manipulation and Expected Returns

Giunta, F., Bini, L., & Dainelli, F., 2014
Verifica Della Base Informativa Per L’Analisi Di Bilancio: Le Azioni Di Manipolazione Contabile

Paolone, F., & Magazzino, C., 2014
Earnings Manipulation among the Main Industrial Sectors, Evidence from Italy

Corsi, C., Di Berardino, D., & Di Cimbrini, T., 2015
Beneish M-score and detection of earnings management in Italian SMEs

Tarjo & Herawati, N., 2015
Application of Beneish M-score Models and Data Mining to Detect Financial Fraud