Optimer kvalitetskontrol med Computer Vision - Danish Crown

Danish Crown ønsker at automatisere kvalitetskontrollen af deres kamstege således, at kvaliteten af det, der sendes til kunder, sikres at være i højeste kvalitet. Dette øger kundetilfredsheden samtidig med, at det signifikant reducere mængden af fødevarer der kasseres, som medvirker til madspild.
Ønsket ligger som en del af deres 2021-2026 strategi: “Feeding the Future”, hvor Danish Crown ønsker at nedbringe klimaaftrykket på kød.

Opsumering

• 

  Generelt er kvaliteten på kamstege høj, men det ønskes fortsat at udvikle og forbedre kvaliteten

• 

  Kamstegens fedtlag forventes at være uniform af kunderne, omend det er svært givet, at ingen grise er ens

• 

  Som led i en udvidet AI Camp har vi taget billeder af kamstege med low-budget hardware og udarbejdet en Maskinlæringsmodel, som kan forudsige kvaliteten på kamstegene

• 

  Der er opsamlet 717 billeder, hvorpå kun 367 kan bruges til at udvikle en Maskinlæringsmodel

• 

  Kvaliteten blev bedømt fra 1-5 af to af Danish Crowns slagtere, for at reducere bias

• 

  Med 367 billeder til at træne og validere en maskinlæringsmodel, får vi en test nøjagtighed på 58.5%

• 

  Ved at gøre problemet binært (lav/høj kvalitet), får vi et mindre ubalanceret datasæt, reducere menneskelig bias, og får en test nøjagtighed på 84%

• 

  Det vurderes, at med mere data, samt bedre definition af de forskellige kategorier / klasser, vil vi kunne få en signifikant bedre model

Projektet

Gennem en udvidet AI Camp har Neurospace og Danish Crown samarbejdet om at opsamle vision data af kamstege i produktionen.
Under en udvidet AI Camp undersøgte vi, hvorvidt computer vision og maskinlæring kan hjælpe Danish Crown med at automatisere kvalitetskontrollen af kamstege.

I et samarbejde mellem Danish Crown Sæby og vores astronauter blev der på en formiddag taget billeder på både en kamstegs- og en backslinje. For at undgå forstyrrelser i produktionen blev dataopsamlingen designet således, at den ikke var i vejen for slagterne på linjen, og data opsamlingen foregik med et billigt hobby kamera, et filter samt belysning. Da der på én linje kommer 450 kamstege igennem på én time, var det muligt at få 700 billeder på meget kort tid.

Efter de rå billeder var præproccesseret af vores astronauter blev de gennemgået og scoret, på deres synlige kvalitet, af to meget erfarne slagtermestre.
Opgaven blev stillet til to medarbejdere for at reducere sandsynligheden for menneskelig bias. Kvaliteten blev vurderet på en skala fra 1 til 5, hvor 1 er lavest og 5 er højeste kvalitet. Definitionen på kvalitets klasserne fra 1 til 5 er designet af Danish Crown Sæbys eksperter indenfor visuel / inspektions kvalitet.

Omkring halvdelen (51%) af kamstegene bliver af de to medarbejdere klassificeret i præcis samme klasse. Omkring 40% af kamstegene vurderede de to eksperter 1 klasse ved siden af hinanden, f.eks. den ene vurderede at kamstegen hørte til klasse 5, mens den anden vurderede, at den tilhørte klasse 4. 2.65% af kamstegene blev vurderet i hver sin skala, dvs. den ene vurderede at den synlige kvalitet var 1, mens den anden ekspert vurderede den synlige kvalitet til 5.
Det blev her bekræftet at kvalitet er subjektiv, og den ene gik meget op i om der var visuelt blod på kamstegen, mens den anden ikke vurderede dette som relevant for kvaliteten. Det blev samtidig anerkendt, at ved et pilotprojekt, skal definitionen på de forskellige klasser være tydeligere, og differentiere signifikant fra de andre klasser.

For at bevise Proof-of-technology, reducerede vores astronauter datasættet til de kamstege, som var vurderet i samme klasse af de to eksperter fra Danish Crown Sæby. Det vil sige, at datasættet gik fra 717 billeder til at udgøre 367 billeder af unikke kamstege.

5 Klasser

Selvom 367, endda 700, billeder defineres som et meget lille datasæt til computer vision, er det af vores ML astronauter vurderet nok til at bevise potentialet i denne specifikke case. Kvaliteten på kamstege er generelt høj i Danish Crown.
Det betyder derfor at klasse 4 og 5 er overrepræsenteret i datasættet, mens klasse 1 og 2 er signifikant underrepræsenteret i datasættet (Se nedenfor).

Derfor var det muligt at lave en maskinlæringsmodel som, mod deres 51% nøjagtighed, havde en test nøjagtighed på 58.5% på billederne af kamstege. Derforuden gætter modellen 35.37% af kamstege forkert med en enkelt klasse. Det vil sige en klasse 5 er vurderet til at være klasse 4 eller vice versa.
Kun 6.12% af kamstege er vurderet 2 klasser ved siden af, og ingen kamstege er vurderet 3 eller 4 klasser fra det, som Danish Crown Sæbys eksperter har været enige om. På et så lille datasæt, med signifikant underrepræsentativitet af dårlig kvalitet af kamstege, er dette en succes, som beviser at det med flere billeder og bedre labeling, er muligt at kvalificere kvaliteten i en kategori fra 1-5.

Simplificere problemet

Da 58.5% nøjagtighed ikke lyder af meget, og der er bevist udfordringer med at lable billederne i de definerede 5 kvalitetskategorier, har vi lavet en model, hvor vi har simplificeret problemet.
Tidligere kvalitetskategorier 1-3 er blevet omdannet til label lav kvalitet, mens 4-5 er omdannet til label: høj kvalitet.
Dette har en række fordele, bl.a.

• Øger mængden af billedmateriale vi har i hver klasse signifikant, og dermed reducere ubalancen i datasættet (28.9% dårlig kvalitet og 71.1% høj kvalitet)
• Reducere sandsynligheden for menneskelig bias i datasættet

Ved den simplere model får vi en test nøjagtighed på 84%.
Det kan samtidig ses, at ved de falske negative og falske positive, er modellen meget usikker i sin forudsigelse. Således har den fejlagtigt vurderet en kamsteg af lav kvalitet til at have høj kvalitet, men hvis vi kigger på dens sandsynlighedsberegning for, hvor sikker den er på, at den givne kamsteg er høj kvalitet, er den 58.68% sikker på høj kvalitet, og 41.32% sikker på at kamstegen er af dårlig kvalitet.

Værdi for kunden

• Kvalitet er subjektivt, og svært at definere
• At opdele kvalitetsgrupper i klasser 1-5, er ikke nødvendigvis den rette fordeling
• Det kan være en fordel at lave problemet binært først og udvikle videre på projektet når der er indsamlet mere data og erfaring
• Low-budget hardware er godt nok til at løse Computer Vision cases
• Det er muligt at automatisere kvalitetskontrollen med Computer Vision