Danish Crown ønsker at automatisere kvalitetskontrollen af deres kamstege således, at kvaliteten af det, der sendes til kunder, sikres at være i højeste kvalitet.
Dette øger kundetilfredsheden samtidig med, at det signifikant reducere mængden af fødevarer der kasseres, som medvirker til madspild.
Ønsket ligger som en del af deres 2021-2026 strategi: “Feeding the Future”, hvor Danish Crown ønsker at nedbringe klimaaftrykket på kød.
Fakta om virksomheden
Danish Crown ejes af landmænd, og dateres helt tilbage til 1885, hvor bønder i Horsens samlede og stiftede Danmarks første svineslagteri.Det var dog først i 1990 at koncernen fik navnet Danish Crown. I 2021 beskæftigede Danish Crown ca. 26.000 medarbejdere og slagtede 18.9 mio. grise og søer. De omsatte i samme regnsksbsår for ca. 58 mia kr.
Opsumering
Projektet
Gennem en udvidet AI Camp har Neurospace og Danish Crown samarbejdet om at opsamle vision data af kamstege i produktionen.
Under en udvidet AI Camp undersøgte vi, hvorvidt computer vision og maskinlæring kan hjælpe Danish Crown med at automatisere kvalitetskontrollen af kamstege.
Slagter ved kamstegslinjen (Danish Crown)
I et samarbejde mellem Danish Crown Sæby og vores datanauter blev der på en formiddag taget billeder på både en kamstegs- og en backslinje. For at undgå forstyrrelser i produktionen blev dataopsamlingen designet således, at den ikke var i vejen for slagterne på linjen, og data opsamlingen foregik med et billigt hobby kamera, et filter samt belysning. Da der på én linje kommer 450 kamstege igennem på én time, var det muligt at få 700 billeder på meget kort tid.
Efter de rå billeder var præproccesseret af vores datanauter blev de gennemgået og scoret, på deres synlige kvalitet, af to meget erfarne slagtermestre.
Opgaven blev stillet til to medarbejdere for at reducere sandsynligheden for menneskelig bias.
Kvaliteten blev vurderet på en skala fra 1 til 5, hvor 1 er lavest og 5 er højeste kvalitet.
Definitionen på kvalitets klasserne fra 1 til 5 er designet af Danish Crown Sæbys eksperter indenfor visuel / inspektions kvalitet.
Omkring halvdelen (51%) af kamstegene bliver af de to medarbejdere klassificeret i præcis samme klasse.
Omkring 40% af kamstegene vurderede de to eksperter 1 klasse ved siden af hinanden, f.eks. den ene vurderede at kamstegen hørte til klasse 5, mens den anden vurderede, at den tilhørte klasse 4.
2.65% af kamstegene blev vurderet i hver sin skala, dvs. den ene vurderede at den synlige kvalitet var 1, mens den anden ekspert vurderede den synlige kvalitet til 5.
Det blev her bekræftet at kvalitet er subjektiv, og den ene gik meget op i om der var visuelt blod på kamstegen, mens den anden ikke vurderede dette som relevant for kvaliteten.
Det blev samtidig anerkendt, at ved et pilotprojekt, skal definitionen på de forskellige klasser være tydeligere, og differentiere signifikant fra de andre klasser.
For at bevise Proof-of-technology, reducerede vores datanauter datasættet til de kamstege, som var vurderet i samme klasse af de to eksperter fra Danish Crown Sæby. Det vil sige, at datasættet gik fra 717 billeder til at udgøre 367 billeder af unikke kamstege.
Lav kvalitet og lav uniformitet på kamstegen
Høj kvalitet og høj uniformitet på kamsteg
5 Klasser
Selvom 367, endda 700, billeder defineres som et meget lille datasæt til computer vision, er det af vores ML datanauter vurderet nok til at bevise potentialet i denne specifikke case.
Kvaliteten på kamstege er generelt høj i Danish Crown.
Det betyder derfor at klasse 4 og 5 er overrepræsenteret i datasættet, mens klasse 1 og 2 er signifikant underrepræsenteret i datasættet (Se nedenfor).
| Klasse | Antal kamstege | Andel % |
|---|---|---|
| 1 | 8 | 2.18% |
| 2 | 47 | 12.81% |
| 3 | 51 | 13.90% |
| 4 | 104 | 28.34% |
| 5 | 157 | 42.78% |
Derfor var det muligt at lave en maskinlæringsmodel som, mod deres 51% nøjagtighed, havde en test nøjagtighed på 58.5% på billederne af kamstege.
Derforuden gætter modellen 35.37% af kamstege forkert med en enkelt klasse.
Det vil sige en klasse 5 er vurderet til at være klasse 4 eller vice versa.
Kun 6.12% af kamstege er vurderet 2 klasser ved siden af, og ingen kamstege er vurderet 3 eller 4 klasser fra det, som Danish Crown Sæbys eksperter har været enige om.
På et så lille datasæt, med signifikant underrepræsentativitet af dårlig kvalitet af kamstege, er dette en succes, som beviser at det med flere billeder og bedre labeling, er muligt at kvalificere kvaliteten i en kategori fra 1-5.
Simplificere problemet
Da 58.5% nøjagtighed ikke lyder af meget, og der er bevist udfordringer med at lable billederne i de definerede 5 kvalitetskategorier, har vi lavet en model, hvor vi har simplificeret problemet.
Tidligere kvalitetskategorier 1-3 er blevet omdannet til label lav kvalitet, mens 4-5 er omdannet til label: høj kvalitet.
Dette har en række fordele, bl.a.
- Øger mængden af billedmateriale vi har i hver klasse signifikant, og dermed reducere ubalancen i datasættet (28.9% dårlig kvalitet og 71.1% høj kvalitet)
- Reducere sandsynligheden for menneskelig bias i datasættet
Ved den simplere model får vi en test nøjagtighed på 84%.
Det kan samtidig ses, at ved de falske negative og falske positive, er modellen meget usikker i sin forudsigelse.
Således har den fejlagtigt vurderet en kamsteg af lav kvalitet til at have høj kvalitet, men hvis vi kigger på dens sandsynlighedsberegning for, hvor sikker den er på, at den givne kamsteg er høj kvalitet, er den 58.68% sikker på høj kvalitet, og 41.32% sikker på at kamstegen er af dårlig kvalitet.
Værdi for kunden
- Kvalitet er subjektivt, og svært at definere
- At opdele kvalitetsgrupper i klasser 1-5, er ikke nødvendigvis den rette fordeling
- Det kan være en fordel at lave problemet binært først og udvikle videre på projektet når der er indsamlet mere data og erfaring
- Low-budget hardware er godt nok til at løse Computer Vision cases
- Det er muligt at automatisere kvalitetskontrollen med Computer Vision