FMV/Försvaret driver ett system med obemannade flygplan, Ugglan, som används för spaning i det visuella och infraröda (IR) våglängdsområdet. I det nuvarande systemet har sensoroperatören, som styr kamerorna, endast tillgång till realtidsvideo. Detta betyder att operatören måste bearbeta all information direkt och ta snabba beslut att närmare undersöka vissa områden. Styrningen av sensorerna är helt manuell, vilket också ställer krav på en fokuserad operatör.

FMV ville i samarbete med Savantic ta reda på hur man, med stöd av tekniska hjälpmedel, kunde hjälpa operatörerna att identifiera intressanta objekt i videoströmmen i realtid. Intresset riktades framför allt mot automatisk bildbehandling.

Enskild bild från en Ugglanvideo i det visuella våglängdsområdet.

Savantic använde sig av tre olika tekniker för att detektera objekt. Den första tekniken är detektering av objekt i IR. I IR-bilder är intensiteten hos ett objekt beroende på temperaturen hos objektet. Detta gör att fordon och även levande varelser, som ofta har en annan temperatur än omgivningen, kan detekteras med IR-kamera. För att ytterligare förbättra detektionen och för att eliminera feldetektioner, används kontrasten, dvs skillnaden mellan intensiteten hos ett potentiellt objekt och dess närmaste omgivning. (Detta arbete utgick ifrån tidigare arbeten av Alper Yilmaz, Khurram Shafique och Mubarak Shah. Om du är du intresserad av området, kan du läsa mer här: Target Tracking In Airborne Forward Looking Infrared Imagery)

Den andra tekniken detekterar hörn och lämpar sig för bilder i det visuella frekvensområdet. Skarpa hörn hittar man oftare på fordon och byggnader än bakgrund bestående av skog och mark. (Detta arbete utgick ifrån tidigare arbeten av Sten Nyberg och Lars Boman. Om du är du intresserad av området, kan du läsa mer här: Assessing camouflage using textural features)

Den tredje tekniken är detektion av objekt med oberoende rörelse i bilden. Ett sätt att identifiera intressanta objekt är att leta efter objekt som rör sig i förhållande till bakgrunden. Eftersom kameran rör sig med flygplanet måste videobilderna linjeras upp, registreras, mot varandra för att eliminera denna förändring av bilden. (Här fick vi inspiration av bland andra Strehl och Aggarval. Om du är du intresserad av området, kan du läsa mer här: MODEEP: A motion-based object detection and pose estimation method for airborne FLIR sequences)

Savantic producerade en demoapplikation åt FMV med tre exempel på hur man i realtid kan söka efter intressanta objekt i videofilmer från Ugglan. Dessutom gjorde vi en litteraturöversikt över operatorstöd som inte opererar i realtid, men som hjälper operatören att navigera i sina videodata.

Vi valde OpenCV som programmeringsmiljö. Det är OpenSource-bibliotek för bildbehandling, med tonvikt på realtidsapplikationer.