Detekcja optyczna UAV — EO/IR, cueing i tiny-object tracking

Detekcja optyczna UAV wykorzystuje obraz widzialny, bliską podczerwień albo termowizję do wykrycia, śledzenia i wizualnej weryfikacji obiektu. Daje operatorowi najbardziej intuicyjny dowód, ale nie jest „radarem z kamerą”: ma ograniczone pole widzenia, zależy od kontrastu i atmosfery, a pojedynczy obraz nie dostarcza pewnego zasięgu.

W praktycznych systemach EO/IR często pełni rolę sensora wtórnego. Radar, RF albo acoustic generuje cue, gimbal kieruje się na obszar niepewności, kamera szerokokątna pozyskuje obiekt, a narrow FOV dostarcza piksele do klasyfikacji. FAA opisuje EO/IR jako ważne narzędzie visual validation i ostrzega, że sama liczba megapikseli nie określa jakości [1].

Spis treści#

Funkcje EO/IR
Łańcuch obrazowania
Rozmiar kątowy i piksele na celu
Optyka i pole widzenia
Sensor widzialny
Termowizja
Atmosfera, pogoda i tło
Gimbal i stabilizacja
Cue, acquisition i zoom
Detekcja obrazu
Śledzenie
Klasyfikacja i identyfikacja
Ptaki, owady i samoloty
Stereo, lidar i estymacja zasięgu
Fuzja z radarem, RF i acoustic
Przepustowość i edge processing
Metryki testowe
Prywatność i evidence
Utrzymanie
Ograniczenia
ALIGNMENT
Powiązane tematy
Przypisy

Funkcje EO/IR#

Należy rozdzielić cztery poziomy:

detection — obecność obiektu w obrazie;
tracking — utrzymanie tego samego obiektu w kolejnych klatkach;
classification — przypisanie do klasy, np. bird/multirotor/fixed-wing;
identification — wystarczające szczegóły do określenia konkretnego typu albo potwierdzenia cechy.

Wymagania pikselowe rosną na kolejnych poziomach. Obiekt może być wykrywalnym punktem, ale nie dawać informacji o liczbie ramion. Marketingowy „zasięg kamery” musi więc wskazać funkcję i probability.

EO/IR może także:

dostarczyć operatorowi obraz incydentu;
mierzyć angular trajectory;
potwierdzić, że radar track jest ptakiem;
śledzić obiekt radiowo cichy;
dokumentować położenie względem infrastruktury;
wspierać kontrolę legalnego lotu testowego.

Nie określa zamiaru. Kamera widzi zachowanie, nie motyw.

Łańcuch obrazowania#

scena → atmosfera → obiektyw → detektor → ISP/NUC
      → kompresja → detector → tracker → klasyfikacja → operator

Każdy blok może ograniczyć wynik. Atmosfera usuwa kontrast; lens ma MTF i aberracje; sensor ma noise/readout; ISP wyostrza i odszumia; kompresja usuwa małe szczegóły; detector ma threshold; tracker może zmienić target.

Ocena samego algorytmu na zapisanym, dobrym video nie opisuje pełnego systemu. Test end-to-end musi objąć gimbal, cue error, autofocus, exposure, encoder latency, sieć i display.

Automatyczna poprawa obrazu może szkodzić pomiarom. Digital stabilization zmienia geometrię, rolling shutter zakrzywia szybko poruszający się cel, a super-resolution może generować detale nieobecne w danych. Evidence view powinien zachować oryginalny frame i metadata processing.

Rozmiar kątowy i piksele na celu#

Dla małego obiektu o wymiarze D na odległości R:

θ ≈ D / R
pixels_on_target ≈ θ / IFOV
IFOV ≈ pixel_pitch / focal_length

Jeżeli dron ma 0,5 m szerokości i jest daleko, może zajmować kilka pikseli. Subpixel detection jest możliwe dzięki zmianie intensywności, ale nie daje szczegółów kształtu.

Pixels per foot/meter bywa używane w CCTV, ale dla małego celu na niebie potrzebne są także SNR, MTF, blur i contrast. FAA wskazuje PPF jako pomocniczą metrykę oraz podkreśla lens quality, FOV, pixel size/density i low-light performance [1].

Nyquist nie gwarantuje interpretacji. Dwa piksele na okres przestrzenny są minimum dla próbkowania sinusoidy, nie dla niezawodnego rozpoznania wirnika. Johnson criteria są historyczną heurystyką, a współczesne ML i warunki sceny zmieniają wyniki. Portal nie przypisuje stałej liczby pikseli jako uniwersalnej granicy identyfikacji.

Optyka i pole widzenia#

Focal length zwiększa skalę obrazu, ale zwęża FOV. Dla wymiaru sensora w:

FOV_h = 2 atan(w / (2f))

Szeroki FOV pomaga acquisition; długi focal length — klasyfikacji. Zoom optyczny zmienia skalę bez cyfrowej interpolacji, lecz może zmieniać focus, boresight i latency.

Aperture wpływa na ilość światła, depth of field i diffraction. Duży obiektyw o małej liczbie f pomaga low-light, ale zwiększa masę i moment bezwładności gimbala. Atmosferyczne seeing może ograniczyć korzyść z dalszego zoomu.

MTF powinno być oceniane dla całego toru i temperatury. Nominalna rozdzielczość sensora nie kompensuje miękkiego obiektywu, defocus ani drgań.

Focus na infinity nie zawsze jest idealny przy termicznym dryfie. Autofocus na małym punkcie może złapać chmurę albo foreground; system potrzebuje sensownej logiki i manual override.

Sensor widzialny#

CMOS parametry ważne dla C-UAS:

quantum efficiency;
read noise i dark current;
full-well/dynamic range;
global vs rolling shutter;
pixel pitch i resolution;
frame rate oraz exposure;
HDR behavior;
NIR filter;
temperature stability.

Krótki exposure redukuje motion blur, lecz zmniejsza photons i SNR. Gain wzmacnia sygnał i noise. Przy jasnym niebie łatwo zachować krótki czas, ale przy zmierzchu kompromis pogarsza tracking.

Rolling shutter przesuwa czas kolejnych wierszy. Szybki cel albo gwałtowny slew może zostać zniekształcony. Global shutter lepiej zachowuje geometrię, ale konkretne sensory mają inne noise/dynamic range.

HDR może pomóc przy celu na tle słońca/chmur, lecz multi-exposure tworzy ghosting. Model detectora powinien być uczony na produkcyjnym ISP, a nie raw z innej kamery.

Termowizja#

IR sensor mierzy radiancję w paśmie, nie temperaturę bezpośrednio. Dla celu liczą się temperature contrast, emissivity, atmosfera i spatial fill factor. Elektryczny multirotor może mieć ciepłe silniki, ESC i baterię, ale mały udział piksela rozcieńcza kontrast.

LWIR uncooled microbolometer jest prostszy i tańszy, lecz ma większe time constant i NETD niż cooled detectors. Cooled MWIR może dawać lepszą czułość i krótszą integrację, ale wymaga cryocoolera, ma ograniczony resurs i wyższy koszt. FAA wprost zaleca pytać, czy IR jest chłodzone i jaki jest jego life expectancy [1].

NUC koryguje non-uniformity. Shutter calibration może chwilowo zamrozić obraz. Bad pixels, drift i temperature gradients wpływają na mały target bardziej niż na duży.

Termowizja działa bez światła widzialnego, ale nie „widzi przez chmury”. Woda i mgła silnie tłumią część IR. Tło nieba może być korzystne, lecz chmury tworzą strukturę i zmienny kontrast.

Silnik spalinowy ma mocniejszą sygnaturę, ale exhaust i aspect są kierunkowe. Nie wolno przenosić zasięgu z jednego typu na nano-UAV.

Atmosfera, pogoda i tło#

Visibility, haze, fog, rain, snow, turbulence i sun angle wpływają na EO/IR. Atmospheric extinction zmniejsza kontrast z odległością. Turbulence tworzy image motion i blur niezależne od gimbala.

Trudne tła:

chmury o ostrych krawędziach;
drzewo i liście;
dachy, przewody, maszty;
ptaki i owady;
śnieg/deszcz;
glint od samolotów;
Słońce i blooming;
heat shimmer nad dachem/runway.

Detector działający na czystym niebie może mieć dramatycznie gorszy false-positive rate przy horyzoncie. Test musi segmentować wyniki per background class.

Kamera ma line of sight. Budynek i drzewo całkowicie zasłaniają target. Kilka stanowisk lub wysoki mast ogranicza blind zones, ale zwiększa privacy footprint i maintenance.

Gimbal i stabilizacja#

Gimbal musi szybko przestawić sensor na cue, ustabilizować obraz i utrzymać target przy zoomie. Parametry:

azimuth/elevation range;
maximum slew rate i acceleration;
settling time;
line-of-sight stabilization error;
encoder resolution/accuracy;
backlash i friction;
boresight alignment EO/IR;
wind load;
cable wrap/slip ring.

Duży zoom daje narrow FOV, więc microradian error przekłada się na utratę celu. Encoder resolution nie jest równe pointing accuracy; konstrukcja ugina się, zero dryfuje termicznie, a base mast wibruje.

Stabilizacja może używać gyro na gimbalu i image-based correction. Digital stabilization pomaga display, ale nie naprawia blur powstałego podczas exposure.

System powinien mieć home/limit, safe slew zones oraz maski prywatności. Awaria tracker nie może kierować gimbala w zakazany sektor.

Cue, acquisition i zoom#

Cue z radaru zawiera position i covariance w czasie t_meas. Do chwili ustawienia kamery upływa latency. Potrzebna jest predykcja:

x_now = propagate(x, P, Δt)
bearing, elevation, angular_cov = transform(x_now)

Acquisition zaczyna się od FOV obejmującego ellipse. Następnie detector szuka obiektu, tracker stabilizuje, a zoom rośnie tak, aby target pozostał z marginesem. Zbyt szybki zoom prowadzi do utraty.

Search pattern może skanować uncertainty region. Priorytet cue zależy od jakości, czasu, strefy i dostępności innych kamer. Operator potrzebuje informacji, dlaczego gimbal porzucił track.

FAA wskazuje, że EO automation może zostać skierowana na fałszywy radar target [1]. Scheduler musi obsługiwać re-cue, timeout i powrót do overview.

Acoustic cue ma dodatkowe opóźnienie propagacji dźwięku. RF bearing może wskazywać ground transmitter, nie UAV. Source semantics są konieczne.

Detekcja obrazu#

Klasyczne metody używają background subtraction, frame differencing, optical flow i blob tracking. Deep detector może wykorzystywać CNN/transformer, lecz tiny-object regime różni się od typowych datasetów.

Problemy tiny objects:

downsampling usuwa target;
anchor/stride są zbyt duże;
compression blokuje kilka pikseli;
label uncertainty jest porównywalna z boxem;
class imbalance jest ogromny;
hard negatives dominują.

Rozwiązania bez obietnic uniwersalności:

high-resolution tiles;
temporal integration/track-before-detect;
motion proposals;
multi-scale features;
wide-to-narrow cameras;
hard-negative mining;
explicit unknown class.

Detector threshold powinien być kalibrowany do alert workload. Per-frame false positive 10^-5 może nadal dawać wiele alarmów przy milionach kandydatów.

Śledzenie#

Tracker łączy detections w czasie. KCF/CSRT działają na appearance, Kalman+association na kinematics, deep trackers łączą feature embeddings. Dla punktowego UAV appearance jest niestabilne; motion i cue są ważne.

Track state powinien zawierać image coordinates, angular rate, covariance, class history i occlusion status. Gdy target przechodzi przez chmurę/drzewo, coast musi być ograniczony, aby nie przejąć ptaka.

Optical track bez range nie daje pełnej trajektorii 3D. Bearing-only tracking może estymować range przy manewrze własnego sensora albo wielu kamerach, ale observability jest słaba dla stałego bearing rate.

Tracker powinien wykrywać target switch. Jeśli dwa obiekty krzyżują się, utrzymanie boxa nie gwarantuje identity. Audit wymaga frame history.

Klasyfikacja i identyfikacja#

Klasyfikacja zależy od pixels-on-target i aspect. Przy kilku pikselach można co najwyżej ocenić motion/thermal pattern. Przy większej liczbie widać układ multirotora/fixed-wing. Identyfikacja konkretnego modelu wymaga szczegółów, których często nie ma.

Model output powinien być hierarchiczny:

airborne object
 ├─ bird-like
 ├─ rotorcraft-like
 │   ├─ multirotor probable
 │   └─ helicopter probable
 ├─ fixed-wing-like
 └─ unknown

Nie wymuszamy vendor/model. Metadata radar velocity, RF protocol i RID mogą zawęzić class, ale pochodzenie dowodu musi zostać zachowane.

AI confidence nie jest calibrated probability bez osobnego calibration set. Temperature scaling lub isotonic calibration może pomóc, lecz domain shift pozostaje.

Operator powinien mieć dostęp do sekwencji, nie jednego enhanced still. Flapping, rotor scintillation i trajectory są czasowe.

Ptaki, owady i samoloty#

Ptak jest głównym hard negative. Może szybować, zawisać na wietrze, tworzyć podobny rozmiar kątowy i przechodzić przez track. Skrzydła dają periodic motion, ale z daleka znikają w pikselach.

Owady blisko obiektywu wydają się duże i szybkie. Depth cues, defocus, angular speed i stereo mogą je odrzucić. Pajęczyna na housing może produkować stałe anomalie.

Odległy manned aircraft może wyglądać jak punkt. ADS-B/flight data może wspierać deconfliction, ale brak match nie jest dowodem, a źródła mają latency/coverage.

Glint i compression tworzą chwilowe blobs. Persistence logic zmniejsza alarmy, lecz zwiększa time-to-detect.

Dataset powinien zawierać lokalne gatunki ptaków i seasonal migration, nie tylko internetowe images.

Stereo, lidar i estymacja zasięgu#

Stereo depth:

Z = f · B / disparity

Dla dalekiego małego celu disparity zbliża się do subpixel, więc potrzebny jest duży baseline i precyzyjna kalibracja. Synchronizacja shutterów jest konieczna.

Kilka oddalonych cameras może triangulować bearings. Geometry jest dobra przy odpowiednim crossing angle; time sync i target association są krytyczne.

Lidar daje range i point cloud, lecz ma narrow FOV oraz słaby return od małego/dalekiego targetu. Może być cue'd po optical/acoustic. Badanie MUTES ilustruje coarse acoustic cue do camera/lidar, ale wynik jest właściwością konkretnego demonstratora [2].

Monocular size-based range wymaga znanego dimension i aspect, więc jest zbyt niepewne dla unknown UAV. C2 nie powinno wyświetlać precyzyjnych metrów bez źródła.

Fuzja z radarem, RF i acoustic#

Najczęstszy workflow:

radar 3D track ─┐
RF bearing/RID ─┼→ fusion → EO wide acquire → EO/IR classify
acoustic DoA ───┘

Radar daje range/velocity, RF protocol/bearing, acoustic dodatkowy bearing, EO visual evidence. Każdy może zawieść inaczej.

Fuzja powinna uwzględniać:

timestamp i latency;
coordinate frames;
covariance;
source dependence;
track lineage;
class probability, nie label;
authorized flight information.

EO confirmation nie zawsze jest możliwe. Chmura lub glare nie powinny usuwać wiarygodnego radar tracku; jego status pozostaje unverified optically.

Conversely, operator może zobaczyć UAV bez radaru w blind zone. Manual bearing/report powinien wejść do C2 z inną uncertainty i provenance.

Przepustowość i edge processing#

Kilka 4K cameras generuje duże dane. Uncompressed video jest kosztowne; H.264/H.265 redukuje bandwidth, ale latency i artifacts wpływają na tiny target. GOP z długim inter-frame prediction utrudnia losowy dostęp i evidence extraction.

Edge pipeline może wysyłać:

low-rate overview;
detections/tracks metadata;
crop target w wysokiej jakości;
pełny event clip po alarmie;
health/status.

Model na edge redukuje sieć, lecz wymaga update, GPU thermal management i cybersecurity. Cloud-only inference jest ryzykowne przy utracie łącza i privacy.

Latency budget powinien być zmierzony per stage: exposure, sensor readout, ISP, encode, network, decode, detector, display. „30 fps” nie oznacza 33 ms end-to-end.

Metryki testowe#

Testy obejmują range, target types/aspects, speeds, altitude, background, illumination, weather i cue quality. Ground truth musi mieć 3D trajectory/time.

Metryki:

P_d vs pixels-on-target/contrast/range;
false alerts/hour/background;
acquisition probability after cue;
time-to-acquire i settling;
tracking continuity i switch rate;
angular error;
classification confusion matrix;
operator verification time;
latency end-to-end;
performance after compression;
day/night/weather bins.

Do oceny identyfikacji trzeba oddzielić frames, gdzie details fizycznie istnieją. Liczenie błędu modelu na 2-pikselowym celu jako „classification failure” może maskować problem optics.

Test powinien używać produkcyjnego mast, housing, gimbal i encoder settings. Laboratoryjny dataset nie mierzy pointing.

FAA zaleca analizować PTZ, FOV, stabilization, PPF, wavelengths, cooled IR, bandwidth i processing [1] — to dobry szkielet specyfikacji zakupowej.

Prywatność i evidence#

Kamery mogą rejestrować ludzi, posesje i legalne działania. Privacy masks, minimalny FOV, event-based retention i role-based access są potrzebne. PTZ nie powinien bez kontroli śledzić poza chronioną objętością.

Evidence package powinien zawierać:

original video/crop hash;
UTC i clock quality;
camera/gimbal position;
focal length/FOV/exposure;
software/model version;
overlay jako oddzielną warstwę;
operator actions;
chain of custody.

AI-enhanced image nie może zastępować original. Super-resolution generuje estimate, nie nowe evidence. UI powinien wyraźnie oznaczać enhancement.

Retention zależy od podstawy prawnej i polityki obiektu. False alert z osobą w kadrze nie powinien być przechowywany bez końca.

Utrzymanie#

Outdoor optics wymagają czyszczenia, de-icing, heater/blower, kontroli uszczelek i desiccant. Kropla lub pajęczyna może degradować cały obraz bez awarii elektronicznej.

Okresowe kontrole:

focus/MTF na znanym celu;
boresight wide/narrow/IR;
gimbal encoder i stabilization;
NUC/bad pixels IR;
housing window transmission;
time sync;
detector regression;
privacy masks i safe sectors;
storage/network failover.

Window wpływa na IR band; zwykłe szkło może blokować LWIR. Zamienny element musi mieć kwalifikowaną transmisję.

Model AI i camera settings tworzą baseline. Zmiana bitrate lub sharpening może zmienić accuracy i wymaga rewalidacji.

Ograniczenia#

EO/IR ma line-of-sight i ograniczony FOV. Nie daje pewnego range samodzielnie. Fog, cloud, glare, low contrast i turbulence zmniejszają performance. Tiny targets nie mają wystarczających pikseli do identyfikacji.

Tracking może przełączyć się na ptaka. Thermals nie zawsze kontrastują. Zoom zwiększa szczegół, ale zmniejsza awareness. Camera network podnosi privacy i bandwidth cost.

Najlepsza rola to wysokiej jakości secondary validation oraz evidence w fuzji. Primary optical detection jest możliwe w zdefiniowanym sektorze i czystym tle, ale nie powinno być obiecywane dla każdej objętości.

System nie określa intent. Operator, flight authorization i szerszy kontekst są oddzielnymi źródłami.

ALIGNMENT#

ALIGNMENT — świadome ograniczenie zakresu: pominięto procedury optycznego kierowania efektorami, wyboru punktów wrażliwych platformy i rozmieszczenia kamer pod kątem ofensywnego przechwycenia. Opis służy legalnej detekcji, weryfikacji, ochronie przestrzeni i testowaniu sensorów.

Nie publikujemy też metod obchodzenia classifierów ani wzorów kamuflażu ukierunkowanych na konkretny system.

Powiązane tematy#

Przypisy#

Źródła z centralnego rejestru

FAA: Unmanned Aircraft Systems Detection — Technical Considerations [oficjalny dokument techniczny 2019; radar, RF, EO/IR, acoustic, coverage, interference, data, fusion i pytania zakupowe; nie ustanawia standardu]
Drone Detection and Tracking System Based on Fused Acoustical and Optical Approaches [recenzowany demonstrator 2023 acoustic array–camera–lidar; wyniki dotyczą konkretnej instalacji]
FAA: UAS Detection, Mitigation, and Response on Airports [aktualna strona FAA, stan 2025; rozdzielenie detection/mitigation, brak zdolności ustalania intent, koordynacja i response plans]