Rozwiązanie oparte na głębokim uczeniu byłoby rewolucyjne, ponieważ noktowizory zazwyczaj ukazują otoczenie wyłącznie w kolorze zielonym. Bardziej zaawansowane technologicznie urządzenia wykorzystują natomiast ultraczułe kamery do wzmacniania światła widzialnego. Jeśli jednak brakuje im dostępu do światła umożliwiającego wzmocnienie sygnałów, efekt będzie w zasadzie zerowy.
Z tego względu autorzy publikacji dostępnej w PLOS ONE postanowili pójść nieco inną ścieżką. Każdy barwnik i pigment, który nadaje obiektowi widzialny kolor, odbija nie tylko zestaw widzialnych długości fal, ale także zestaw długości fal podczerwonych. Mając taką wiedzę, można wyszkolić noktowizor do rozpoznawania podczerwonych sygnatur każdego barwnika i pigmentu, dzięki czemu będzie on wyświetlać obrazy z wykorzystaniem kolorów widzialnych dla ludzkiego oka.
W prowadzonych badaniach pomogła sieć neuronowa
Wcześniej, chcąc nauczyć noktowizory “widzieć w kolorze” naukowcy uwieczniali tę samą scenę za pośrednictwem dwóch kamer: zwykłej i działającej w podczerwieni. Następnie urządzenie było szkolone tak, by przewidywało, jakie kolory tworzą obraz w podczerwieni. W tym przypadku pomysł był inny, a przedstawiciele Uniwersytetu Kalifornijskiego w Irvine zamierzali przekonać się, czy kamery noktowizyjne wykorzystujące wiele długości fal światła podczerwonego pomogą algorytmowi w skuteczniejszym dobieraniu kolorów.
Eksperymenty, wykorzystujące kamerę czułą na światło widzialne i bliską podczerwień połączoną z konwencjonalną siecią neuronową, objęły 140 zdjęć twarzy. Te zostały wydrukowanych przy użyciu tuszu w kolorach żółtym, czarnym i cyjanowym oraz barwie magentowej. Obrazy zostały oświetlone zarówno na długości fal widzialnych, jak i podczerwonych. W przypadku 20 zdjęć oświetlonych wyłącznie z użyciem bliskiej podczerwieni, urządzenie skutecznie radziło sobie z odtwarzaniem wyglądu twarzy w świetle widzialnym.
Noktowizja pokazująca zestaw kolorów mogłaby mieć kilka ważnych zastosowań
W ramach dalszych badań naukowcy zamierzają rozszerzyć działanie swojego systemu na kolejne kolory, co powinno doprowadzić do poprawy ogólnej wydajności. Jak wyjaśnia szef zespołu, Andrew Browne, w obecnej formie metoda znajduje zastosowanie w przypadku drukowanych zdjęć, ale w przyszłości będzie można ją wykorzystać względem filmów oraz w świecie rzeczywistym, na przykład do rozpoznawania obiektów i ludzi. Takie rozwiązanie mogłoby się okazać szczególnie przydatne w przetwórstwie chemicznym (na przykład w miejscach wrażliwych na światło widzialne) czy naukach medycznych, gdzie bada się choćby wrażliwą na światło tkankę siatkówki.