Aby monitorować środowisko i poruszać się w świecie rzeczywistym, robot powinien być w stanie pozyskiwać obrazy i pomiary środowiskowe w różnych warunkach oświetlenia tła. W ostatnich latach naukowcy i inżynierowie na całym świecie pracują nad opracowaniem coraz bardziej zaawansowanych czujników do integracji z robotami, systemami nadzoru lub innymi urządzeniami, które mogą wykrywać otoczenie.
Według Memes Consulting, naukowcy z Hong Kong Polytechnic University, Peking University, Yonsei University i Fudan University opracowali niedawno nowy typ bionicznego czujnika wizyjnego, który wykorzystuje mechanizm, który sztucznie symuluje funkcję siatkówki i może być stosowany w różnych Danych zebranych w warunkach oświetleniowych. Ten bioniczny czujnik wizyjny oparty jest na fototranzystorach wykonanych z dwusiarczku molibdenu.
Zdjęcie biomimetycznego zestawu czujników wizyjnych (po lewej); schematyczna struktura modułu czujnika wizyjnego i obrazu z mikroskopu optycznego (po prawej)
"Nasz zespół badawczy rozpoczął prace nad pamięcią optoelektroniczną pięć lat temu" - powiedział Yang Chai, jeden z naukowców, którzy opracowali czujnik wizyjny. "To nowe urządzenie może wysyłać sygnały zależne od światła i historii, umożliwiając integrację obrazu. , Słaba akumulacja sygnału, analiza spektralna i inne złożone funkcje przetwarzania obrazu, wielofunkcyjna integracja wykrywania, przechowywania danych i przetwarzania danych w jednym urządzeniu."
W 2018 roku Yang Chai i jego koledzy opublikowali pierwszy artykuł na temat pamięci optoelektronicznej, w którym wprowadzili rezystancyjne urządzenie przełączające, które może wykonywać operacje wykrywania światła i logiki. Rok później zespół wprowadził nowy typ fotorezystancyjnej pamięci o dostępie swobodnym z trzema różnymi funkcjami. W szczególności nowe urządzenie może wykrywać otoczenie, przechowywać informacje w pamięci i wykonywać neuromorficzne operacje wstępnego przetwarzania wizualnego.
"W 2020 r. zbadaliśmy koncepcje paradygmatów obliczeniowych z bliska i czujnika oraz opublikowaliśmy nasze poglądy w tej dziedzinie". Yang Chai kontynuował: "Te nowe badania nad biomimetycznymi czujnikami wizyjnymi opierają się na naszych wcześniejszych wysiłkach".
Natężenie naturalnego światła otoczenia jest bardzo zróżnicowane, a całkowity zakres wynosi 280 dB. Kiedy ludzka siatkówka wyczuwa zewnętrzne sygnały świetlne, dostosowuje wrażliwość na światło swoich fotoreceptorów (tj. Prętów i stożków) w zależności od siły sygnału. To ostatecznie umożliwia ludzkiemu oku stopniowe dostosowywanie się do różnych poziomów oświetlenia, pozwalając mu wyraźnie widzieć zarówno w ciemnym, jak i jasnym otoczeniu, zdolność znana jako "adaptacja wizualna".
"Na przykład, kiedy wchodzisz do ciemnego kina z jasnej sali, na początku prawie nic nie widzisz, ale po pewnym czasie w kinie łatwiej jest zobaczyć rzeczy" - wyjaśnia Yang Chai. "Zjawisko to nazywa się adaptacją skotopową. I odwrotnie, jeśli przejdziesz z ciemnego kina do słonecznego na zewnątrz, na początku poczujesz się bardzo oszołomiony i przyzwyczajenie się do tego, co dzieje się wokół ciebie, zajmuje trochę czasu. Proces Przeciwieństwo ciemnej adaptacji nazywa się adaptacją fotopową."
Głównym celem ostatnich prac Yang Chai i jego współpracowników jest zbudowanie czujnika wizyjnego inspirowanego strukturą i funkcją ludzkiej siatkówki. Aby to zrobić, najpierw zaczęli od badania ludzkiej siatkówki, a następnie próbowali zaprojektować strategie percepcyjne, które pozwoliłyby im sztucznie symulować adaptacje wizualne.
Najnowocześniejsze przetworniki obrazu oparte na technologii CMOS mają zazwyczaj ograniczony zakres dynamiki wynoszący 70 dB. Jednak ten zakres dynamiki jest znacznie węższy niż zakres oświetlenia scen naturalnych (280 dB).
"Aby osiągnąć percepcję wzrokową w szerokim zakresie natężenia światła, naukowcy zbadali zastosowanie kontrolowanych przysłon optycznych, płynnych soczewek, regulowanych czasów ekspozycji i algorytmów odszumiania w przetwarzaniu końcowym" - powiedział Yang Chai. "Jednak metody te często wymagają złożonych zasobów sprzętowych i programowych."
Ciemna i lekka adaptacja biomimetycznych matryc czujników wizyjnych. (a) Schemat testu adaptacji w ciemności: rozpoznawanie obrazów przy słabym oświetleniu przy użyciu tablicy 8 x 8 pikseli w ciemnym otoczeniu. b) Schematyczny schemat testu adaptacji światła: rozpoznawanie obrazów o wysokiej natężeniu oświetlenia przy użyciu matrycy 8 x 8 pikseli w jasnym otoczeniu. c) Ciemny proces adaptacji w celu zidentyfikowania wzoru "8". d) Proces fotoadaptacji w celu zidentyfikowania wzoru "8".
Urządzenia optoelektroniczne z widzeniem adaptacyjnym do światła i szerokim zakresem wykrywania na zaciskach sensorycznych mogą mieć bardzo cenne zastosowania. Na przykład mogą pomóc poprawić wydajność narzędzi widzenia komputerowego, zmniejszyć złożoność sprzętu wymaganego do budowy robotów lub innych systemów wykrywania oraz poprawić dokładność systemów rozpoznawania obrazu.
Chociaż inne zespoły badawcze opracowały urządzenia optoelektroniczne, które w przeszłości mogą dostosowywać się do różnych warunków oświetleniowych. Jednak większość wcześniej zademonstrowanych urządzeń może jedynie naśladować mechanizm adaptacji światła siatkówki. Ciemny proces adaptacji okazał się jak dotąd trudniejszy do zasymulowania.
"Przed nami jeszcze długa droga, aby w pełni odtworzyć funkcję adaptacji wzrokowej siatkówki" - wyjaśnia Yang Chai. "Aby to osiągnąć, zaprojektowaliśmy czujnik wizyjny oparty na fototranzystorach przy użyciu ultracienkich półprzewodników, które mogą Stopień adaptacji ciemności i adaptacji światła w tym samym urządzeniu był kontrolowany przez zastosowanie różnych napięć bramki. W ten sposób symulowaliśmy fotoreceptory i komórki poziome w siatkówce i z powodzeniem osiągnęliśmy zakres wykrywania 199 dB. Urządzenia adaptujące wzrok w czujnikach biomimetycznych".
Sztuczna symulacja fotoreceptorów i komórek poziomych w siatkówce w celu adaptacji wizualnej (adaptacja ciemna i adaptacja światła)
Biomimetyczny czujnik wizyjny opracowany przez Yang Chai i współpracowników opiera się na fototranzystorach wykonanych z ultracienkiego materiału półprzewodnikowego znanego jako dwusiarczek molibdenu. Fototranzystory, których używali, mają wiele stanów pułapki ładunku, które mogą uwięzić lub uwolnić elektrony w kanale przy różnych napięciach bramki.
Ostatecznie stany te pozwalają naukowcom dynamicznie dostroić przewodność swoich urządzeń. To z kolei pozwoliło im sztucznie symulować mechanizmy adaptacyjne do ciemności i światła ludzkiej siatkówki, rozszerzając w ten sposób zakres percepcji różnych warunków oświetleniowych przez ich czujnik.
"Nasz bioniczny czujnik wizyjny ma kilka zalet i funkcji" - powiedział Yang Chai. "Po pierwsze, funkcja adaptacji wizualnej jest realizowana w jednym urządzeniu, co znacznie zmniejsza ślad węglowy. Po drugie, na jednym urządzeniu można zaimplementować wiele funkcji. , w tym wykrywanie światła, pamięć i przetwarzanie. Wreszcie, adaptację ciemności i światła przy różnych natężeniach światła można osiągnąć, kontrolując napięcie bramki. "
Yang Chai i jego koledzy ocenili bioniczny czujnik wizyjny w serii testów i stwierdzili, że może on skutecznie naśladować funkcję ludzkiej siatkówki, osiągając niezwykłe wyniki zarówno w adaptacji ciemności, jak i światła. Ponadto ma znacznie wyższy zakres percepcyjny (199 dB) w porównaniu do wcześniej proponowanych rozwiązań.
"Nasz czujnik wizyjny może wzbogacić funkcje widzenia maszynowego, zmniejszyć złożoność sprzętu i osiągnąć wysoką wydajność rozpoznawania obrazu" - powiedział Yang Chai - "Wszystkie te zalety są dostępne w obszarach takich jak autonomiczna jazda, rozpoznawanie twarzy i produkcja przemysłowa w złożonych środowiskach oświetleniowych. świetne perspektywy aplikacyjne."
W przyszłych badaniach naukowcy planują dalszą poprawę wydajności czujnika wizyjnego, jednocześnie wykorzystując go do produkcji wielkoskalowych systemów składających się z matryc czujników. Idealnie byłoby, gdyby chcieli zbudować tę matrycę czujników na elastycznym lub półkulistym podłożu, aby umożliwić szersze pole widzenia.
"Jednym z obszarów, który wymaga poprawy, jest czas adaptacji naszego czujnika wizyjnego, ponieważ wciąż nie wystarcza on do obsługi aplikacji widzenia maszynowego". Yang Chai dodał: "Naszym celem jest skrócenie czasu adaptacji do poziomu mikrosekundy. Ponadto skala matrycy czujników wizyjnych Potrzebne są również dalsze ulepszenia. Nasz krótkoterminowy cel dla rozmiaru tablicy jest większy niż 100 x 100 pikseli. Wreszcie, heterogeniczna integracja czujników wizyjnych i jednostek przetwarzania końcowego, w tym obwodów sterujących opartych na krzemie, jest bardzo ważnym krokiem w kierunku praktycznych zastosowań. "
GMKJ Technology jest głęboko zaangażowana w zdrowe i inteligentne źródła światła, dostarczając pełną gamę produktów UVA UVB UVC LED, infrared IR LED VCSEL i rozwiązań na rynek. Ma setki wysokiej jakości partnerów na rynkach krajowych i zagranicznych, aby wspólnie promować wykorzystanie technologii świetlnej do tworzenia zdrowego i inteligentnego życia. .
