Prof. Amir Amedi zajmuje się plastycznością mózgu. Jest profesorem na Wydziale Medycznej Neurobiologii na Uniwersytecie Hebrajskim, a także dyrektorem Rehab and Augmentation of the SENSES. Prof. Amedi był gościem konferencji naukowej Neuronus 2018 IBRO Neuroscience Forum, która odbyła się w dniach 20-22 kwietnia 2018 roku w Audytorium Maximum Uniwersytetu Jagiellońskiego w Krakowie.
„Korzystający z naszego urządzenia mogą spokojnie trafić do windy, a wchodząc do pokoju wiedzą, gdzie jest krzesło, stół i ręka, którą chcą uścisnąć” – mówi prof. Amir Amedin, twórca „sztucznego oka”. „To, co robimy w naszej instytucji, to próba naśladowania natury. Działa to w całkiem prosty sposób: mamy obraz, który zamiast z oczu, pochodzi z kamery. Taki obraz, nasze algorytmy „tłumaczą” na dźwięk w sposób, który pozwala odczytać kształty.
Zrozumienie tego muzycznego języka zajmuje około 20 godzin, dlatego trudno byłoby mi wytłumaczyć dokładnie jak to działa w ciągu minuty czy dwóch. Ale żeby dać jakieś wyobrażenie…
Powiedzmy, że mamy przetłumaczyć czyjś smutny wyraz twarzy. Muzyka będzie rysowała jego kształt. Dźwięki byłyby najpierw niskie, potem coraz wyższe i znów niskie. Czyli jest to język, w którym muzyka rysuje to, co widzisz. Jego nauka zaczyna się więc od rozumienia bardzo prostych linii, kształtów, a potem coraz bardziej skomplikowanych obrazów.
W zaawansowanej wersji jest to już jak słuchanie całej symfonii, będącej dźwiękowym odbiciem tego, co widzą kamery. Po treningu korzystający z naszego urządzenia mogą spokojnie trafić do windy, mogą odczytywać wyraz twarzy innych osób, a wchodząc do pokoju wiedzą, gdzie jest krzesło, stół i ręka, którą chcą uścisnąć”.
Produkt komercyjny Amedi oparty na systemie nosi nazwę EyeMusic. Amedi przeprowadzał testy z niewidomymi użytkownikami EyeMusic, którzy po treningu byli w stanie prawidłowo postrzegać i wchodzić w interakcje z obiektami, takimi jak rozpoznawanie różnych kształtów i kolorów lub sięganie po napoje. Wyniki testów zostały opisane w artykułach w kilku czasopismach naukowych.
Aby zademonstrować system ogółowi społeczeństwa oraz wprowadzić koncepcję szkolenia dźwiękowego dla tych, którzy chcą się go nauczyć, laboratorium Amedi opracowało aplikację na Iphone’a, zwaną EyeMusic, która uczy podstawowych dźwięków i tonacji. Aplikacja uczy również rozpoznawania kolorów i kształtów za pomocą różnych instrumentów, a nawet różnic w kolorze i kształcie w obrazie lub obiekcie, poprzez mieszanie tonacji, dźwięków, instrumentów, oraz kolejności tych dźwięków.
Źródło: tokfm.pl