3 Dotknąć świata, który nie istnieje. O projektowaniu interakcji poza ekranem
Najintensywniejsze doznanie, jakie może dziś zaoferować technologia, nie wiąże się z ekranem. To dotyk czegoś, co nie istnieje – przebywanie w przestrzeni, która odpowiada na twoją obecność, zanim zdążysz pomyśleć o jakimkolwiek urządzeniu. W warszawskim Melt Museum codziennie obserwujemy moment, w którym ten dotyk się wydarza. Goście zapominają o sensorach, projektorach i algorytmach. Zostaje samo doświadczenie. Coś, co czują jako realne, choć wiedzą, że takie nie jest. Ta szczelina między fizycznym a niemożliwym jest miejscem, w którym pracujemy od ponad dekady.
Kiedy przestrzeń staje się medium
Przez wieki architektura służyła dwóm celom: funkcji i estetyce. Budynek miał chronić, organizować przestrzeń, ewentualnie zachwycać. Dopiero XXI wiek dodał trzecią warstwę – budynek jako medium, przestrzeń jako interfejs, architektura jako doświadczenie. To zmiana tak fundamentalna jak wynalezienie perspektywy w malarstwie renesansowym: nagle odkrywamy nowy wymiar tego, czym przestrzeń może być.
Jednym z wcześniejszych przebłysków tej zmiany był The Weather Project Olafura Eliassona, zainstalowany w 2003 roku w Turbine Hall londyńskiego Tate Modern1 – przestrzeni o wysokości 35 metrów i powierzchni ponad 3300 metrów kwadratowych2. Eliasson umieścił na końcu hali półkolisty ekran podświetlony około 200 lampami monochromatycznymi, a sufit pokrył lustrzaną folią aluminiową, która optycznie podwajała objętość przestrzeni. Sztuczna mgła wypełniała pomieszczenie, tworząc iluzję zachodzącego słońca. Instalacja przyciągnęła ponad dwa miliony odwiedzających w ciągu pięciu miesięcy3. Ludzie kładli się na podłodze i wpatrywali w swoje odbicia – nie dlatego, że ktoś im to zasugerował, lecz dlatego, że przestrzeń wywoływała ten odruch samoistnie. Żadnej elektroniki reagującej na ciało, żadnych czujników, a mimo to instalacja była w pełni „interaktywna” w najgłębszym sensie tego słowa: zmieniała zachowanie ludzi. Eliasson celowo odsłaniał mechanizm konstrukcji, bo zależało mu na uświadomieniu widzom samego aktu percepcji.
Dwie dekady później globalnym symbolem kolejnego przełomu stała się Sphere w Las Vegas. Budynek o szerokości 157 metrów i wysokości 112 mieści w swoim wnętrzu ekran LED o rozdzielczości 16K na 16K i powierzchni 15 tys. metrów kwadratowych4. 10 tys. spośród ponad 17 tys. miejsc wyposażono w technologię haptyczną, a system dźwiękowy oparty na 197 tys. indywidualnie wzmacnianych głośników uzupełniają efekty wiatru i zapachu. Budowa Sphere kosztowała 2,3 mld dolarów. Jej prawdziwa wartość nie leży jednak w specyfikacji technicznej, lecz w tym, co robi z ludźmi – daje im poczucie fizycznej obecności w miejscu, którego nie ma.
Na drugim biegunie skali działa teamLab – japoński kolektyw liczący dziś około tysiąca członków: programistów, inżynierów, animatorów, matematyków i architektów. Ich tokijskie muzeum teamLab Borderless, przeniesione w lutym 2024 roku do kompleksu Azabudai Hills, prezentuje kilkadziesiąt interaktywnych instalacji5. Filozofia teamLabu opiera się na jednym założeniu: dzieło sztuki nie istnieje bez obecności widza. Kwiaty rozkwitają pod stopami zwiedzających i więdną, gdy ci odchodzą. Wodospady zmieniają bieg w zależności od pozycji ludzkich ciał. Nic nie jest nagrane. Wszystko generuje się w czasie rzeczywistym, w odpowiedzi na obecność.
To, co łączy Eliassona, Sphere i teamLab, to wspólna intuicja: przyszłość doświadczenia leży nie w patrzeniu na ekran, lecz w byciu wewnątrz. A jeśli ktokolwiek wątpi, że immersja to więcej niż artystyczna nisza, wystarczy spojrzeć na handel detaliczny. Najbardziej wizjonerskie marki świata dawno przestały traktować sklep jako miejsce transakcji. Sklep stał się sceną. Miejscem, do którego przychodzi się nie kupować, lecz doświadczać.
We wrześniu 2025 roku koreańska marka Gentle Monster otworzyła w seulskiej dzielnicy Seongsu 14-piętrowy budynek Haus Nowhere Seoul6. Przy wejściu monumentalny, animatroniczny jamnik – „oddychająca” rzeźba, która wita gości w przestrzeni angażującej jednocześnie wzrok, węch i dotyk. Na kolejnych piętrach znalazły się surrealistyczne instalacje Maxa Siedentopfa oraz herbaciarnia Nudake, w której rytuał picia herbaty zamienia się w sensoryczny spektakl. Hankook Kim, założyciel marki, stworzył system, w którym granice między modą, sztuką, gastronomią i designem ulegają zatarciu.
Deszcz, który omija człowieka. Ciało jako kontroler
Zanim opowiemy o własnej działalności, warto przywołać jeszcze jeden projekt, który zmienił sposób myślenia o relacji ciała z technologią. Rain Room studia Random International, zaprezentowany po raz pierwszy w londyńskim Barbican w 2012 roku, a następnie w MoMA w Nowym Jorku i w LACMA w Los Angeles, to pomieszczenie nieustannie zalewane deszczem, w którym woda – dzięki kamerom 3D śledzącym ruch ciała w czasie rzeczywistym – nie pojawia się tam, gdzie stoi człowiek. Odwiedzający przechodzą przez ulewę i nie mokną, a jednocześnie słyszą szum deszczu, czują wilgoć w powietrzu i widzą ścianę wody wokół siebie. Technologia jest całkowicie ukryta: żadnych ekranów, żadnych instrukcji. Samo ciało w przestrzeni. I system, który je rozumie.
Rain Room stał się jedną z najczęściej fotografowanych prac sztuki współczesnej i jedną z pierwszych instalacji, które udowodniły masowej publiczności, że interakcja z technologią nie musi opierać się na dotyku ekranu. Dla nas ta praca była ważnym punktem odniesienia – potwierdzeniem intuicji, którą rozwijamy w Melt Museum: najlepszy interfejs to taki, którego użytkownik nie zauważa i którego nie trzeba mu dokładnie tłumaczyć.
Od studia do muzeum. Dekada eksperymentów
Droga do Melt Museum zaczęła się od fascynacji, którą znamy wszyscy, którzy choć raz zatracili się w wirtualnym świecie. To uczucie odkrywania nierealnej przestrzeni, nieznanej mechaniki, interakcji, która nie istnieje w codziennym życiu. Doświadczenie, które oferują najlepsze gry komputerowe i symulatory immersyjne, a które rzeczywistość wirtualna podniosła na zupełnie nowy poziom. W pewnym momencie zadaliśmy sobie pytanie: Czy da się to uczucie przenieść do prawdziwego świata? Zdjąć gogle i nadal czuć, że przestrzeń wokół nas żyje, reaguje, zaskakuje?
To pytanie towarzyszyło nam w studio Melt Immersive przez kolejne lata, w których budowaliśmy systemy reagujące na ludzkie ciało w coraz bardziej intymny sposób. Pierwszym krokiem było mapowanie gestów w czasie rzeczywistym – instalacje, w których ruch ciała kontrolował setki wirtualnych obiektów. Hakowaliśmy kolejne generacje sensorów głębi Kinect – od pierwszego modelu dla Xboxa, który zmusiliśmy do współpracy z Macami i pecetami, aż po Azure Kinect. Równolegle rozwijaliśmy projekty w Unreal Engine, początkowo w kontekście VR-u, a z czasem w coraz odważniejszych instalacjach przestrzennych. Do tego dochodził TouchDesigner i autorskie oprogramowanie. Wszystko po to, by ludzkie ciało stało się naturalnym interfejsem. Nie chodziło o rozpoznawanie konkretnych komend – chodziło o to, by system odczuwał obecność człowieka i reagował na nią organicznie.
Il. 1. Mastercard Music 2024
Kolejnym etapem były systemy reagujące na samą obecność – instalacje niewymagające żadnego świadomego działania ze strony widza. Wystarczyło wejść do pokoju, a przestrzeń zaczynała żyć. Dźwięk otaczał ze wszystkich stron. Światło reagowało na odległość, kierunek ruchu, tempo kroków. To było dokładnie to uczucie, które znaliśmy z wirtualnych światów. Tyle że teraz działo się naprawdę, wokół żywych ludzi, w fizycznej przestrzeni. Te doświadczenia domagały się własnego domu – stałej przestrzeni, w której moglibyśmy je rozwijać, testować i doskonalić w kontakcie z tysiącami odwiedzających. Tak narodziło się Melt Museum.
Punktem kulminacyjnym naszych eksperymentów z interfejsami był projekt dla Netflixa, zrealizowany we współpracy z artystkami Hanią Rani i Dobrawą Czocher. Z okazji premiery serialu science fiction Open Your Eyes stworzyliśmy doświadczenie, w którym obie artystki podczas koncertu na żywo zostały podłączone do interfejsu mózg – komputer. Sygnały neuronowe zbierane w czasie rzeczywistym były tłumaczone na trójwymiarowe animacje, a następnie projektowane na otoczenie za pomocą projection mappingu. Goście zgromadzeni w Instytucie Energetyki w Warszawie mogli doświadczyć muzyki na zupełnie nowym poziomie – nie jako abstrakcyjnej wizualizacji dźwięku, lecz jako bezpośredniego wglądu w emocjonalny stan artystek: od głębokiego relaksu, przez intensywne skupienie, po momenty najsilniejszego napięcia. Projekt zdobył nagrody Webby, Innovation i KTR, ale jego najistotniejsze znaczenie wykracza poza statuetki – udowodnił, że granica między umysłem a maszyną jest o wiele cieńsza, niż ktokolwiek przypuszczał.
Il. 2. Premiera serialu Netflix Open Your Eyes, Melt Immersive x Hania Rani i Dobrawa Czocher
Melt Museum. Laboratorium na granicy światów
Muzeum, laboratorium i portal. Melt Museum to pierwsze i jedyne w Polsce stałe centrum sztuki immersyjnej9. Ponad 600 metrów kwadratowych rozłożonych na trzech kondygnacjach mieści kilkanaście autorskich, multisensorycznych instalacji. Wejście prowadzi odwiedzających w świat, w którym ściany reagują na ruch, dźwięk – skomponowany przez Wojciecha Urbańskiego i Łukasza Palkiewicza (Szatt) – podąża za gestami, a projekcje świetlne budują atmosferę, w której granica między fizycznym i cyfrowym staje się niemożliwa do zlokalizowania. Stała wystawa Artificial Dreams bada relację człowieka ze sztuczną inteligencją10.
To, co czyni tę przestrzeń wyjątkową, to fakt, że każda instalacja jest jednocześnie laboratorium. Tysiące odwiedzających testują w nim granice między cyfrowym i fizycznym światem, a ich reakcje ujawniają coś fundamentalnego: istnieje przepaść między kliknięciem w ekran a bezpośrednią komunikacją ciała z algorytmem. To różnica jakościowa, nie ilościowa. Gdy palec dotyka szkła telefonu, aktywujemy zaledwie ułamek naszej sensoryki. Gdy całe ciało zanurza się w interaktywnej przestrzeni, uruchamiają się propriocepcja, zmysł równowagi, percepcja głębi i pamięć mięśniowa. Cała ewolucyjna maszyneria zmysłów, którą kiedyś wykorzystywaliśmy do nawigacji i przetrwania. Dostrzegamy to między innymi w Simulation, które pozwala kontrolować setki wirtualnych stworzeń ruchem ciała. Zaawansowane czujniki rejestrują każdy gest, który bezpośrednio wpływa na zachowanie cyfrowej ławicy. Goście Melt Museum regularnie pytają: „Jak to możliwe, że to wie, gdzie jestem?” – bo nie widzą żadnego konkretnego urządzenia. Widzą tylko efekt.
Il. 3. Melt Museum
Il. 4. Melt Museum
Biomimesis. Gdy algorytm uczy się od natury
Najnowszym rozdziałem jest Biomimesis. To najbardziej zaawansowana technologicznie instalacja, jaka dotąd stanęła w muzeum. Świetliste „drzewa” wyrastają w przestrzeni pokrytej lustrami i tworzą wrażenie cyfrowego lasu. Nie zostały jednak zaprojektowane ręcznie. Wyrosły algorytmicznie, w wyniku procesu zwanego wzrostem różnicowym – metody inspirowanej tym, jak rozwijają się struktury biologiczne, od koralowców po naczynia krwionośne ludzkiego mózgu. Zastanawialiśmy się, czy można stworzyć coś, co nie tyle wygląda jak natura, ile zachowuje się podobnie.
Każde drzewo zostało wydrukowane w technologii 3D z biodegradowalnego materiału stworzonego z odpadów kukurydzianych i wyposażone w zaawansowane czujniki głębi wykrywające obecność człowieka bez dotyku i bez przycisków. Wystarczy zbliżyć dłoń, a drzewo zaczyna reagować światłem i dźwiękiem. Gdy więcej osób wchodzi w interakcję jednocześnie, instalacja zamienia się w żyjący instrument – ambientowy krajobraz dźwiękowy skomponowany przez producenta Szatta, który połączył system kamer wykrywających ruch z oprogramowaniem Ableton Live. Las w Melt Museum wybrzmiewa. Dosłownie.
Fake.exe. Projektowanie świata, który nie istnieje
Tytuł tego tekstu nabiera szczególnego znaczenia w kontekście innej instalacji Melt Museum – Fake.exe, która eksploruje granice tożsamości w erze deepfake’u. Technologia zdolna do generowania przekonujących obrazów i filmów w czasie rzeczywistym przenosi manipulację wizerunkiem na zupełnie nowy poziom, dostępny każdemu.
Fake.exe konfrontuje odwiedzających z tą technologią bezpośrednio: za pomocą jednego dotknięcia ekranu mogą zmienić swoją twarz w dowolną postać. To jednak nie jest zabawa dla samej zabawy. Instalacja zadaje pytania, na które nie ma łatwych odpowiedzi: Kim jesteś, gdy każdy może być tobą? Jak odróżnić prawdę od fałszu, skoro sztuczne obrazy stają się nieodróżnialne od rzeczywistych? Deepfake nie tylko zmienia twarze polityków i celebrytów. Może zmieniać nasze myślenie o tym, czym jest prawda.
A co się dzieje, gdy ta sama technologia opuszcza przestrzeń muzealną i trafia na stadion z tysiącami ludzi? Jako Melt Immersive odpowiedzieliśmy na to pytanie podczas koncertów Maty. Na telebimach każda filmowana twarz stawała się twarzą artysty – realtime deepfake zastosowany na skalę niezwykle rzadko spotykaną w branży koncertowej. Algorytmy przetwarzały obraz na żywo, zachowując pełną mimikę i gesty publiczności, tyle że z twarzą Maty. Efekt był tak realistyczny, że część obecnych pomyślała, że wszyscy przyszli przebrani. Nagrania zrobiły furorę na TikToku i Instagramie, zbierając setki tysięcy wyświetleń. Nie chcieliśmy efektu specjalnego, tylko zaskakującego momentu, w którym artysta i tłum stają się jednością. Zamieniliśmy wszystkich w ich idola. To był hołd dla artysty, którego fani naprawdę chcą być częścią, i dla publiki, która stała się jego odbiciem.
To tutaj Fake.exe i koncerty Maty spotykają się w jednym punkcie: technologia, która w muzeum służy indywidualnej refleksji nad tożsamością, na koncercie staje się narzędziem zbiorowego doświadczenia. W muzeum pyta się: Kim jestem, skoro mogę wyglądać jak każdy? Na koncercie odpowiedź przychodzi sama: Jestem częścią czegoś większego. Deepfake, który zwykle kojarzy się z manipulacją, przekształca się w narzędzie wspólnego przeżycia.
Warto jednak pamiętać, że ta technologia ma dwie twarze. Na koncercie służyła budowaniu wspólnoty i radości, ale w niewłaściwych rękach może stać się narzędziem dezinformacji. Każda innowacja wymaga pytania nie tylko, czy możemy, ale też czy powinniśmy.
W kontekście narzędzi projektowych oba przypadki stanowią fascynujący zwrot: narzędzie tworzenia iluzji zostaje przekształcone w narzędzie budowania znaczenia. Nie projektujemy tu obiektu ani interfejsu. Projektujemy doświadczenie zmieniające sposób myślenia o rzeczywistości, czy to w kameralnej przestrzeni muzeum, czy na oczach tysięcy osób.
Każda kultura mówi innym językiem immersji
Każda kultura interpretuje immersję na swój sposób. I te różnice mówią więcej o nas samych niż o technologii. Japońskie teamLab celebruje efemeryczność i płynność, wartości zakorzenione w filozofii shintō i buddyjskim pojęciu mujō, oznaczającym nietrwałość. Instalacje kolektywu nie mają początku ani końca – są ciągłym przepływem i cykliczną zmianą. Amerykańskie projekty stawiają na skalę i technologiczny spektakl. Sphere daje poczucie fizycznej obecności w miejscu, którego nie ma. Refik Anadol przetworzył ponad 138 tys. tysięcy obrazów z kolekcji nowojorskiego MoMA za pomocą algorytmów uczenia maszynowego, tworząc stale regenerujące się „halucynacje maszyny” – dzieło, które nigdy nie wygląda tak samo dwa razy11. Koreańskie Gentle Monster łączy surrealizm z brutalizmem architektonicznym, tworząc przestrzenie będące jednocześnie galerią, sklepem i snem.
A Polska? Dopiero odkrywa swój język immersyjny. Być może właśnie dlatego nasze Melt Museum jest intrygujące. Nie naśladuje, lecz szuka własnej narracji. Artificial Dreams to nie kopia teamLab ani miniatura Sphere. To odrębna propozycja: ciemniejsza, bardziej intymna, bardziej zakorzeniona w relacji człowiek – maszyna niż człowiek – natura. Polska wrażliwość – ukształtowana przez cyberpunkową estetykę, literaturę science fiction Stanisława Lema, postindustrialną przestrzeń – nadaje temu muzeum inny charakter. Nie konkurujemy skalą z globalnymi gigantami. Konkurujemy bliskością – intymnością relacji między ciałem odwiedzającego a algorytmem, który na to ciało odpowiada.
Interfejs przyszłości: gdy technologia znika z pola widzenia
W projektowaniu doświadczeń immersyjnych najważniejsza zmiana nie dotyczy samego narzędzia, lecz interfejsu. Przez dekady interfejs był czymś widocznym: ekranem, myszą, klawiaturą, kontrolerem, panelem dotykowym. W przestrzeni immersyjnej zaczyna znikać. Nie dlatego, że technologia przestaje istnieć, lecz dlatego, że zostaje wbudowana w przestrzeń i podporządkowana ciału odwiedzającego. Interakcja nie zaczyna się od kliknięcia, lecz od wejścia do pokoju, wykonania gestu, zmiany odległości, oddechu, zatrzymania się lub ruchu.
W Melt Museum taki niewidoczny interfejs budujemy za pomocą narzędzi o bardzo różnym rodowodzie. Część z nich – sensory 3D, Lidar, computer vision, interfejs mózg – komputer tłumaczący sygnały neuronowe na trójwymiarowe animacje (jak w projekcie z Hanią Rani) – jeszcze dekadę temu funkcjonowała wyłącznie w laboratoriach i robotyce. Część to profesjonalne oprogramowanie twórcze: TouchDesigner do programowania grafiki i interakcji, Cinema 4D do animacji 3D, Ableton Live jako podstawa interaktywnej warstwy dźwiękowej, a także Unreal Engine 5 – ten sam silnik, na którym CD Projekt Red tworzy nowego Wiedźmina. Dochodzi do tego technologia druku 3D z materiałów biodegradowalnych. Wszystkie narzędzia łączy jedno: nie służą do tworzenia obiektów. Służą do tworzenia relacji – między ciałem a kodem, między obecnością a reakcją, między człowiekiem a systemem.
Widzimy to każdego dnia. Goście, zwłaszcza dzieci, instynktownie wchodzą w interakcję z instalacjami, bez instrukcji, bez wyjaśnień, bez okresu nauki. Pięciolatek i czterdziestolatek stoją w tej samej przestrzeni z podobnym zachwytem, choć każdy interpretuje na swój sposób. To obietnica naturalnego interfejsu: technologia, która nie wymaga podręcznika, bo mówi językiem ciała. Językiem, który znamy od urodzenia. W tej chwili nie myślisz o sensorach, algorytmach ani pikselach. Czujesz, że dotykasz czegoś, co nie istnieje, a co mimo to jest absolutnie realne. Ta szczelina między światem fizycznym a cyfrowym, między dotykiem a iluzją.
