Asystent, który widzi to co Ty

Stoisz w kolejce w aptece w okularach z kamerą i pytasz asystenta o nazwę leku, o którym rano mówił lekarz. Odpowiada od razu, bo widział receptę na biurku. Widział też receptę osoby przed Tobą, ekran terminala farmaceutki i twarz dziewczynki czekającej z mamą. Nikt z nich nie prosił, żeby stać się częścią dnia Twojego asystenta.

To już nie jest eksperyment myślowy. 7 października XREAL otworzył przedsprzedaż Aury: okularów z wyświetlaczem na Android XR, z wbudowanym Gemini i kamerą wysokiej rozdzielczości z diodą prywatności, która według XREAL służy percepcji w czasie rzeczywistym. Gemini na Android XR, jak opisuje go XREAL, rozumie, na co patrzysz, i pomaga w zadaniach zależnych od kontekstu. To dobry pomysł. Zmienia też to, czym jest asystent.

Prawdziwa przyczyna: kamera zbiera kontekst, nie wybierając go

Asystent w telefonie widzi to, co mu pokażesz. Asystent na wysokości oczu widzi to, co Ty, a Ty widzisz mnóstwo rzeczy, które nie są Twoją sprawą: cudze ekrany, cudze papiery, innych ludzi. Wartość widzącego asystenta bierze się właśnie stąd, z kontekstu, którego nie trzeba było wpisywać. Ryzyko też. Kamera nie odróżnia schematu, którego potrzebowałeś, od nieznajomego za nim.

XREAL publicznie nie rozpisuje, które części pracy asystenta dzieją się na krążku okularów, a które w chmurze. To nie zarzut; większość producentów tego nie mówi. Oznacza to jednak, że najbardziej intymne dane, jakie może mieć asystent, czyli zapis tego, na co patrzyłeś, trafiają w miejsce, którego nie potrafisz wskazać.

Co idzie źle z asystentem, który widzi

Widzenie zamienia się w pamiętanie. Jeśli klatki albo ich opisy domyślnie trafiają do pamięci, dzień spojrzeń staje się przeszukiwalnym dziennikiem, o którego pisaniu nikt nie zdecydował.

Osoby postronne się nie zgodziły. Dioda prywatności informuje ludzi wokół. Nie pyta ich i nie pozwala im odmówić.

Nagrania mieszkają tam, gdzie nie Ty. Bez jasnego podziału na pracę lokalną i zdalną nie wiesz, jak długo klatka istnieje, kto może ją przeczytać i czy usunięcie jej u Ciebie usuwa ją gdziekolwiek indziej.

Zgoda na patrzenie to nie zgoda na działanie. Asystent, który może otwierać aplikacje i poruszać się za Ciebie po interfejsie, a przy tym widzi formularz na ekranie, jest o krok od jego wypełnienia. Ekran uprawnień do kamery nic o tym kroku nie mówi.

Kontekst przecieka między pokojami. Spotkanie w pracy i kuchnia w domu przechodzą przez tę samą soczewkę do tej samej pamięci, chyba że coś je rozdziela.

Lampkę rysuje oprogramowanie. W wielu urządzeniach wskaźnikiem steruje to samo oprogramowanie, które steruje kamerą. Masz ufać lampce, bo ufasz kodowi.

Jak projektujemy na to KyberBota

KyberBot jest przed startem, a Kyber nie integruje się z Android XR. To projekt, według którego go budujemy, dla każdego ciała z kamerą.

Patrzenie to nie pamiętanie. Domyślnie klatka służy pytaniu, które zadałeś, a potem znika. Pamięć zatrzymuje tylko to, co oznaczysz, albo to, na co pozwala reguła, którą możesz przeczytać, a kyber memory show to wylicza (polecenie jest poglądowe). Co znaczy być znanym przez asystenta, opisuje tekst co znaczy, że asystent zna Cię najlepiej.

Pamięć na Twoich urządzeniach, zaszyfrowana. Nie ma konta, które trzyma to, co widziałeś, ani biznesu reklamowego do karmienia, o czym mówi tekst Twoje dane nie są produktem. Gdy zadanie potrzebuje więcej mocy, niż ma kieszeń, to, dokąd może popłynąć strumień, opisuje tekst chmura za Twoimi oczami na KyberFusion.

Najpierw inni ludzie. Twarze, ekrany i dokumenty, które nie są Twoje, mają być odrzucane, zanim cokolwiek zostanie zachowane, a nie potem. To najtrudniejsza część problemu i mówimy o niej jako o celu, nie o wyniku.

Pytanie przed wrażliwym krokiem. To, że KyberBot widzi ekran płatności, nie pozwala mu zapłacić. Wszystko, co wydaje, wysyła, podpisuje albo udostępnia w Twoim imieniu, zatrzymuje się i pyta Ciebie. Gdy praca idzie do roju, spojrzenie zamienia się w zlecenie, co KyberAgent opisuje w tekście od okularów do roju.

Odcięcie, które widać. Dla ciała chcemy fizycznego przełącznika na zasilaniu czujników zamiast ustawienia; jak KyberDeck patrzy na formę okularów z krążkiem, opisuje tekst okulary z krążkiem.

Druga połowa tego pytania, czyj jest asystent wbudowany w platformę, jest w tekście Android XR: asystent wbudowany w system.

Test, który zrobisz dziś

Otwórz galerię zdjęć w telefonie i przewiń miesiąc wstecz. Policz zdjęcia, na których są ludzie, którzy nie wiedzą, że na nich są, albo cudze ekrany i papiery. Mniej więcej tyle miałby po miesiącu asystent patrzący Twoimi oczami, tylko że z każdej minuty, a nie z każdego zdjęcia.

Potem zadaj asystentowi, którego używasz dziś, dwa polecenia: „co o mnie pamiętasz?” i „usuń to”. Jeśli nie widzisz odpowiedzi na pierwsze albo nie możesz sprawdzić drugiego, już wiesz, jak potraktowałby to, co widzi. Więcej o asystencie, którego budujemy, jest na stronie głównej.