Die Zeichnungen des Patents zeigen einen HomePod mit Kameras, der nun zum erwarteten Apple HomeHub werden könnte
HomePod-Besitzer müssen in Zukunft möglicherweise nicht einmal mehr das Wort „Siri“ rufen, da Apple nach Möglichkeiten sucht, die Blickerkennung zu nutzen, damit ein Gerät erkennt, dass es gesucht wird.
Wenn Sie mehrere Apple-Geräte besitzen, wissen Sie, dass es schwierig ist, Siri dazu zu bringen, auf dem gewünschten Gerät zu reagieren. Wenn Sie sich in einem Raum befinden, in dem sich ein iPhone, ein iPad und ein HomePod mini befinden, verfügt Apple über alle möglichen Systeme, um zu beurteilen, welches Gerät Sie möchten, aber diese versagen regelmäßig.
Darüber hinaus fühlt sich nicht jeder mit der Aufforderung „Siri“ wohl, auch wenn sie besser ist als die ursprüngliche Aufforderung „Hey Siri“. Sie können immer noch beide Versionen sagen, und das gilt auch für Ihr Fernsehgerät – es ist üblich, dass etwas, das in einer Sendung gesagt wird, nah genug an „Siri“ erinnert, dass es eine Frage auslöst, nach der Sie nicht gefragt haben.
Dann besteht auch die Möglichkeit, dass Benutzer mit Geräten interagieren müssen, ohne ihre Stimme zu verwenden. Natürlich kann es Situationen geben, in denen ein Befehl aus der Ferne erteilt werden muss oder in denen es sozial unangenehm sein könnte, mit dem Gerät zu sprechen.
In einem neu erteilten Patent mit dem Titel „Gerätesteuerung mithilfe von Blickinformationen“ schlägt Apple vor, dass es möglich sein könnte, Siri visuell zu befehlen. Insbesondere wird vorgeschlagen, dass Geräte den Blick eines Benutzers erkennen könnten, um festzustellen, ob dieser Benutzer möchte, dass das Gerät reagiert.
Es wären HomePods oder andere Geräte erforderlich, die über Kameras und andere Sensoren verfügen, die in der Lage sind, den Standort eines Benutzers und die Richtung seines Blicks zu bestimmen, um herauszufinden, was er sieht. Diese Informationen könnten verwendet werden, um das betrachtete Gerät automatisch so einzustellen, dass es in einen Befehlsannahmemodus wechselt, in dem es aktiv zuhört, in der Erwartung, dass ihm Anweisungen mitgeteilt werden.
Das wäre vergleichbar mit der Art und Weise, wie sich der „immer eingeschaltete“ Bildschirm eines iPhones tatsächlich ausschaltet, bis Sie darauf schauen. Es gibt also bereits ein Gerät, das erkennen kann, wann es angeschaut wird.
Apple könnte dies erweitern, um einen Blick als Äquivalent eines verbalen Auslösers zu interpretieren. Benutzer könnten immer noch „Siri“ rufen, wenn sie nicht auf das Gerät schauen, aber es würde ihnen eine zusätzliche Option geben.
Den Blick als Barometer dafür zu nutzen, ob der Nutzer dem digitalen Assistenten einen Befehl erteilen möchte, ist auch in anderer Hinsicht sinnvoll. Beispielsweise könnte ein beim Blick auf das Gerät erkannter Blick bestätigen, dass der Benutzer aktiv beabsichtigt, dass das Gerät Befehlen folgt.
Ein digitaler Assistent für einen HomePod könnte einen Befehl möglicherweise nur dann interpretieren, wenn der Benutzer ihn ansieht, heißt es in dem Patent.
In der Praxis könnte dies den Unterschied bedeuten, ob das Gerät ein Satzfragment wie „Spiel Elvis“ als Befehl interpretiert oder als Teil eines Gesprächs, das es ansonsten ignorieren sollte.
In der Patentanmeldung wird erwähnt, dass ein bloßer Blick auf das Gerät nicht zwangsläufig die Absicht erkennen lässt, auf Anweisungen zu warten, da eine Reihe von „Aktivierungskriterien“ erfüllt sein müssen. Dies könnte lediglich aus einem kontinuierlichen Blick über einen bestimmten Zeitraum, etwa eine Sekunde, bestehen, um unbedeutende Blicke oder Fehlalarme durch eine Person, die den Kopf dreht, auszuschließen.
Auch der Winkel des Kopfes des Benutzers ist wichtig. Wenn sich das Gerät beispielsweise auf einem Nachttisch befindet und der Benutzer im Bett liegt und schläft, könnte das Gerät den Blick des Benutzers, der auf das Gerät blickt, möglicherweise als Blick betrachten, je nachdem, wie er liegt, es könnte ihn jedoch als solchen ignorieren, weil er erkennt, dass der Kopf des Benutzers auf der Seite und nicht vertikal liegt.
Es wäre eine Beurteilung, die berücksichtigt, ob die Augen des Benutzers geöffnet waren und wie der Winkel war. Das würde verhindern, dass unbeabsichtigte Blicke Siri auslösen, aber so nützlich das auch wäre, es gibt dann ein damit verbundenes Problem.
Wenn das Gerät also nicht immer auf einen Blick reagiert, muss der Benutzer wissen, ob dies der Fall ist oder nicht. Es kann nicht sein, dass der Benutzer einen langen Befehl ausspricht, woraufhin Siri schließlich sagt: „Sprichst du mit mir?“
Als Reaktion auf einen absichtlichen Blick könnte ein Gerät dem Benutzer eine Reihe von Indikatoren dafür liefern, dass der Assistent durch einen Blick aktiviert wurde, beispielsweise ein Geräusch oder ein Lichtmuster von eingebauten LEDs oder einem Display.
Angesichts der Möglichkeit, den Blick eines Benutzers zu registrieren, wäre es für das System auch möglich, zu erkennen, ob der Benutzer auf ein Objekt blickt, mit dem er interagieren möchte, und nicht auf das Gerät, auf dem sich der virtuelle Assistent befindet.
Beispielsweise könnte ein Benutzer auf eine von mehreren Lampen im Raum blicken und das Gerät könnte den Kontext des Blicks des Benutzers nutzen, um herauszufinden, welche Lampe der Benutzer über einen Befehl einschalten möchte.
Das Patent beschreibt auch Situationen, in denen der Benutzer möglicherweise einen Befehl beginnt, bevor er sich an das Gerät wendet, um ihn auszuführen. Oder alternativ, dass sie auf das Gerät schauen und sich abwenden, bevor sie den Befehl beenden.
In beiden Fällen muss das Gerät festgestellt haben, dass es das angesprochene Gerät ist. Wenn der Blick jedoch nicht sofort erkannt wird, schlägt Apple vor, dass das Gerät den Benutzer nach seinen Wünschen fragen und so seine Aufmerksamkeit erregen könnte.
In der Nähe befindliche Geräte könnten den Blick des Benutzers auf andere steuerbare Objekte in einem Raum erkennen.
Dies ist nicht das erste Mal, dass Apple Eltern um die Möglichkeit bittet, ein Gerät aus der Ferne bedienen zu können. In früheren Patentanmeldungen tauchte dies bereits einige Male auf. Beispielsweise schlug ein Patent aus dem Jahr 2015 für eine „lernbasierte Schätzung der Hand- und Fingerhaltung“ die Verwendung eines optischen 3D-Mapping-Systems für Handgesten vor, was möglicherweise zum Apple Vision Pro geführt hat.
Das neue Patent ist jedoch auch nicht das erste Mal, dass Apple ein Patent für genau dieses Patent erhält. Eine Fassung davon wurde ursprünglich im Jahr 2019 eingereicht und dann im Jahr 2020 erteilt.
Apple meldet jedes Jahr viele Hundert Patente an, und es ist nicht ungewöhnlich, dass das Unternehmen es erneut anmeldet, selbst nachdem eines erteilt wurde. Es kann beispielsweise sein, dass es in der neuen Version ein kleines, aber bedeutendes Update gibt.
In diesem Fall bedeutet die Tatsache, dass Apple das Patent ursprünglich im Jahr 2019 angemeldet hat, dass Zeit war, um zu sehen, dass zumindest Teile davon zu Versandprodukten werden. Face ID wurde bereits im iPhone X 2017 eingeführt, aber die außergewöhnliche Blickerkennung war ein Schlüsselelement im Apple Vision Pro.
Es stimmt jedoch immer noch, dass selbst die Existenz wiederholter Patente auf dieselbe Technologie kein Beweis dafür ist, dass diese spezifische Idee jemals umgesetzt wird. Aber die Zeichnungen des Patents zeigen durchweg einen HomePod, und wir sind jetzt näher dran, ein ähnliches HomeHub-Gerät zu haben, das durchaus über Kameras verfügen könnte.
Das ursprünglich am 28. August 2019 eingereichte Patent listet seine Erfinder als Sean B. Kelly, Felipe Bacim De Araujo E Silva und Karlin Y. Bark auf.