Apple представляет технологию отслеживания глаз и рук следующего поколения, чтобы помочь пользователям работать в 3D-среде на компьютерах Mac, гарнитуре XR, iPad и других устройствах

325
Источник новостей:

23 марта 2023 г. ,йВедомство по патентам и товарным знакам США опубликовало патентную заявку от Apple, касающуюся методов перемещения объектов в трехмерной среде в гарнитуре XR на будущих компьютерах Mac и iDevices, в частности на iPad, с использованием жестов слежения за глазами и руками.

В патентной истории Apple они отмечают, что методы и интерфейсы для взаимодействия со средами, которые включают по крайней мере некоторые виртуальные элементы (например, приложения, среды дополненной реальности, среды смешанной реальности и среды виртуальной реальности), являются громоздкими, неэффективными и ограниченными. Например, системы, которые обеспечивают недостаточную обратную связь для выполнения действий, связанных с виртуальными объектами, системы, которым требуется ряд входных данных для достижения желаемого результата в среде дополненной реальности, и системы, в которых манипуляции с виртуальными объектами сложны, утомительны и подвержены ошибкам. , создают значительную когнитивную нагрузку на пользователя и отвлекают от опыта работы со средой виртуальной/дополненной реальности. Кроме того, эти методы занимают больше времени, чем необходимо, что приводит к трате энергии. Это последнее соображение особенно важно для устройств с батарейным питанием.

Соответственно, существует потребность в компьютерных системах с улучшенными способами и интерфейсами для обеспечения компьютерных возможностей для пользователей, которые делают взаимодействие с компьютерными системами более эффективным и интуитивно понятным для пользователя. Такие способы и интерфейсы необязательно дополняют или заменяют обычные способы предоставления пользователям компьютерного опыта реальности. Такие способы и интерфейсы уменьшают количество, объем и/или характер входных данных от пользователя, помогая пользователю понять связь между предоставляемыми входными данными и ответами устройства на входные данные, тем самым создавая более эффективный человеко-машинный интерфейс.

Хотя патент Apple может применяться к будущим компьютерам Mac, Apple Watch и гарнитуре XR, по словам Apple, их патентная заявка была сосредоточена на манипулировании пользователем трехмерной средой с использованием отслеживания глаз и рук, применяемых к iPad.

Apple отмечает, что в некоторых вариантах осуществления компьютерная система отображает виртуальную среду одновременно с пользовательским интерфейсом приложения. В некоторых вариантах осуществления пользовательский интерфейс приложения можно перемещать в виртуальную среду и рассматривать как виртуальный объект, существующий в виртуальной среде.

В некоторых вариантах осуществления размер пользовательского интерфейса автоматически изменяется при перемещении в виртуальную среду на основе расстояния пользовательского интерфейса при перемещении в виртуальную среду.

В некоторых вариантах осуществления, отображая как виртуальную среду, так и пользовательский интерфейс, пользователь может запросить отображение пользовательского интерфейса как иммерсивной среды.

В другом аспекте изобретения Apple отмечает, что примеры устройств ввода включают сенсорный экран, мышь (например, внешнюю), сенсорную панель (необязательно встроенную или внешнюю), сенсорную панель (необязательно встроенную или внешнюю), устройство дистанционного управления (например, внешнее). , другое мобильное устройство (например, отдельное от электронного устройства), портативное устройство (например, внешнее), контроллер (например, внешний), камера, датчик глубины, устройство слежения за глазами и/или датчик движения (например, устройство слежения за руками, датчик движения руки) и т. д. В некоторых вариантах осуществления электронное устройство связано с устройством слежения за руками (например, с одной или несколькими камерами, датчики глубины, датчики приближения, сенсорные датчики (например, сенсорный экран, трекпад). В некоторых вариантах осуществления устройство слежения за руками представляет собой носимое устройство, такое как умная перчатка. В некоторых вариантах осуществления устройство слежения за руками представляет собой переносное устройство ввода. например, пульт дистанционного управления или стилус.

Патент Apple РИС. 15A-15D ниже иллюстрируют примеры электронного устройства, облегчающего перемещение и/или размещение множества виртуальных объектов в трехмерной среде с использованием технологий отслеживания глаз и рук на iPad.

Патентная заявка № 20230092282 под названием «Методы перемещения объектов в 3D-среде» — одна из самых длинных заявок Apple за день — 169 страниц. Там тонна деталей, в общей сложности 86 патентных рисунков, которые вы можете просмотреть. здесь.

Изобретатели Apple

  • Бен Бозель: дизайнер интерфейсов

  • Джонатан Равас: дизайнер интерфейсов (ранее работал в Oculus VR)

  • Стивен Лемей: дизайнер пользовательского интерфейса

  • Крис Маккензи: дизайнер интерфейсов

  • Ши-Санг Чиу: Профиль LinkedIn не был доступен

2023 г. Рынок приложений инфракрасного зондирования и стратегии брендинга
Релиз: 01 января 2023 г.
Формат: PDF
Язык: традиционный китайский/английский
Страница: 164