Apple-briller

Det ryktes at Apple har et hemmelig team med hundrevis av ansatte som jobber med virtuelle og utvidede virkelighetsprosjekter.

• Ja
• Nei

Apples hemmelige utvidede og virtuelle virkelighetsprosjekt

Innhold

1. Apples hemmelige utvidede og virtuelle virkelighetsprosjekt
• Mixed Reality Headset
• AR smarte briller
• iOS 14 AR-lekkasjer
• AR i Xcode
• Ventilpartnerskap?
• Andre rykter
2. Augmented Reality vs. Virtual Reality
3. Apples VR/AR-team
• Ansetter
• Oppkjøp
4. AR / VR-patenter
5. Lanseringsdato
6. Fremtidige AR/VR-planer
7. Apple Glasses Tidslinje

Apple har utforsket virtuell virkelighet og utvidet virkelighet-teknologier i mer enn 10 år basert på patentsøknader, men med virtuell og utvidet virkelighet som eksploderer i popularitet med lanseringen av ARKit, blir Apples plaging mer alvorlig og forventes å føre til en AR/ VR-produkt i 2022.

Det ryktes at Apple har en hemmelig forskningsenhet med hundrevis av ansatte som jobber med AR og VR og utforsker måter de nye teknologiene kan brukes i fremtidige Apple-produkter. VR/AR-ansettelser har økt i løpet av de siste årene, og Apple har kjøpt opp flere AR/VR-selskaper ettersom det fremmer arbeidet sitt i AR/VR-området.

Det ryktes at Apple jobber med i det minste to AR-prosjekter som inkluderer et augmented reality-hodesett som skal utgis rett rundt 2022 etterfulgt av et slankere par augmented reality-briller som kommer på et senere tidspunkt. Mange rykter har fokusert utelukkende på brillene, men det har ført til litt forvirring om Apples planer, men det ser ut til at AR/VR-headsettet vil være det første produktet som lanseres.

Apple-analytiker Ming-Chi Kuo mener Apples 'mixed reality'-headset vil komme ut på slutten av 2022 eller tidlig i 2023, med Apple-brillene som følger i 2025, selv om andre kilder har sagt at brillene vil komme i 2023. Headsettet er AR/VR, aka blandet virkelighet, mens Apples briller er utvidet virkelighet.

Mixed Reality Headset

Informasjonen og Bloomberg har begge sagt at Apple jobber med smarte briller OG et AR/VR-headset (aka mixed reality), med headsettet som kommer ut først etterfulgt av brillene. Det ryktes at hodesettet ligner Facebooks Oculus Quest virtual reality-headset, men med en slankere design som bruker stoffer og lette materialer for å sikre at hodesettet er komfortabelt.

Det sies å være med to høyoppløselige 8K-skjermer og øyedetekterende kameraer som lar brukere 'lese små skrift' og 'se andre mennesker som står foran og bak virtuelle objekter.' Headsettet vil kunne kartlegge overflater, kanter og dimensjoner av rom med 'større nøyaktighet enn eksisterende enheter på markedet.' Den vil ha en mer avansert skjerm og en brikke som er enda raskere enn M1-prosessoren i 2020 Mac-er.

Informasjonen i februar sa at den vil være utstyrt med mer enn et dusin kameraer for å spore håndbevegelser i tillegg til kameraer for å se omverdenen, og designet blokkerer perifert syn for å forhindre at lys lekker inn i brukerens synsfelt. Det kan også være et utadvendt visir innebygd i skjermen for å la brukeren vise grafikk til andre.

The Elec hevder det VR-headsettet vil ha en høyoppløselig mikro OLED-skjerm med opptil 3000 piksler per tomme. En mikro OLED-skjerm var tidligere ryktet for smartbrillene, men ikke VR-headsettet.

Apple-analytiker Ming-Chi Kuo har sagt at Apples kommende mixed reality-headset vil inneholde 15 optiske kameramoduler totalt. Åtte av de 15 kameramodulene vil bli brukt til gjennomsiktige opplevelser av utvidet virkelighet, seks moduler vil bli brukt til 'innovativ biometri', og en kameramodul vil bli brukt til miljødeteksjon.

Kuo tror også at Apples hodesett vil være utstyrt med et avansert øyesporingssystem som brukes for å gi en intuitiv visuell opplevelse som samhandler sømløst med det ytre miljøet, sammen med mer intuitiv betjening som kan kontrolleres med øyebevegelser og redusert beregningsbyrde i form av en redusert oppløsning der brukeren ikke ser.

Designmessig har headsettet blitt beskrevet som å ha et 'slankt, buet visir festet til ansiktet av et nettingmateriale og utskiftbare pannebånd.' Ett hodebånd har angivelig romlig lydteknologi som AirPods Pro for en surround-lydlignende opplevelse, mens et annet gir ekstra batterilevetid mens du er på farten. Apple jobber med flere kontrollmetoder, inkludert en 'fingerbøl-lignende enhet som kan bæres på en persons finger.' Hodesettet vil også være i stand til å reagere på brukerens øyebevegelser og håndbevegelser, mens en prototype av headsettet også hadde en fysisk skive på visirets side. Apple har også testet Siri-inndata.

Apple vil opprette en App Store for headsettet, med fokus på spilling, streaming av videoinnhold og videokonferanser. Det er beskrevet av Bloomberg som et 'altomfattende 3-D digitalt miljø' designet for spill, se på video og kommunikasjon.

Nåværende hodesettprototyper blir sagt å veie rundt 200 til 300 gram, men Apple har som mål å redusere sluttvekten til 100 til 200 gram dersom tekniske problemer kan løses, noe som vil gjøre headsettet lettere enn eksisterende VR-enheter. Headsettet vil være bærbart med uavhengig strøm og lagring, men det vil ikke være 'mobilt' som en iPhone. Det vil gi en 'oppslukende opplevelse' som overgår tilgjengelige VR-produkter, og den kan integreres med Apple TV+ og Apple Arcade.

Augmented reality-funksjonalitet for hodesettet er 'mer begrenset', og mens en utgivelse er planlagt i 2022, sies Apple å ha truffet flere utviklingshinder og har 'konservative' salgsanslag for enheten. Apple forventer å selge omtrent 180 000 enheter, som er på nivå med dyrere enheter som Mac Pro. Headsettet forventes å være mye dyrere enn headset fra andre selskaper, og Informasjonen sier at Apple har diskutert å prise headsettet til rundt 3000 dollar.

Den første designen inkluderte en vifte og kraftige prosessorer, noe som resulterte i en enhet som var for tung. Apple skal ha bestemt seg for å bringe headsettet nærmere ansiktet for å redusere størrelsen. Brukere vil ikke kunne bruke briller mens de bruker headsettet, så Apple har laget et system der spesialtilpassede reseptbelagte linser kan settes inn over VR-skjermene.

Kuo mener at headsettet vil bruke en hybrid Fresnel-linsedesign , som omfatter tre stablede linser per øye laget av lett plast. Hensikten er at designet skal muliggjøre ultrakorte brennvidder og forbedret optisk ytelse, samt et bredt synsfelt, og holde hodesettets vekt under 150 gram.

Når det gjelder kraft, vil det kommende AR/VR-headsettet ha en high-end hovedprosessor som ligner på M1-brikken som Apple debuterte for sine Apple silisium-Macer i fjor, sammen med en lavere prosessor for å administrere de sensorrelaterte aspektene ved enheten.

Apple-analytiker Ming-Chi Kuo hevder at den vil kunne operere uavhengig uten å stole på en Mac eller iPhone, noe som er en avvik fra et tidligere rykte som sa at det ville krever en tjor til en iPhone. Den kraftige brikken i hodesettet vil drive et par 4K Micro OLED-skjermer fra Sony og seks til åtte optiske moduler for å gi AR-basert funksjonalitet. Apple har fullført arbeid på SoC for AR/VR-headsettet, og vil optimere for trådløs dataoverføring, komprimering og dekomprimering av video, og strømeffektivitet for maksimal batterilevetid, og den har ikke en nevral motor som noen av Apples andre brikker.

Apples kommende mixed reality-headset vil tilbyr WiFi 6E støtte, som er den nyeste WiFi-spesifikasjonen. Det sies at Apple planlegger å implementere WiFi 6E for å gi en avansert, oppslukende opplevelse med solid trådløs tilkobling. WiFi 6E har alle fordelene med WiFi 6, men legger til 6GHz-spektrum i tillegg til 2,4GHz- og 5GHz-båndene for økt båndbredde og mindre interferens mellom enheter.

Mixed Reality-hodesettgjengivelser

Designer Antonio De Rosa har utviklet 3D-gjengivelser basert på detaljer delt av Informasjonen , og gir oss en titt på hvordan Apples hodesett med blandet virkelighet kan se ut basert på aktuelle rykter.

Informasjonen har beskrevet hodesettet som et 'slankt, buet visir festet til ansiktet av et nettingmateriale og utskiftbare pannebånd' som tilbys i flere farger.

Tidlige hodesettprototyper

Tidligere rykter fra CNET i 2018 foreslo at Apple jobbet med et kraftig AR/VR-headset med en 8K-skjerm for hvert øye som ville være koblet fra enten en datamaskin eller en smarttelefon, og det ville fungere med både virtuelle og utvidede virkelighetsapplikasjoner.

I stedet for å stole på en tilkobling til en smarttelefon eller en datamaskin, hodesettet CNET beskrevet ville koblet til en 'dedikert boks' ved hjelp av en høyhastighets kortdistanse trådløs teknologi kalt 60GHz WiGig. Boksen vil bli drevet av en tilpasset 5-nanometer Apple-prosessor som er 'kraftigere enn noe som er tilgjengelig for øyeblikket.' Boksen ligner tilsynelatende et PC-tårn, men det 'vil ikke være en faktisk Mac-datamaskin.' Denne bokslignende designen var gjenstand for tidlige rykter og kan være en prototype som siden har blitt forlatt for den slankere versjonen som ryktene nå beskriver.

Interne uenigheter sies å ha formet og endret Apples mål for AR-headsettet over tid. Apple var sikter først for et ultra-kraftig system som kom med en hub for å huse prosessoren som beskrevet ovenfor, men Jony Ive, som siden har sluttet i selskapet, ønsket ikke å selge en enhet som ville kreve en separat, stasjonær enhet for full funksjonalitet.

Jeg ønsket i stedet et hodesett med mindre kraftig teknologi som kunne bygges inn direkte i enheten, men lederen for AR/VR-teamet, Mike Rockwell, ønsket den kraftigere enheten. Det var en standoff som varte i flere måneder, og Tim Cook sluttet seg til Ive. Ive sies å foretrekke AR-smartbrillene som også er på gang.

AR smarte briller

Apple jobber med et sett med augmented reality-briller, som Leaker Jon Prosser har foreslått Apple vil kalle 'Apple Glass'. Det navnet ville være et uvanlig valg gitt likheten med navnet på Google Glass, et produkt som eksisterte lenge før Apples arbeid med AR-briller ble kjent, så det er kanskje ikke nøyaktig.

Brillene sies å ligne på vanlige briller, med begge linsene for å ha skjermer som kan interageres med bevegelser. Det vil være en mulighet for å få brillene uten reseptbelagte linser til en mulig startpris på 9, med reseptbelagte linser tilgjengelig mot en ekstra kostnad.

I følge Bloomberg , brillene er inne et tidlig utviklingsstadium , enda tidligere enn AR/VR-headsettet som Apple jobber med. Brillene har blitt beskrevet som «flere år unna», selv om Apple i utgangspunktet hadde planlagt å gi dem ut så tidlig som i 2023. Den nåværende prototypen ligner eksklusive solbriller med tykke innfatninger som inneholder batteriet og brikkene.

Apple er angivelig planlegger å bruke 'banebrytende' OLED-mikroskjermer levert av Sony for sine ryktet augmented reality-briller. Sonys OLED-mikroskjermer har en ultrarask responsrate, ultrahøy kontrast, et bredt fargespekter, høy luminans, lav reflektans og integrerte drivere for en tynn og lett design. Brillene sies å ha en 0,5-tommers skjerm med en oppløsning på 1280x960.

Kuo forventer at AR-brillene vil bli markedsført som et iPhone-tilbehør og vil primært ta en skjermrolle ved å laste ned databehandling, nettverk og posisjonering til iPhone, med brillene gir en mobil-først 'optisk gjennomsiktig AR-opplevelse.' Å tilby AR-brillene som iPhone-tilbehør vil tillate Apple å holde dem slanke og lette. Prosser sier at brillene vil ligne Ray-Ban Wayfarers eller brillene som Tim Cook bruker.

Bloomberg har sagt at Apple-brillene vil kjøre 'rOS' eller reality-operativsystem. rOS sies å være basert på iOS, operativsystemet som kjører på iPhone. For AR-headsettet utvikler Apple en 'system-på-en-pakke'-brikke som ligner på det som er i Apple Watch, selv om den vil stole på iPhone som nevnt ovenfor.

I løpet av utviklingen av et AR-hodesett har Apple vurdert berøringspaneler, stemmeaktivering og hodebevegelser som inndatametoder, og en rekke applikasjoner fra kartlegging til tekstmeldinger er under prototype. Virtuelle møterom og 360-graders videoavspilling er også konsepter som utforskes.

Trodde det var første rykter av en lansering i 2020 , Bloomberg tror AR-briller kunne komme er år unna utgivelsen, med VR-headsettet som kommer ut i 2022. En rapport fra DigiTimes antydet at Apples AR-briller vil lanseres i 2021, og Apple-analytiker Ming-Chi Kuo forventer en lansering i 2022 tidligst .

Lekker Jon Prosser tror Apple vil avduke sine AR-briller i mars eller juni 2021, men dette virker unøyaktig gitt estimater fra Bloomberg og Kuo.

Prosser sier også at Apple jobber med en begrenset utgave 'Steve Jobs Heritage'-versjon av de smarte brillene som er designet for å se ut som de runde, rammeløse brillene som Steve Jobs pleide å bruke, men Bloomberg 's Mark Gurman har kalt dette ryktet 'komplett fiksjon'.

Apple er jobber med TSMC å utvikle 'ultra-avanserte' mikro-OLED-skjermer som skal brukes i Apples kommende utvidede virkelighetsenheter som smartbrillene. Skjermene sies å være mindre enn én tomme store.

Micro OLED-skjermer bygges direkte på chipwafere i stedet for et glasssubstrat, noe som resulterer i skjermer som er tynnere, mindre og mer strømeffektive. Utvikling på mikro OLED-skjermer sies å være i prøveproduksjonsstadiet, og det vil ta flere år før Apple og TSMC er klare for masseproduksjon, noe som vil gjøre disse skjermene passende for Apple-brillene som ryktes å lanseres en gang rundt 2023.

Fra begynnelsen av 2021, Apple sies å være går inn i en 'andre utviklingsfase' på en prototype av augmented reality-briller. Brillene er satt til å gå gjennom en tredje fase av utviklingen om noen måneder, og når prototypedesignet er fullført, vil den bærbare enheten gå gjennom en seks til ni måneders periode med ingeniørverifisering.

iOS 14 AR-lekkasjer

Kode og bilder funnet i iOS 14 bekrefte Apples arbeid med et AR- eller VR-headset, med et oppdaget bilde som viser en kontroller som ser generisk ut for et headset som ligner på HTC Vive Focus-headsettet. Apple har brukt HTC Vive-maskinvare til interne testformål.

Apple tester AR-utstyret sitt med en iOS 14-app kalt Gobi sammen med QR-koder for å teste augmented reality-opplevelser. En av disse utvidede virkelighetsopplevelsene er et crosswalk-bowlingspill som utløses ved et bestemt crosswalk i Sunnyvale, California.

AR i Xcode

Koden i Xcode 11 bekrefter Apples arbeid på en slags AR-headset. Det er referanser til kodenavnte testenheter pluss rammeverk og et systemskall relatert til disse enhetene. Referansene antyder at Apple utvikler støtte for en ansiktsmontert AR-opplevelse som ligner på Googles Daydream.

Ventilpartnerskap?

I følge taiwansk nettsted DigiTimes , samarbeider Apple med spillutvikler Valve for det ryktede AR-headsettet. Valve ga ut sitt første VR-headset, Valve Index, i april 2019.

Valve har tidligere jobbet med Apple for å bringe innfødt VR-hodesettstøtte til macOS High Sierra, og utnyttet eGPU-støtten med en Mac-versjon av SteamVR-programvaren.

Andre rykter

I november 2017 kjøpte Apple Vrvana , et selskap som utviklet et mixed reality-headset kalt Totem. Vrvanas teknologi kan potensielt brukes i et fremtidig Apple-headset. Apple fulgte kjøpet av Vrvana med et oppkjøp av Akonia Holographics , et selskap som lager linser for AR-smartbriller.

Ryktene har også antydet at Apple kan inkorporere sin utvidede virkelighet-forskning i det pågående bilprosjektet som en del av et programvaresystem i bilen som kan inkludere en heads-up-skjerm eller andre funksjoner.

Merk: Ser du en feil i denne sammendraget eller vil du gi tilbakemelding? .

Augmented Reality vs. Virtual Reality

Augmented reality (AR) og virtuell virkelighet (VR) er lignende teknologier, men det er en stor forskjell mellom dem, og deres potensielle applikasjoner varierer mye. Virtuell virkelighet refererer til en fullstendig oppslukende opplevelse i en virtuell verden, mens utvidet virkelighet refererer til et modifisert syn på den virkelige verden.

Forskjellen kan kanskje best oppsummeres ved en sammenligning mellom to produkter, en AR og en VR. Google-briller , Googles nå nedlagte sett med smarte briller, er et eksempel på utvidet virkelighet. Google-glasset lar brukere se verden slik den er, men den tilbød en heads-up-skjerm som la relevant datalevert informasjon over det virkelige verdensbildet, for eksempel lokalt vær, kart og varsler.

Dette ligner på det Apple sies å jobbe med med sine ryktet 'smarte briller'.

Til sammenligning Facebooks Oculus rift er et virtuell virkelighetshodesett som tilbyr en oppslukende visuell opplevelse som ikke forsterker den virkelige verden med ekstra sensorisk informasjon – det erstatter den virkelige verden med en simulert verden.

Augmented reality gir datagenerert kontekst og informasjon om verden rundt oss samtidig som vi kan samhandle med omgivelsene våre, mens virtuell virkelighet er designet for å isolere oss fra omgivelsene våre slik at vi kan samhandle med fiktive verdener.

hva er vannlås på Apple Watch

Potensielle bruksområder for de to er vidt forskjellige. Virtuell virkelighet er enestående fokusert på oppslukende innholdsforbruk fordi det får brukeren til å føle seg som om de faktisk opplever hva som skjer i den simulerte verden gjennom visuell, taktil og lydtilbakemelding. Virtuell virkelighet er i stor grad knyttet til spill akkurat nå, men den har også potensial til å gjenskape virkelige opplevelser for utdannings- eller treningsformål.

Augmented reality avhenger ikke av oppslukende innhold, og selv om det er mindre spennende fordi det forsterker virkeligheten i stedet for å erstatte det, har det et bredere spekter av potensielle bruksområder. Faktisk er apper og spill med utvidet virkelighet lett tilgjengelig i iOS 11 takket være ARKit.

Med ARKit er en iOS-enhet i stand til å identifisere en overflate som en tabell, og deretter kan virtuelle objekter legges til den. På grunn av datakraften til iPhone og iPad, er ARKits utvidede virkelighetsfunksjoner imponerende. ARKit blir allerede brukt til å lage et stort utvalg apper og spill, som blander digitale objekter med den virkelige verden.

spille

Apple kan sikte på et produkt som fungerer med både utvidet og virtuell virkelighet, som antydet av nylige rykter som indikerer arbeid på et AR/VR-headset. Et slikt produkt kan brukes til seriøse virtual reality-applikasjoner så vel som utvidede virkelighetsopplevelser, og det vil ligne på Microsoft HoloLens.

Apples VR/AR-team

Apples arbeid med virtuell og utvidet virkelighet går tilbake flere år, men ryktene tok seg opp fra mars 2015 da nyhetene kom om at Apple hadde et lite team med mennesker som jobbet med utvidet virkelighet. I 2015 og tidlig i 2016 vokste Apples team ettersom selskapet ansatte ansatte med ekspertise innen AR/VR-teknologi og gjorde flere relaterte oppkjøp.

Apples AR/VR-team inkluderer flere hundre ingeniører fra hele Apple, som alle har ekspertise innen virtuell og utvidet virkelighet. Teamet jobber på tvers av kontorparker i både Cupertino og Sunnyvale, og Apple utforsker flere maskinvare- og programvareprosjekter under kodenavnet 'T288.'

Apples augmented reality-team kombinerer 'styrken til sine maskinvare- og programvareveteraner', og ledes av Mike Rockwell, som kom fra Dolby. Tidligere ansatte i selskaper som Oculus, HoloLens, Amazon (fra VR-teamet), 3D-animasjonsselskapet Weta Digital og Lucasfilm jobber med AR hos Apple.

Tidligere Apples maskinvareingeniørsjef Dan Riccio i januar 2021 gikk over til en ny rolle hvor han er overvåke Apples arbeid på et AR/VR-headset. Prosjektet har møtt utviklingsutfordringer, og Apple-sjefer tror at Riccios fokus kan hjelpe.

Ansetter

En av Apples mest fremtredende AR/VR-ansatte var professor i informatikk Doug Bowman, som tidligere ledet Virginia Techs senter for menneske-datamaskin-interaksjon. Han spesialiserer seg på tredimensjonal brukergrensesnittdesign og har skrevet en bok om emnet som dekker 3D-grensesnitt og fordelene med oppslukende virtuelle miljøer. Han har ekspertise på både virtuell og utvidet virkelighet.

Apple har også ansatt ansatte som har jobbet med virtuelle eller utvidede virkelighetsprodukter hos Microsoft og Lytro. Noen nylige ansettelser sies å være fra Microsofts HoloLens-team, mens andre jobbet i Lytro, et selskap som jobber med et kamera som kan blande live action og datagrafikk for en live action VR-opplevelse. Ansatte som kommer fra HoloLens-teamet vil ha erfaring med å lage et avansert augmented reality-headset.

Lytro Immerge 360-graders kamera

Zeyu Li , som fungerte som en rektor for datasynsingeniør hos Magic Leap (en oppstart som utvikler en hodemontert AR/VR-skjerm), jobber nå hos Apple som en 'Senior Computer Vision Algorithm Engineer'.

Yury Petrov , en tidligere forsker ved Facebook-eide Oculus, fungerer nå som 'forskningsforsker' hos Apple. I følge hans LinkedIn-profil studerte Petrov virtuelle virkelighetsopplevelser, prototypeoptikk og utviklet datasimuleringsprogramvare.

Augmented reality-ekspert Jeff Norris begynte i Apple i april 2017 som seniorleder som jobber med selskapets augmented reality-team. Norris grunnla Mission Operations Innovation Office og JPL Ops Lab ved NASA. Han ledet flere prosjekter fokusert på interaksjon mellom menneske og system med vekt på virtuell og utvidet virkelighet.

Apple ansatte i mai 2018 2018 Sterling Crispin , som utviklet en maleapp for mobile VR-headset. 'Cyber ​​Paint' lar brukere av VR-hodesett lage 2D 260-gradersbilder på Oculus Go, Daydream, GearVR og Vive Focus. Crispins LinkedIn-side sier at han jobber som en 'prototypingforsker', noe som tyder på at han har sluttet seg til teamet som ryktes å jobbe med VR/AR-headsetteknologi.

Apple ansatte i desember 2018 tidligere senior Tesla og Microsoft HoloLens-designer Andrew Kim, og gitt hans historie kan han jobbe med Apples ryktede AR-brilleprosjekt eller dens kommende Apple-bil som sies å være under utvikling.

Jaunt VR-gründer Arthur van Hoff begynte i Apple som seniorarkitekt i april 2019. Før han jobbet i Apple, hans firma laget VR-maskinvare , inkludert et 0 000 3D VR-kamera kalt Jaunt One. Før van Hoff forlot selskapet, mislyktes Jaunt og gikk over til AR-opplevelser.

Med Apples team som omfatter hundrevis av ansatte, er det mange andre ansettelser av virtual reality-eksperter som har gått under radaren. På LinkedIn er det flere programvareingeniører med virtuell virkelighetserfaring som er ansatt av Apple, men det er uklart om de jobber på det hemmelige AR/VR-teamet.

Apple flyttet i juli 2019 Kim Vorrath, en av sine programvareledere, over til hodesettet med utvidet virkelighet divisjon for å 'bringe litt orden' på laget. Vorrath har hatt tilsyn med programadministrasjonen i programvareutviklingsteamet i 15 år, og har blitt beskrevet som en 'mektig kraft' som sørger for at ansatte overholder tidsfrister, samtidig som de løser feil.

Oppkjøp

Mange medlemmer av Apples AR/VR-team kan ha sluttet seg til selskapet gjennom oppkjøp. Siden 2015 har Apple kjøpt flere selskaper som skapte AR/VR-relaterte produkter, og noen av AR/VR-oppkjøpene går til og med flere år tilbake.

Apple kjøpte i august 2018 Akonia Holographics , en oppstart som lager linser for augmented reality-briller. Akonia Holographics annonserer 'verdens første kommersielt tilgjengelige volumholografiske reflekterende og bølgelederoptikk for gjennomsiktige skjermelementer i smarte briller.'

Skjermene den lager sies å bruke selskapets HoloMirror-teknologi for 'ultraklar, fullfargeytelse' for å aktivere de 'tynneste, letteste skjermene som bæres på hodet i verden.'

I november 2017 kjøpte Apple Vrvana , et selskap som utviklet et mixed reality-headset kalt Totem. Totem, som aldri ble utgitt for publikum, ble designet for å kombinere både utvidet og virtuell virkelighetsteknologi i et enkelt hodesett, og slå sammen fulle VR-funksjoner med gjennomgangskameraer for å aktivere skjermbaserte utvidede virkelighetsfunksjoner.

Totem brukte i hovedsak et sett med kameraer for å projisere bilder fra den virkelige verden inn i sin innebygde 1440p OLED-skjerm, en noe unik tilnærming som skiller den fra konkurrerende produkter som Microsofts HoloLens, som bruker en gjennomsiktig skjerm for å kombinere virtuell og utvidet virkelighet. Apple planlegger kanskje å bruke noe av Totems teknologi i et fremtidig produkt.

Apple kjøpte det israelsk-baserte 3D-kroppssensorfirmaet PrimeSense i 2013, noe som utløste spekulasjoner om at bevegelsesbaserte funksjoner ville bli implementert i Apple TV. PrimeSenses 3D-dybdeteknologi og bevegelsessensorfunksjoner ble brukt i Microsofts første Kinect-plattform.

PrimeSense brukte nær-IR-lys for å projisere et usynlig lys inn i et rom eller en scene, som deretter leses av en CMOS-bildesensor for å lage et virtuelt bilde av et objekt eller en person. Dette muliggjør bevegelsesbaserte kontroller for programvaregrensesnitt, men det er også i stand til å gjøre ting som å måle virtuelle objekter og gi relative avstander eller størrelser, nyttig for utvidet virkelighet-applikasjoner som interaktive spill, innendørskartlegging og mer. PrimeSense-teknologien kan også lage svært nøyaktige 360 ​​graders skanninger av mennesker og objekter, potensielt nyttig for virtual reality-applikasjoner.

Apple kjøpte augmented reality-oppstarten Metaio i mai 2015. Metaio bygde et produkt kalt Metaio Creator, som kunne brukes til å lage scenarier for utvidet virkelighet på bare noen få minutter. Før den ble kjøpt av Apple, ble Metaios programvare brukt av selskaper som Ferrari, som opprettet et utvidet reality-showroom.

Metaio-teknologi ble også brukt i Berlin for å la folk som besøkte stedet for Berlinmuren bruke en smarttelefon eller nettbrett for å se hvordan området så ut da Berlinmuren fortsatt sto. Metaios teknologi er en teknologi som potensielt kan brukes til å implementere utvidede virkelighetsfunksjoner i Apple-apper som Maps.

Apple kjøpte Faceshift i august 2015, og markerte sitt andre kjøp av utvidet virkelighet i 2015. Før Faceshift ble kjøpt opp av Apple, jobbet Faceshift med spill- og animasjonsstudioer på teknologi utviklet for raskt og nøyaktig å fange ansiktsuttrykk ved hjelp av 3D-sensorer, og transformere dem til animerte ansikter i sanntid. Faceshift jobbet også med et forbrukerorientert produkt som ville tillate folk å forvandle ansiktene sine til tegneserie- eller monsteransikter i sanntid i Skype.

Faceshifts teknologi har et bredt spekter av mulige brukstilfeller, og Apple ser ut til å bruke funksjonen til å drive Animoji i iPhone X.

Emotient, et selskap som bygde verktøy for analyse av ansiktsuttrykk, ble kjøpt opp av Apple i januar 2016. Emotients teknologi bruker kunstig intelligens og maskinlæring for å lese menneskelige følelser, funksjoner som har blitt brukt i den virkelige verden av annonsører for å bestemme emosjonelle reaksjoner på annonser.

Det er dusinvis av ting Apple kan gjøre med Emotient, alt fra bedre ansiktsgjenkjenning i Photos-appen til å analysere kundefølelser i Apple-butikker til å låse opp iOS-enheter, men den har også potensielle AR/VR-bruk. I likhet med Faceshift kan Emotients teknologi brukes til å analysere og transformere ansiktsuttrykk for å lage virtuelle avatarer, nyttig for sosiale medier og spill. Emosjonell teknologi ble sannsynligvis brukt for Animoji.

Flyby Media ble kjøpt tidlig i 2016 og er et annet selskap som jobbet med utvidet virkelighet. Fly forbi opprettet en app som fungerte med Googles 3D-sensorutstyrte 'Project Tango'-smarttelefon, slik at meldinger kan festes til objekter fra den virkelige verden og ses av andre med en av Googles enheter.

For eksempel kan en person 'skanne' et landemerke som San Franciscos Golden Gate Bridge og skrive en melding knyttet til den. En person som besøker broen senere vil da kunne skanne broen med Flyby-appen for å se meldingen. Flyby-appen trakk sannsynligvis oppmerksomheten til Apple fordi den var i stand til å gjenkjenne og forstå forskjellige objekter som ble skannet, teknologi som kunne brukes av Apple på en rekke måter i apper som Bilder og kart.

I februar 2017 kjøpte Apple RealFace , et cybersikkerhets- og maskinlæringsselskap som spesialiserer seg på ansiktsgjenkjenningsteknologi, som potensielt kan brukes til fremtidige funksjoner for utvidet virkelighet.

RealFace utviklet ansiktsgjenkjenningsteknologi som integrerer kunstig intelligens for friksjonsfri ansiktsgjenkjenning. Realface-teknologi ble sannsynligvis brukt i iPhone X , Apples første smarttelefon med funksjoner for ansiktsgjenkjenning i form av Face ID.

Apple i mai 2020 kjøpte NextVR , et California-basert selskap som kombinerte virtuell virkelighet med sport, musikk og underholdning, og tilbyr VR-opplevelser for å se live-arrangementer på VR-headset fra PlayStation, HTC, Oculus, Google, Microsoft og andre produsenter.

Apple i august 2020 kjøpte VR-startup Spaces , et selskap som utviklet virtuelle virkelighetsopplevelser som folk kunne oppleve i kjøpesentre og andre steder, for eksempel 'Terminator Salvation: Fight for the Future.' Spaces skapte også virtuelle virkelighetsopplevelser for videokommunikasjonsapper som Zoom, som er noe som Apple potensielt kan inkorporere i et fremtidig AR/VR-produkt.

AR / VR-patenter

Apple har søkt om flere patenter som er direkte knyttet til et virtual reality-headset, alle går tilbake flere år. Selv om teknologien sannsynligvis har avansert noe utover disse, gir de et interessant blikk på ideene Apple har utforsket tidligere.

En patentsøknad fra 2008 dekket et ganske grunnleggende 'personlig visningssystem' designet for å etterligne opplevelsen av å være i en kinosal når du ser på video.

Et annet patent beskrev et 'hodemontert displaysystem' med en 'lasermotor' som projiserte bilder på en klar glassskjerm som bæres over øynene, som ligner på briller. I denne konfigurasjonen koblet hodesettet til en håndholdt videospiller som en iPod for å gi prosessorkraft.

Et tredje patent som opprinnelig ble søkt om i 2008, var likt i design, og dekket et brillelignende videohodesett designet for å la brukere se filmer og annet innhold. Den skisserte to justerbare optiske moduler på linje med brukerens øye, som kunne gi synskorreksjon og tillate visning av 3D-innhold. Apple beskrev dette som å tilby en personlig medieopplevelse.

TIL fjerde patent fra 2008 dekket en videoheadsetramme som ligner på Google Glass, som ville tillate en bruker å skyve sin iPhone eller iPod inn i headsettet for å gi video. Headsettet ble beskrevet som et augmented reality-produkt som ville la brukere gjøre ting som å se en video eller sjekke e-post mens de holder øye med omgivelsene.

Utover hodesettrelaterte patenter, har Apple også søkt om patenter som beskriver andre måter virtuelle og utvidede virkelighetsfunksjoner kan implementeres på enhetene sine. En patentsøknad fra 2009 dekket for eksempel kamerautstyrte 3D-skjermer som ville skifte i perspektiv basert på en brukers relative posisjon.

En slik skjerm vil oppdage hodebevegelser, slik at en bruker kan bevege hodet rundt for å se på et 3D-bilde fra forskjellige vinkler, samtidig som de inkluderer elementer fra brukerens miljø.

Patenter fra 2010 og 2012 beskrev bruken av bevegelsessensorer for å lage et 3D-grensesnitt for iOS-enheter ved bruk av augmented reality-teknikker. Apple beskrev grensesnittet som et 'virtuelt rom' som ble navigert ved å manipulere enhetens orientering gjennom innebygde sensorer eller gjennom bevegelser.

I 2011 søkte Apple patent på en utvidet virkelighetsfunksjon i Maps-appen knyttet til kartlegging av avstanden til bemerkelsesverdige landemerker. Med kameraet kunne en bruker se på området rundt seg og få sanntidsanslag av avstanden mellom to punkter sammen med overlegg av relevant informasjon.

Et patent innlevert i 2014 og gitt i 2017 dekker et mobilt utvidet virkelighetssystem som er i stand til å oppdage objekter i miljøet og overlegge dem med virtuell informasjon ved bruk av kameraer, en skjerm og et brukergrensesnitt. Apple beskriver systemet som ideelt for en hodemontert skjerm, men det viser også at det brukes i smarttelefoner.

Apple har jobbet med virtual reality-teknologi som kan være det brukes i autonome kjøretøy . Flere Apple-patenter beskriver et system som inkluderer et virtuell virkelighetssystem i bilen med et VR-headset som bæres for å gi underholdning og for å dempe bilsyke fra oppgaver som lesing og arbeid mens et kjøretøy er i bevegelse.

TIL juli 2020 patentsøknad dekker mulige inndatametoder med Apple Glasses, og beskriver et system der brillene bruker infrarød varmeføling for å oppdage når noen berører et objekt fra den virkelige verden, slik at brillene deretter kan projisere kontroller på en overflate i den virkelige verden.

Med denne metoden kan Apple-brillene projisere i AR-kontrollgrensesnittet på et hvilket som helst faktisk objekt i den virkelige verden for en effekt av blandet virkelighet.

Apple i februar 2021 innlevert en rekke patenter relatert til arbeidet med et ryktet blandet virkelighetshodesett, med patentene som dekker designelementer, linsejustering, øyesporingsteknologi og programvare.

Apple har utviklet flere metoder for å gjøre et hodesett mer behagelig å ha på seg, samtidig som det holder det sikkert og blokkerer lys, pluss at det er et detaljert linsejusteringssystem som bruker væske til sømløst å skifte linsene for å tilpasse passformen for hver bruker.

Apple beskriver også et øyesporingssystem som bruker infrarødt lys for å oppdage posisjon, og det er også patent på hvordan dokumenter kan kunne redigeres i et virtuelt 3D-rom ved hjelp av hodesettet og gestdeteksjon.

Apple har patenterte systemer for opptak av video fra et hodesett, der innebygde blikksporingssensorer kan gi en indikasjon på hvor en person ser for øyeblikket, som kan styre et innebygd kamera til å ta opp scenen der brukerens øyne er plassert, i stedet for bare å ta opp hva som er foran brukeren.

Nok en patentsøknad arkivert i februar 2021 viste at Apple forsker på en fingermontert enhet med en rekke sensorer og haptisk tilbakemelding som skal brukes som en kontrollenhet for et hodesett med blandet virkelighet.

Kontrollenheten har en form som gjør at brukere kan føle gjenstander i omgivelsene på en naturlig måte og nøyaktig kan fastslå måten brukeren beveger fingeren på og samhandler med overflater. Systemet sies å være så nøyaktig at det kan oppdage hvor hardt en bruker trykker på en overflate og den nøyaktige retningen til denne kraften, og levere haptisk tilbakemelding som svar.

Sammen med et AR- eller VR-headset sier Apple at denne fingermonterte enheten kan 'gi en bruker følelsen av å samhandle på et fysisk tastatur når brukeren trykker med fingeren på en bordflate' eller 'tillate en bruker å levere joystick' -type input' for spill ved bruk av kun bevegelsen av brukerens fingertupper.

Lanseringsdato

Apple-analytiker Ming-Chi Kuo sa i oktober 2021 at det kommende mixed reality-hodesettet har blitt forsinket tidligst til slutten av 2022, med produksjonsstart i fjerde kvartal 2022.

Bloomberg tror også AR/VR-headsettet som Apple jobber med vil komme ut i 2022, mens AR-brillene som er under utvikling vil komme ut på et senere tidspunkt. Informasjonen har foreslått at et AR/VR-headset vil bli utgitt i 2022, etterfulgt av smarte briller i 2023, men dette er en tidligere tidslinje enn andre kilder har antydet for brilleproduktet.

Apple er angivelig på etterskudd med å teste for de smarte brillene som er under arbeid, noe som kanskje kan føre til forsinkelser. Apple skulle gå inn i den andre fasen av utviklingen av brillene tidlig i 2021, men fase to-testing har ennå ikke startet, så volumproduksjonen i første kvartal 2022 er ikke forventet .

Morgan Stanley-analytikere sa nylig at AR-hodesettet 'nærmer seg opptur' basert på antall patenter Apple har publisert. Analytikerne mener at Apples patentportefølje for AR/VR-headsettet er lik patentporteføljen den bygde i forkant av lanseringen av Apple Watch.

Fremtidige AR/VR-planer

Apple-analytiker Ming-Chi Kuo tror at Apple kan planlegge «kontaktlinser» med utvidet virkelighet kunne lansere en gang på 2030-tallet.

Ifølge Kuo vil linsene bringe elektronikk fra epoken med 'synlig databehandling' til 'usynlig databehandling.' Det er 'ingen synlighet' for kontaktlinsene for øyeblikket, og det er ikke et garantert produkt som Apple vil utvikle.