AR piano – een nieuw leerfenomeen
Zeker de moeite waard om te zien: een tweet van Fayez Salka – arts, softwareondernemer, 3D-artiest en muzikant – laat zien hoe hij AR(augmented reality)-technologie gebruikt om een virtuele pianist op een echte piano tot leven brengt. Kijk zelf maar:
️?
Augment Reality voor muzikanten – heel indrukwekkend
In de video wandelt de vindingrijke Salka door een pianowinkel. Hij richt zijn smartphonecamera op verschillende piano’s. Onmiddellijk verschijnt een AR-pianist op het scherm en begint verschillende nummers van bekroonde pianisten te spelen. In realtime scrollen de notaties over de onderkant van het scherm.
U bekijkt momenteel inhoud van een plaatshouder van X. Klik op de knop hieronder om de volledige inhoud te bekijken. Houd er rekening mee dat u op deze manier gegevens deelt met providers van derden.
Nauwkeurige toetsherkenning, zelfs zonder 3D dieptecamera
De app herkent de piano inclusief de noten van het klavier. Het bepaalt de driedimensionale positie en oriëntatie van de piano in een 3D-ruimte. Dit gebeurt met een precisie tot 1 centimeter. Dit wordt uitgevoerd door alleen naar elk afzonderlijk frame te kijken, 3D dieptecamera’s zijn niet nodig.
Deze nauwkeurige positionering is belangrijk zodat de virtuele pianist precies op de piano kan worden uitgelijnd en visueel kan worden gesuperponeerd. Het interessante hiervan is dat dit, dankzij het zelflerende algoritme, met elk pianomodel van elk merk werkt. Zelfs de lichtomstandigheden zijn niet relevant. Het is niet nodig om speciale beeldpunten of beeldmarkeringen in te stellen. Ook hoeft de piano niet vooraf gescand te worden. Ongelofelijk!
Nu in de App Store
De app is nu beschikbaar in de iOS App Store. Fayez Salka en zijn zakenpartner Anas Wattar van Massive Technologies Inc. uit Montréal hebben de laatste bugs van het virtuele wonder opgelost en online beschikbaar gemaakt voor anderen. Waarschijnlijk moet er nog creatief worden gebrainstormd, met name waarvoor de app gebruikt zou kunnen worden. De toekomst is spannend!
from www.massivetechnologies.ca
Beleef pianomuziek opnieuw op smartphones en mobiele apparaten
In de huidige staat ziet de creatieve laterale denker de app als een uitstekend hulpmiddel om pianomuziek op de smartphone op een geheel nieuwe manier te ervaren. Dit is echt iets bijzonders, een compleet nieuwe benadering met tot nu toe onvoorstelbare scenario’s om een instrument te leren bespelen. In verdere ontwikkelingen zou de app veel meer gebieden in de muziek en een verscheidenheid aan instrumenten kunnen dekken.
A screenshot of “Drum Machina” from massivetechnologies.ca
Een nieuwe ontwikkelingsstap in de AI-sector van de muziek
Om het bot te zeggen: Een nieuwe stap in de ontwikkeling van AI (kunstmatige intelligentie) wordt hier gezet. Waar muziek die niet met de hand werd gemaakt voorheen beperkt was tot het gebruik van playback, sequenties en dergelijke, wordt het oude concept nu volledig op zijn kop gezet: je richt je smartphone simpelweg op een piano en het hele proces neemt plaats.
Virtuele leraars
Wat je zou willen leren spelen, wordt op een absoluut directe en visueel begrijpelijke manier gespeeld. Het is echter niet de “kunstmatige” piano die speelt, maar een virtuele iemand. Zo kun je een persoonlijke relatie met je smartphone opbouwen. Eindelijk een AR-app met enorm potentieel voor ambitieuze jonge muzikanten.
Waar zou deze technologie mogelijk toe kunnen leiden?
Laten we onszelf niet voor de gek houden, want ondanks alle uitgebreide functionaliteit is deze app ook nog maar het begin. Het is niet ondenkbaar dat dit niet alleen een fascinerende optische gimmick is, maar eerder een didactische stap in de toekomstige wereld van de muziek voor bijna alle instrumenten. Het is een grappige gedachte dat je je muziekleraar in de nabije toekomst permanent in je broekzak zou kunnen hebben. Een klein verzoek met een simpele toetsaanslag of stemcommando; hij/zij zal de volgende les voor je spelen. Zo vaak als je wilt, en met constante perfectie, totdat je alles hebt begrepen.
Veel ideeën nog in de oven
Voor Salka is het project als hobby begonnen. Ondertussen is de samenwerking met Massive Technologies zijn hoofdtaak geworden. En het is al duidelijk dat er nog veel moet gebeuren. Fayez meldt dat sommige ideeën nog in de oven koken, we zijn benieuwd en zullen de ontwikkelingen met veel plezier volgen. Om het potentieel te illustreren: een oudere app van Massive Technologies heet Piano 3D en heeft meer dan 7 miljoen downloads…
U bekijkt momenteel inhoud van een plaatshouder van Youtube. Klik op de knop hieronder om de volledige inhoud te bekijken. Houd er rekening mee dat u op deze manier gegevens deelt met providers van derden.
Hieronder vind je links naar alle apps van Massive Technologies tot nu toe:
Een Reactie
Geef een reactie
U bekijkt momenteel inhoud van een plaatshouder van Facebook. Klik op de knop hieronder om de volledige inhoud te bekijken. Houd er rekening mee dat u op deze manier gegevens deelt met providers van derden.
Meer informatieU bekijkt momenteel inhoud van een plaatshouder van Instagram. Klik op de knop hieronder om de volledige inhoud te bekijken. Houd er rekening mee dat u op deze manier gegevens deelt met providers van derden.
Meer informatieU bekijkt momenteel inhoud van een plaatshouder van X. Klik op de knop hieronder om de volledige inhoud te bekijken. Houd er rekening mee dat u op deze manier gegevens deelt met providers van derden.
Meer informatie
3Dmaster schreef:
Bij augmented reality speelt de kwaliteit van 3D-modellen altijd een belangrijke rol. Moderne technologie stelt ontwerpers in staat 3D-modellen te maken die zo gedetailleerd zijn dat ze in AR niet van de werkelijkheid te onderscheiden zijn. Zo hebben de makers van een 3D-model van een piano https://hum3d.com/de/3d-models/grand-piano/ er uren over gedaan om een exacte replica van een echte piano te maken.