Piano ja tekoäly: Uusi ilmiö

Tämä on pakko nähdä: Fayez Salkan (fyysikko, ohjelmisto- ja 3D-artisti) twiitti näyttää, miten hän käyttää lisättyä todellisuutta (AR = augmented reality) tuodakseen virtuaalisen pianistin eloon soittamaan oikeaa pianoa. Ja meno muuttuu siitä vain hullummaksi! Katso itse ja lue lisää alta.

️?

Lisätty todellisuus muusikoille – Mahtavaa!

Videossa Salka kulkee pianokaupan läpi. Hän osoittaa puhelimen kameralla erilaisia pianoja, kunnes animoitu pianisti hyppää ruudulle pianon taakse ja alkaa soittaa tunnettujen pianistien erilaisia kappaleita. Kaikki tämä tapahtuu reaaliajassa ja nuotit liukuvat kuvaruudun alaosassa.

Tarkka koskettimien tunnistus ilman 3D kameraa

Applikaatio tunnistaa pianon ja sen koskettimiston ja määrittää pianon kolmiulotteisen paikan 3D-tilassa. Tämä kaikki tehdään jopa 1 senttimetrin tarkkuudella ja ainoastaan katsomalla jokaista framea, jolloin 3D-kameroita ei tarvita.

Tämä tarkka positiointi on tärkeää, jotta virtuaalinen pianisti voidaan asettaa visuaalisesti oikein juuri oikeaan paikkaan pianon ääreen. Mielenkiintoista on se, että applikaation itseoppivan algoritmin ansiosta tämä toimii minkä tahansa brändin millä tahansa pianomallilla. Jopa valon määrä on merkityksetön eikä sinun tarvitse asettaa erillisiä kuvapisteitä tai merkkejä. Pianoa ei myöskään tarvitse skannata millään tavalla etukäteen. Huippua!

Nyt saatavana App Storesta

Applikaatio on nyt ladattavissa iOS App Storesta. Fayez Salka ja hänen liikekumppaninsa Anas Wattar yrityksestä Massive Technologies Inc. ovat eliminoineet viimeiset bugit tästä virtuaalisesta ihmeestä ja ladanneet sen nettiin muiden iloksi. Saa nähdä mihin kaikkeen sitä voisi tulevaisuudessa käyttää!

from www.massivetechnologies.ca

Koe pianomusiikki uudella tavalla älypuhelimissa ja muissa mobiililaitteissa

Luova ajattelija voi nähdä applikaation loistavana työkaluna pianomusiikin kokemiseen älypuhelimella täysin uudella tavalla. Tämä on todellakin jotain spesiaalia ja täysin uusi lähestymistapa instrumentin soittamisen opetteluun. Pidemmälle kehitettynä applikaatio voisi valloittaa paljon myös muitakin musiikin osa-alueita ja eri soittimia.

Kuvakaappaus “Drum Machinasta” | massivetechnologies.ca

Uusi kehitysaskel musiikin tekoälysektorilla

Tämä on yksi uusista ja suurista askelista tekoälyn kehittämisessä. Kun “ilman käsiä” tehty musiikki oli ennen rajattu taustanauhojen, sekvenssien yms. käyttöön niin näiden konsepti on nyt käännetty ylösalaisin: Voit vain yksinkertaisesti osoittaa pianoa älypuhelimesi kameralla ja prosessi alkaa.

Oppia “virtuaalisilta ihmisiltä”

Applikaatio soittaa sinulle todella suoralla ja visuaalisesti ymmärrettävällä tavalla juuri sitä, mitä haluaisit oppia. Piano ei kuitenkaan ole “keinotekoinen” vaan sitä soittaa virtuaalinen ihminen, joten voit luoda ns. “henkilökohtaisen suhteen” älypuhelimesi kanssa. Viimeinkin on saatavana applikaatio, jolla on todella suuri potentiaali kunnianhimoisille nuorille muusikoille!

Mihin tämä teknologia voi johtaa?

Ei pidä tietenkään huijata itseään, vaikka sen kattavasta toimivuudesta huolimatta tämä applikaatio on vain alkusoittoa. On mahdollista, että tämä ei ole vain hieno optinen kikka vaan enemmänkin opettavainen askel musiikin tulevaisuuden maailmaan lähes kaikilla soittimilla. On hauska ajatella, että lähitulevaisuudessa voisit pitää musiikin opettajaasi aina taskussasi. Vain pieni napin painallus tai äänikomento ja opettaja voisi pitää sinulle seuraavan oppitunnin. Ja tämä kaikki olisi mahdollista toistaa niin monta kertaa kuin haluat, kunnes olet ymmärtänyt kaiken.

Paljon ideoita uunissa

Salkalle projekti alkoi harrastuksena ja myöhemmin yhteistyö Massive Technologiesin kanssa muutti harrastuksen kokopäiväiseksi työksi. Ja on selvää, että lisää on tulossa. Fayez sanoo, että jotkut ideat ovat vieläkin kypsymässä ja odotammekin innolla mitä tuleman pitää.

Applikaation potentiaalin näyttämiseksi: Massive Technologiesin vanhempaa applikaatiota nimeltä Piano 3D on ladattu jo yli 7 miljoonaa kertaa…

Alta löydät linkkejä kaikkiin Massive Technologiesin kehittämiin applikaatioihin:

Tommi aloitti rumpujen soiton 12 vuoden iässä. Hän tykkää myös soittaa "iltanuotiokitaraa" ja nauttii kaikesta musiikista avoimin mielin. Groovaus ja fiilis on Tommille tärkeintä.

Näytä kaikki Tommin blogipostaukset