Il trasferimento dei dati attraverso il bus richiede un certo tempo: esiste un ritardo tra il momento in cui la scheda audio fornisce un valore di campionamento e il momento in cui questo giunge al programma (trasmesso dal driver) o viceversa. Tale ritardo è noto come latenza.
Le cose sono complicate dal fatto che devono esserci regole severe per designare chi può inviare cosa sul bus e quando, in modo che nulla vada perso o confuso. Tutto ciò richiede una certa potenza di calcolo. È altresì necessario prevedere una riserva di sicurezza per la trasmissione seriale di FireWire e USB, che può intercettare l'interruzione del flusso dati entro certi limiti. A questo scopo vengono interposti i cosiddetti buffer di campionamento, che mantengono sempre disponibile una certa quantità del flusso di dati per evitare ogni interruzione. Questi buffer aumentano la latenza (i valori abituali sono compresi tra 64 e 512 campioni). Il vantaggio dato dal PCI consiste nel fatto che, grazie alla trasmissione parallela e all'elevata velocità di trasferimento dei dati, il buffer può essere generalmente impostato più corto rispetto alle interfacce USB o Firewire, riducendo così la latenza.
Non è solo il trasferimento dei dati a essere soggetto a latenza: anche i componenti ADC e DAC richiedono una certa quantità di tempo per la conversione, che si aggira tra 1 ms e 1,5 ms - valore certamente basso ma che pur necessita di essere preso in considerazione. L'ultimo dei problemi di latenza è il software audio o il processore del computer: deve essere in grado di calcolare così rapidamente che il valore successivo per la conversione arrivi alla scheda audio entro il tempo di buffer dell'intero sistema o possa essere recuperato dalla scheda durante la registrazione. Nel caso di un vuoto i convertitori non avrebbero le informazioni necessarie o il campione della registrazione successiva non sarebbe salvato, il che genera lo stesso risultato in entrambi i casi: un suono gracchiante.
Un'ulteriore latenza può essere causata dai plug-in del programma audio, sebbene non tutti ne generino una evidente: un compressore "look ahead", ad esempio, deve misurare il livello prima di decidere se regolarlo. Anche il driver della scheda audio più veloce non potrebbe comunque incidere su queste latenze.
Il fatto che si verifichino questi ritardi non è necessariamente uno svantaggio in tutte le situazioni. Finché l'orecchio non ha un confronto diretto con il segnale senza latenza il ritardo non avrà alcuna rilevanza. Questo è il caso, ad esempio, del mixaggio interno a un computer al momento di riprodurre solo le tracce: il fatto che ci sia o meno un ritardo di 23 ms dopo aver premuto Play non ha importanza. Si può anche aumentare la latenza per avere più potenza di calcolo a disposizione (il processore ha più tempo prima che il campione successivo venga inviato alla scheda audio).
La latenza diventa fastidiosa all’intercorrere di una relazione tra ingresso e uscita. Suonando un sintetizzatore virtuale calcolato al computer si noterà qualsiasi ritardo significativo che si verifichi tra la pressione dei tasti sulla tastiera e l'attivazione del suono. Anche un cantante che percepisce un leggero ritardo in cuffia sul ritorno del suo segnale non si sentirà a proprio agio: ciò che è direttamente percepito attraverso il cranio si sovrappone al segnale ritardato delle cuffie. In questo caso, il monitoring diretto può essere facilmente utilizzato per porre rimedio alla situazione: il cantante riceve semplicemente un segnale analogico o un segnale captato direttamente dietro il convertitore e può quindi ascoltare sé stesso quasi senza ritardi. Il cosiddetto Direct Monitoring è ormai una caratteristica standard delle interfacce audio.
Le latenze estremamente basse (inferiori a circa 10 ms) sono quindi necessarie solo quando si registrano generatori di suono virtuali o quando il monitoraggio diretto non è fattibile. Utilizzando un software di Amp Modelling per registrare le chitarre, ad esempio, la latenza non è poi così critica: con una velocità del suono di 343 m/s, una latenza di 10 ms corrisponde a una distanza di 3,5 metri, un ritardo che non dovrebbe essere un problema per i chitarristi esperti.
La latenza può essere regolata tramite la dimensione del buffer poiché direttamente correlata ad esso.