Il funzionamento di questo apparecchio è basato sulle variazioni che subisce la resistenza elettrica di contatto fra i granuli della polvere di carbone quando varia la pressione a cui è sottoposta.
La polvere è contenuta in una capsula fra la superficie irregolare di un blocco di carbone e la membrana elastica che è pure di carbone ed è protetta da una reticella metallica.
La pressione variabile esercitata dalla membrana, quando viene posta in vibrazione dall'onda sonora incidente, produce forti ma graduali variazioni della resistenza di contatto fra i granuli e quindi della resistenza complessiva del microfono. Le conseguenti variazioni della corrente di alimentazione pongono in vibrazione la membrana del ricevitore che ripete le oscillazioni della membrana del trasmettitore e riproduce il suono che le ha generate.
Il microfono a polvere di carbone, producendo forti variazioni della corrente di alimentazione, fornì una prima soluzione al problema della trasmissione a grandi distanze.
Quando, a causa della distanza, la resistenza della linea era molto grande si utilizzava un trasformatore e si collegava al primario il microfono con l'accumulatore in serie, e al secondario la linea di trasmissione.