Il comune è composto dal capoluogo sul fondovalle, posto su una rocca che domina il fiume Serio, a 676 m s.l.m. e da alcune frazioni che occupano entrambe le pendici montuose dei due lati della valle. Il territorio è compreso tra i 604 e i 2.354 m s.l.m.   A Nord si trova la frazione di Ripa, mentre a Est si trova la frazione di Boario, a sua volta formata da vari agglomerati posti tutti tra i 900 e i 1.200 m.   La strada che collega Gromo e il fondovalle con Spiazzi è lunga circa 7,5 km, estremamente tortuosa e panoramica, corre per i primi chilometri immersa in splendidi boschi sino alla frazione di Valzella, primo minuscolo nucleo abitato composto originariamente da una dozzina di cascine e abitazioni in pietra con tetti in ardesia, e arricchitosi oggi di alcune decine di palazzine di villeggiatura.   Dalla Valzella in poi la strada esce dai boschi e corre su ripidi pendii erbosi.Con il passare dei secoli gli abitanti del paese seppero sfruttare le ricchezze minerarie e taluni, come ad esempio la famiglia dei Ginami, si arricchirono in modo considerevole. A questa famiglia apparteneva anche un palazzo di notevole interesse, che ora è adibito a sede del municipio. All'estrazione del ferro ben presto si accompagnò quella di altri metalli, tra cui l'argento, che diedero slancio all'economia del paese, che raggiunse il suo apice durante la dominazione veneta.   Nella memoria del paese sono tuttavia impressi eventi disastrosi, come la peste che decimò la popolazione nel 1630 e la tremenda alluvione del 1 novembre 1666 del torrente Goglio che portò con sé ben sessantasette vite umane. Proprio durante questo evento le fucine ed i centri di lavorazione del ferro che l'avevano reso noto come "la piccola Toledo" (anche per via della fiorente industria di produzione delle armi) andarono inesorabilmente distrutti.   In tempi più recenti il paese ha vissuto periodi di relativa tranquillità, vivendo un deciso rilancio, nel XX secolo, grazie all'industria del turismo.   Nel 1968 vi furono aggregate le frazioni di Ripa e Bettuno, già parte del comune di Gandellino.Le attrazioni principali del borgo sono indubbiamente i due castelli e il Palazzo Milesi.   Il primo castello, posto nel borgo storico, era di proprietà della famiglia dei Ginami di cui ne porta il nome, possiede una torre che svetta imperiosa sulle abitazioni. Ora ospita al suo interno un rinomato ristorante.   Il secondo, quello del Gananderio, si trova invece in una posizione più defilata, ma non per questo appare meno imponente del primo.   Il palazzo Milesi, del XV secolo, è ora la sede del comune e del MAP, Museo delle Armi Bianche e delle Pergamene.   Anche la chiesa parrocchiale, dedicata ai santi Giacomo e Vincenzo, merita una citazione. Edificata nel corso del XII secolo, La sua struttura architettonica è romanica a tre navate. La navata posta a nord presenta un forte intervento barocco. Il presbiterio offre uno scenario straordinario: un altare ligneo dorato opera fantoniana (1645); un coro fantoniano con 34 cariatidi. Possiede due portici, nonché tele ed affreschi di grande pregio, tra cui sei tele del Cifrondi raffiguranti il martirio e la morte dei santi patroni, una pala di ognissanti e un polittico, entrambi con cornice in legno dorato.   Dal 2008 Gromo è stato insignito della qualifica di Borgo Medievale e della Bandiera Arancione del Touring Club Italiano.