San Martino d'Agri sorge su un colle dell'Appennino lucano, a 666 metri d'altezza, dominato dalla vetta del Monte Raparello (1288 m) e affacciato su panorami che spaziano fino al Belvedere. Il territorio, prevalentemente montuoso, si estende per 50,4 km² e ospita appena 615 residenti, con una densità di 12 abitanti per km² che ne fa uno dei comuni più spopolati della Basilicata.
Il reddito medio annuo si attesta a 16.618 euro.
Il clima è temperato, con una media di 16,4 °C e precipitazioni annue di 494 mm. Il borgo, con i suoi 2 monumenti, è un punto di partenza ideale per visitare i vicini borghi di Guardia Perticara e Viggianello, entrambi insigniti del titolo di Borgo più bello d'Italia.