La chiesa si trova su Corso Metaponto, la via principale di acesso al paese, nel rione Carrera. La chiesa di San Gaetano era anche conosciuta come Chiesa della Madonna delle Grazie, dopo che vi fu trasportata la sua statua negli ultimi anni del ‘700.
La Chiesa era originariamente dedicata alla Santa Croce, perché sull’altare era collocata una Croce di legno. Ai piedi della Croce vi era una statua di legno di Maria Vergine e sei quadri su tela con i Misteri della Passione. Inoltre sulla parete dell’altare vi erano dieci quadri su tela e altri dieci quadretti con rappresentazioni di Santi. Accanto all’altare della Croce vi era collocato quello dedicato a San Gaetano, sul quale vi era un dipinto su tela del Santo. Nella seconda metà del ‘700 la chiesa era scarsamente dotata di beni; le sue condizioni peggiorarono sempre di più fino a quando, verso la fine del XVIII secolo, fu restaurata da Francesco Sisto che provvide al rifacimento dell’altare sul quale fu posta la statua di San Gaetano in sostituzione della tela. Verso il 1850 il notaio Berardino Grieco fece fare altri restauri. Nel 1930 fu ancora restaurata su interessamento dell’arciprete Stigliano.
Nel 1951 la chiesa fu di nuovo restaurata dagli eredi Appio, che provvidero ad un nuovo pavimento ed all’intonaco. Fu durante questo restauro che la statua della Madonna delle Grazie andò in rovina e fu collocata in una nicchia della chiesa e murata. Attualmente la chiesa, lunga undici metri e larga sei, ha un solo altare sul quale vi è la statua di San Gaetano con il Bambino in braccio e quattro dipinti sui muri laterali che raffigurano San Benedetto, Santa Rita, la Madonna delle Grazie e Santa Lucia. Questi quadri furono commissionati dalla famiglia Appio al pittore M. Cives da Murillo. La facciata è dominata da tre arcate con una piccola torre campanaria con una campana al centro, ha una porta sormontata da un falso rosone che reca dipinto San Gaetano. Non si svolgono più funzioni religiose ed è chiusa al culto.