Skärstads prästgård ligger cirka 600 meter sydost om Prästgårdsgatan, förmodligen anspelar namnet på detta.