山上乡受大溪围绕，惟其地形有如五凤朝阳，四周小丘环绕，故古地名为「山仔顶」，山上略位台南县中央，北以曾文溪和大内乡为邻，西邻新市乡与善化镇，南与善化镇、左镇乡相隔，东接玉井乡，山上乡型状略似一元宝，东西长8.6公里，南北距3.2公里，辖境面积27.52公里，为台南县乡镇市中面积最小的乡镇。
　山上社区内之山上净水场建造於民国元年，因早期交通不便，欲上该净水池，必经田间小径，跋涉一百馀层石阶，方能前往，现因给水输送设备改善，故该净水池已报废不用，但仍遗留在此，则为本地导览之最佳景点。