上南城は、佐々木氏家臣の安部井氏の居城で、上南の信号から、市子荘総社の八幡神社の間に存在する四角い畑地（通称学校畑）が城跡の中心地である。城の主郭規模は、東西75.0ｍ、南北80.0ｍで堀を巡らした方形単郭四面土塁形式の居館とみられ、大手口は南中央に設けられ、堀は西側幅5～８ｍ、北側幅５ｍ、東側の幅は不明であるが、二重の堀跡が確認されている。堀は南東の古川から導水して北西角から北へ排水され、周囲の耕地の用水に利用されていた。また、城の北西部に「馬場」の小字名が残る。

元禄12年（1699）の覚書に、安部井氏は現日の町安部居出身の人で、元姓は平井氏、明応元年（1492）第二次六角討伐のとkい、六角高頼方の武将平井和泉守が、将軍方の「猛将」安部居和泉守宗行の首を取り、その旗を奪った。この軍功により六角高頼から、敵将安部井の姓と三条宗近の刀を与えられ、「安部井」氏を名乗り、佐々木六角氏の滅亡後は、蒲生氏郷に仕えている。