邸内公開武家屋敷です。税所家は関ケ原の役前年、加世田から移住を命ぜられ、代々「上級郷士噯(あつかい)」などの出水郷の要職を務めました。雨天時の弓の練習場所や、隠れ部屋、抜け道など当時を偲ばせるものが残されています。建物の建築は出水麓では最古といわれています。(250年以上？)市が買い取ったあと、かなり老朽化していたため数千万かけて大改修を行い4年後の平成23年から一般公開されました。上座敷では着物を着てお茶体験などのイベントや、結婚式の前撮りなどにもよく使われ、出水麓を代表する武家屋敷でもあります。