江戸時代から昭和初期にかけて増改築を重ね、展望楼を持つ現在のかたちとなったため、入り組んだ迷路のような間取りになっている。（平屋建て→2階建て→3階建てに増築。写真参照） 入母屋、平入の巨大な主家を有する木造4層3階建ての建物である。 母屋2階の大広間は明治後期の建築で、本座敷24畳、控えの間8・5畳、奥の間は33畳（奥の間はギャラリー連として使用中）の広さを要す。
廊下は松の1本造り、長押は杉の1本造りで継ぎ目がなくめずらしく、大広間から眺められるように造った庭園や中庭も見ることが出来、当時の商家の華やかさが見受けられる。展望楼へあがると、日田の町並みが一望でき、「豆田の天守閣」とも言われている。
