永山邸はもと廻船問屋「明石屋」で、明治三十六年の火災で焼失しましたが、翌年には焼失前とそっくりに再現したといわれます。当時、田助の青年多々良幸平は各地の維新の志士たちを迎え入れ、特に長州の高杉晋作とは親交も深く、彼らは国の将来を大いに語り合ったといわれます。 永山家の家伝では、「当時多々良孝平の屋敷であった「角屋」（永山邸の向かい、郵便局の一帯との説もあります）が表の志士達の会合の場所で、明石屋が密談の場所、緊急時の隠れ家として使用されていて、隠し部屋や緊急避難用の脱出口があった。また、西隆盛、高杉晋作、桂小五郎などのほか、名前を伏せた坂本竜馬がこの家の二階で密議をした」とも言い伝えられます。 また、部屋から見える田助港入り口にある小島「ハゲ島」でも、西郷や高杉たちが昼間に釣りと称して渡り、倒幕の話をしていたと伝えられています。