遠い祖先は菅原道真との伝承あるが、蘇峰自身が一笑に付している。そんなこと云い出したら、国民の大多数が藤原氏の流れとなり、途中は源氏か平家だ。
記録に残る初代は徳富忠助、寛永十三年というから一六三〇年代だが、島原の乱にて肥後藩主細川忠利の軍に率いられ、有馬城の海側から鉄砲を撃ち、場内に進入した功を挙げたという。先込め銃だろうから連射などできるはずもなく、ぶっ放して相手が怯んだところへ突撃したのだろう。貴重な銃を放っぽりだして刀に持ち替えるはずはなかろうから、木刀か棒術のように振回したんだろう。あるいはすでに、筒先に短剣を装着する、銃剣の工夫があったのだろうか。
この功により、水俣の地にわずかな土地を賜った。すなわち徳富家は、有事のさいには足軽かせいぜい鉄砲隊最前線として捨て駒にされる軽輩で、むろん家禄などなく、平時にあってはかつかつの自作農だった。
二代一保も父を継いで鉄砲隊小隊長。ここにちょいと謎。男女四人の子をすべて養子に出し、浪人していた他家の子を養い、跡継ぎとした。「その経緯は詳しく我家の記録に遺つてゐるが、恰も小説の趣がある」としているが、その趣のほどは『自伝』からは省かれてある。人工的に盛られたかのような奇特な噺なのだろう。恥ずべき噺であれば、蘇峰の気性からして省くはずがない。
三代一貞すなわち浪人の子、四代一延いずれも鉄砲隊長を世襲した。その宝暦五年（一七五五）のこと、悪酔いした暴漢が家に乱入して狼藉を働く事件が起きた。使用人二名が応戦し、こっぴどく殴打。酔漢を死にいたらしめてしまった。使用人は逮捕投獄された。が、主人一延はこれを自分の監督責任として、六月二十一日に切腹して果てた。齢五十歳。その心栄えが讃えられたか、使用人二名は放免されたという。
この時二十歳だった五代久貞が徳富家中興の祖とも云える人で、多くの弟妹を育て、世襲職にも好く勤め、家禄も昇級、郡の総庄屋兼代官に任ぜられた。地域の取りまとめ役を仰せつかったわけだ。記録帳によれば、往来交際の顔触れには藩内の名士がずらりと名を連ねるようになった。
ここで徳富家は本家分家に分かれる。久貞の長男が本家を継ぎ、次男貞申（さだのぶ）が分家となり、これが蘇峰家から視れば六代目であり、蘇峰の曽祖父である。「富は殆ど本家が相続したが、精神的の凡在る（あらゆる）ものは、概ね曽祖父貞申が相続した」と、『自伝』には微妙な記しかたがしてある。ここにも「小説の趣」があったに相違ないが、伏せられてある。執筆時点にあっても本家は本家で栄えてあり、噺が生なまし過ぎたのだったか。
ともあれ郡の総庄屋兼代官の世襲職は、分家貞申が継いだ。在職十三年、職の実績おおいに上り、文化七年他界。享年四十一歳。
七代目が蘇峰の祖父美信（よしのぶ）。文政五年に世襲職を継ぎ、在職二十五年、明治十八年に他界。享年八十八歳。このあたりまで来ると、『自伝』のあちらこちらに逸話が顔を覗かせるので、ここで特記するに及ばない。
そして八代目が父一敬、淇水（きすい）と号した。横井小楠の側近弟子だから、当然ながら実学党有力人物の一人。文明開化については、和魂洋才論者である。
栄転による任地替えの一時を挟みはするものの、祖父までは代々水俣の地に過した。父の代となって、藩庁に出仕すべく、父は単身熊本に、家族は水俣にという暮しとなった。少年蘇峰が熊本へと足を踏出す時期は、刻々と迫ってきていた。
