Sjökapten Emanuel Mattsson, född 1845 i Resteröd, var betydande både som skeppare och fastighetsägare. Redan vid 18 års ålder var han befäl på egen båt som gick i fraktfart mellan Vänern och Göteborg. I 50-årsåldern lämnade han sjön och handlade sedan med fastigheter i både Säffletrakten och Göteborg. Han byggde 1904 Mattssonshuset i hörnet Stationsgatan/Järnvägsgatan.

Vid bygget av huset i Säffle var han godsägare på Tveta gård, men annars hade familjen mestadels varit bosatt i Spesslanda. Det var också från Spesslanda familjen kom när de 1909 flyttade in i det egna huset på Stationsgatan. 1906 hade Emanuel köpt kvarnägare Nilssons hus vid Stortorget (senare Wermlandsbankens fastighet), och 1913 förvärvade han valskvarnen vid Strömbron. Tillsammans med hustrun Maria Lovisa Andersdotter, född 1840 i By, hade kapten Mattsson fem barn som alla var födda i By. Emma, född 1872, Elin, född 1873, Maria (Mimmi), född 1876, Emil, född 1876 och Sofia, född 1879.

Äldsta dottern Emma gifte sig med byggmästare August Westerlind i Säffle. Elin emigrerade till USA, men var vid sin död 1950 bosatt i Göteborg. Dottern Mimmi återkom 1913 till Säffle, efter några år i Örebro. Hon hade gift sig med fabrikör Klas Johan Marmén. Makarna Marmén övertog 1917 Seffle Walskvarn som dessförinnan ägts av Emanuel.

Så småningom startade Marmén spisbrödsfabrik i kvarnbyggnaden – en rörelse som efter hans död övertogs av barnen Herbert och Magda. Mimmi Marmén dog i Säffle 1923. Emanuel Mattssons ende son, Emil Mattsson, gick i faderns fotspår och blev sjökapten. 1916 lät han dock uppföra sågverket på Holmen, strax norr om Säffle. Tiden där blev kort, han dog ogift 1918. Bland hans kvarlåtenskap fanns bland annat ”den havererade ångaren Ivar vid Navens fyr”. Emanuel Mattssons yngsta dotter Sofia gifte sig med stationsinspektor Jonas Erlandsson i Lilla Edet. Hon dog 1957 i Fuxerna.