In diesem Hause befand sich Jahrhundertelang eine Mahlmühle. Sie wurde von einem Kölner Erzbischof, der Landesherr des kurkölnischen Sauerlandes war, angelegt. Der Erzbischof hatte um 1180 etwa an der Stelle an der heute im Stadtpark die Kapelle steht, eine Burg errichtet, woran sich dann eine Siedlung anschloss, aus der die Stadt Schmallenberg entstand. Wann die Mühle gebaut wurde, ist nicht bekannt. Sie ist erstmals um 1300 in den Einkünfteverzeichnis des westfälischen Marschallamtes erwähnt. Daraus geht auch hervor, dass sie der Stadt für 4 Malter (altes Getreidemaß) Roggenmehl überlassen worden war, weshalb sie die Stadtmühle genannt wurde. Auch nannte man sie die obere Mühle, im Gegensatz zu der unterhalb gelegenen Klostermühle oder niederen Mühle. Im Jahre 1553 war sie verfallen, wurde aber dann wieder aufgebaut. Die Summe betrug damals 45 ½ Mark.
Beide Mühlen wurden vom Wasser getrieben, das etwa 500m oberhalb durch eine Wehr (Schlachte) in der Lenne gestaut und ihnen in einem Mühlengraben zugeleitet wurde. Der Mühlengraben verlief in einem großen Bogen durch die Wiesen der Lake zum Stadthang hin und schließlich senkrecht auf die Mühle zu. Er soll zunächst sehr kurvenreich gewesen, im Laufe der Zeit aber oft begradigt worden sein. Das Wasser wurde vor der Mühle, dort wo heute die Terrasse von den beiden Eingängen des Hauses liegt, nochmals gestaut und mit 2 Schleusen (Schülten) reguliert. Die Müller erhielten gewöhnlich kein bares Geld, sondern bekamen als Lohn den 4. Teil des gemahlenen Kornes. Überliefert ist der Spruch: “ Mahle, Mühle, mahle fein, das 4. Korn ist mein”. Man nannte das “multern”.
Von alters her sind die Mühlsteine mit Wasserrädern betrieben worden, bis 2 Turbinen gebaut wurden, die eine 1891 und die andere 1901. Das für die Mühlenräder und für die Turbinen benötigte Wasser verlief unter dem Hause her, während das überschüssige Wasser in einen linksseitig gelegenen Graben, Abfallgraben genannt, hinunterstürzte, (dort wo sich heute die Garagen befinden) und um das Haus herum verlief. Die Mühlenanlage befand sich in dem heutigen Stallgebäude. Sie hatte 2 Mahlgänge, eine für Schrot und eine für Mehl, sowie ein Kornsilo. Außerdem ist später eine Bäckerei dazugebaut worden mit einem Steinbackofen. Das Brot wurde Bauern aus der Stadt und Umgebung im Tausch gegen Korn geliefert.