Das ehemalige reichsstädtische Tuchhaus wurde im 15. Jahrhundert errichtet. Zur Blütezeit des Leinenhandels prüfte hier der Leinwandschauer die Güte der Stoffe, die in Isny hergestellt wurden. Mit dem Niedergang der Leinwirtschaft wurde das Gebäude als Salzlager genutzt. 1828 richtete die Stadt das „Hallamt“ zur Qualitätskontrolle des „weißen Goldes“ ein. Der Blaserturm mit seiner markanten Zwiebelhaube diente im Mittelalter als Hochwacht. Tag und Nacht hielt ein Wächter Ausschau nach Feinden und Feuerherden. Bei Gefahr blies er ins Signalhorn. Im achteckigen Turmaufsatz befinden sich die Glockenstube und die alte Wächterstube, darunter liegt das Uhrengeschoss. Im 15. Jahrhundert wurde der Turm baulich mit dem Hallgebäude verbunden.
Heute sind im Hallgebäude die Isny Info, der Isny Shop, die Isny Marketing und die Stadtbücherei untergebracht.