Das erste Hallenbad in Zürich befand sich an der Eisengasse im Kreis 8 und wurde als privates Bad mit einem Becken von 8 x 22 Meter betrieben. Aus Kostengründen musste das Bad aber nach kurzer Zeit wieder geschlossen werden.

In einer Volksabstimmung  im Jahre 1938 wurde die Vorlage, ein Volksbad mit öffentlichen Mitteln an der Sihlstrasse zu erstellen, deutlich angenommen. Zuvor waren verschiedenen Vorstösse gescheiterten, der Zürcher Bevölkerung wieder ein Hallenbad zur Verfügung zu stellen.

Das während den Kriegsjahren durch das Hochbauamt der Stadt Zürich unter dem damaligen Stadtbaumeister H. Herter erstellte Hallenbad konnte am 12. Mai 1941 am heutigen Standort eröffnet werden.

Lange Zeit war es das einzige Hallenbad in der Schweiz mit einem 50-m-Schwimmbecken. Es wurde den Schwimmvereinen für nationale und internationale Veranstaltungen zur Verfügung gestellt.

Eine Sensation bedeutete damals die Wärmepumpeanlage, die der Erwärmung des Wassers sowie der Raumluft diente. Die Badewassertemperatur betrug in den ersten Betriebsjahren 23 Grad Celsius.

Zu Beginn war die persönliche Badezeit war wegen des grossen Andrangs auf zwei Stunden beschränkt. Aus einer Badeordnung aus dem Jahre 1941 geht hervor, dass auf sittliches Verhalten und entsprechende Badebekleidung streng geachtet wurde. Frauen mussten Bademützen tragen.

Kurz vor der Eröffnung des neuen Hallenbades Oerlikon wurde das Hallenbad City 1978 für zwei Jahre für einen Umbau geschlossen. Dabei wurde die gesamte Garderobe ins obere Stockwerk verlegt und im frei gewordenen Raum im Erdgeschoss ein Nichtschwimmerbecken eingebaut. Das Restaurant wurde vom ersten Stock ins Parterre und die neue Kassenanlage in den ersten Stock verlegt. Im Keller wurde zudem eine Doppelsauna installiert. Die Umbaukosten beliefen sich insgesamt auf rund 10 Millionen Franken. Am 15. Juli 1980 konnte das renovierte «Hallenbad City», wie es fortan zur Unterscheidung der übrigen Hallenbäder genannt wurde, eröffnet werden.

Zwischen 2011 und 2013 wurde das Hallenbad City wiederum saniert. Das Hallenbad präsentiert sich nach der umfassenden Renovation als modernes Sportbad in schönster Originalarchitektur von 1941. Das  Bad hat sein ursprüngliches Glasdach zurück . Anstelle des früheren Schwimmshops entstand ein zusätzliches Nichtschwimmerbecken. Damit konnte die Wasserfläche im City Hallenbad um 10 Prozent vergrössert werden. Das bisherige Nichtschwimmerbecken wurde durch ein modernes Variobecken mit Hubboden ersetzt. Die Stadt investierte 44 Millionen Franken in die umfassende Renovation.

• «Festschrift für das Zürcher Hallenschwimmbad», Hochbauamt Zürich, August 1941
• Baugeschichtliches Archiv der Stadt Zürich