Bereits 1297 stand über der Schwefelwasserquelle des Frauenbades eine große Kapelle, die man nach der Heiligen Jungfrau Maria „Frauenkirche“ nannte. Die wohl schon in Vorzeiten genutzte Quelle entsprang in der Nähe des Hochaltars und speiste das an der Nordseite der Kirche angebaute Frauenbad. Ein weiteres Badehaus mit einer eigenen Quelle, das sogenannte Neubad (heute Karolinenbad), befand sich an der Südwand der Frauenkirche. Während das Frauenbad den noblen Gästen und Mitgliedern des Kaiserhauses vorbehalten war, wurde das Neubad von „Angehörigen niederer Stände“ genutzt. 1531 schenkte Kaiser Ferdinand I. der Stadt Baden die zwei Bäder als Wiedergutmachung für die Schäden durch die Türkenkriege.
Nach dem Abbruch der Frauenkirche und dem großen Stadtbrand von 1812 entschloss sich die Stadt Baden zu einem Neubau des Frauenbades. Dieser sollte beide Quellen unter einem Dach vereinen. Das heute denkmalgeschützte Gebäude basiert auf einem Entwurf von Charles de Moreau, einem der führenden Architekten des französischen Klassizismus. Er hatte zuvor für sich selbst das Dianabad in Wien errichtet. Deshalb und wegen seiner modernen Architekturausbildung in Paris war er der geeignetste Mann für die Errichtung dieses kaiserlichen Bades. Er verstand es, ein sowohl formal als auch balneologisch der Zeit entsprechendes Gebäude zu schaffen.
Der Badebetrieb wurde 1973 eingestellt, doch wurde das Haus bereits 1977 als Ausstellungszentrum mit einer Retrospektive Arnulf Rainers wieder öffentlich zugänglich gemacht. Es folgten viel beachtete Präsentationen renommierter Künstler sowie Ausstellungen zur Geschichte und Kultur Badens. 2009 wurde das von den Architekten Lottersberger-Messner-Dumpelnik gestaltete Gebäude als Arnulf Rainer Museum eröffnet.