Po skončení třicetileté války a uzavření Vestfálského míru v roce 1648 byla v zemích Koruny české výrazně posílena pozice katolické církve. To se projevilo, mimo jiné, jednak obnovením starých církevních řádů, ale zejména příchodem řádů nových. To bylo patrné zejména v hlavním městě.  Již v pobělohorském období v 1. polovině 17. století se do Prahy vracejí serviti, obutí karmelitáni, cyriaci a klarisky. Zcela nově se na našem území tehdy objevili milosrdní bratři, bosí augustiniáni, bosí karmelitáni, pauláni, barnabiti, irští františkáni a také monserratští benediktini. Svoje sídlo zde zcela mimořádně rozšířili i jezuité stavbou dvou kolejí a profesního domu. V 50. letech došlo k obohacení českého prostředí o dvě řehole. Byl to jednak vyhraněně kontemplativní řád bosých karmelitek a současně řád voršilek, zaměřený na výchovu dívek.

Karmelitky, za přispění samotného císaře Ferdinanda III. Habsburského, získaly v roce 1655 bývalý Valdštejnův dům při klášteru augustiniánů a související, poměrně rozsáhlé, pozemky, situované na východ od středověkého opevnění, které byly po rozšíření opevnění Malé Strany zahrnuty do zástavby města.

Výstavba nového karmelitánského konventu byla zahájena položením základního kamene v roce 1661, a to podle projektu architekta Carla Luraga. K osídlení nových budov došlo až v roce 1671, zatímco výstavba kostela sv. Josefa se vinou různých sporů a patrně i kvůli financím protahovala. Základní kámen byl sice položen již v roce 1673 za přítomnosti císaře Leopolda I., ale vlastní stavba chrámu proběhla až v letech 1689–92. Kostel má pozoruhodné štíhlé průčelí s motivem bosovaných sloupů a tehdy ještě zcela neobvyklou centrální dispozici na půdorysu oválu. 

Současně s výstavbou konventu vznikala ve 2. polovině 17. století nepochybně i klášterní zahrada, a to na mimořádně velké ploše cca 2,2 ha. Sousední Valdštejnská zahrada, kterou v 1. polovině 17. století zbudoval jeden z nejbohatších lidí v Evropě Albrecht z Valdštejna, má plochu „pouze“ 1,7 ha. Zahrada byla jistě záhy obehnána mohutnou cca 9 m vysokou zdí, dodnes vytvářející pocit jakéhosi chráněného a intimního prostoru. Zřejmě již společně s výstavbou zdi byla zbudována vysoká výklenková kaple, natočená cíleně ve směru hlavní osy zahrady, směřující ke konventu. Socha sv. Jana Nepomuckého zde byla umístěna později.

Jednou z nejstarších staveb rozsáhlého areálu je velmi neobvyklá zahradní kaple, zasvěcená biblickému proroku Eliášovi. Tato drobná stavba, situovaná při jižním okraji zahrady, byla zřejmě zbudována již v 60. letech 17. století. O její původní podobě nemáme věrohodné informace, stejně tak jako o jejím určení, spekuluje se také o márnici či poustevně. Další kaple v zahradě, zasvěcená sv. Terezii z Avily, vznikla zřejmě až o 100 let, tedy v polovině 18. století. 

O původní podobě klášterní zahrady nemáme příliš zpráv. Nepochybně se zde nacházel ovocný sad – pomarium, situovaný převážně v jižní polovině zahrady. Zbývající plochy byly určitě rozčleněny na pravidelné záhony. Zde bychom zcela jistě našli zelinářskou část (fruktarium) a záhony pro pěstování léčivých bylinek (herbularium). Součástí zahrady byly patrně ještě různé drobné objekty, sloužící provozu zahrady, jako oranžérie, sušárny či prostory pro uložení nářadí. Z těchto původních drobných staveb se v severním cípu zahrady zachoval pouze drobný gloriet, znehodnocený pozdějšími úpravami.

S ohledem na uzavřený charakter klášterní zahrady je dobová ikonografie velmi skromná. Asi nejstarším známým vyobrazením podoby zahrady je tento výřez z Ortografického nárysu Prahy, nakreslený vojenským kartografem Josefem D. Huberem v letech 1793–96. Jde o unikátní doklad, vypovídající o podobě pozdně barokní Prahy, namalovaný formou tzv. vojenské perspektivy. Nejde tedy o klasickou vedutu, ale spíše o brilantně provedený technický nákres s detaily architektury, zelení i stafáží. Zahrada karmelitek je zde vyobrazena se schematicky vyznačenými záhony a v jižní polovině jsou zakresleny jehličnany, což asi nelze brát úplně vážně (výřez z plánu je oskenován z publikace Praha v obrazech pěti století, Zdeněk Wirth, vydal Jan Štenc v Praze v roce 1934).

Věrohodnější představu o rozvržení karmelitánské zahrady si můžeme vytvořit z dobových, již poměrně přesných plánů. Červenohnědá barva vyznačuje areál konventu, odstíny zelené vymezují plochy záhonů a skupiny stromů. Z obrázku je čitelná osová kompozice zahrady a poloha okolní zástavby. Je zde dobře patrná i úzká zahrada lemující klášterní zahradu ze severu. Tento pozemek, značený v plánech ze 17. století jako „vohrada za sv. Tomášem“ se na sklonku 17. století proměnil v zahradu Daunského paláce, který byl zván později jako palác Vrtbovský nebo také Thurn Taxisův. Ve 20. století zde byl Svaz architektů, dnes je zde Anglo-americká univerzita v Praze). Kresba © Ondřej Šefců.

Podobu konventu po jeho dostavbě v 1. polovině 18. století připomíná poměrně realistické vyobrazení na kresbě F. B. Wer­nera, zhotovené kolem roku 1740. Pozornost zasluhuje poměrně vznosné štíhlé průčelí, lemované bosovanými sloupy. Kresba © Ondřej Šefců.

Kresba sochy sv. Jana Nepomuckého, umístěná v 18. století v mimořádně rozměrné nice v ohradní zdi klášterní zahrady. Tento nejproslulejší český světec je zde zobrazen v typickém postoji s knihami a krucifixem. Zajímavostí je, že stojí na rybě, která zde symbolizuje jak křesťanství, tak údajnou světcovu mlčenlivost. Kresba © Ondřej Šefců.

Na průčelí kaple sv. Eliáše vystupuje velmi nápadná výzdoba ve formě dvouhlavé císařské habsburské orlice se znakem karmelitánského řádu na prsou.

Kaple sv. Terezie z Avily, významné světice a reformátorky karmelitánského řádu. Vrcholně barokní kaple je zbudována ve formě centrální stavby, v interiéru jsou torza freskové výzdoby. Zajímavostí jsou tzv. kasulová okna (tvarem připomínající kasuli, tedy ornát, v němž kněží slouží mši).