Malá Strana ligt tussen de Praagse burcht en de Moldau. Aan de andere zijde van de rivier ligt de Oude Stad, waarmee Malá Strana verbonden is door middel van de Karelsbrug.

Al bij de stichting van de Praagse burcht vormde zich onder de heuvel een "voorburcht". Gauw groeide de Kleine Zijde, de nederzetting aan de overzijde van de Moldau, uit tot een centrum in de internationale handel. Malá Strana was een tussenstation geworden in de internationale verkeersader van het Wolgagebied naar Córdoba. In het jaar 1257 verdreef koning Ottokar II van Bohemen de bevolking van het stadje en liet hij er Noord-Duitse kolonisten zich vestigen. De stad werd Nova civitas sub castro Pragensi (Latijn voor Nieuwe stad onder de Praagse burcht) genoemd. Al in de 14e eeuw werd de stad Civitas Minor Pragensis genoemd, wat Kleine Praagse Stad betekent. De huidige naam is hiervan afgeleid.

Tijdens de regeringsperiode van Karel IV werd de stad tussen 1360 en 1362 flink uitgebreid. Malá Strana bestond nu uit het gebied tussen de stad Hradčany (tegenwoordig tevens een wijk van Praag) en de Moldau. Ook de nederzetting Újezd werd opgenomen in de stad van Karel IV. Tijdens de Hussitische Oorlogen kreeg de stad zulke sterke vernielingen te verduren dat zij praktisch niet meer bestond. Na twee grote branden in 1503 en 1541 werd Malá Strana opnieuw opgebouwd door de rijken en de adel, waardoor in de wijk nu nog steeds veel paleizen en grote huizen staan, vooral in barokstijl. Door dit laatste krijgt Malá Strana nu vaak de bijnaam "de parel van de barokke architectuur".