Als belangrijke vrijhaven ontstond hier al snel de belangrijkste regionale slavenmarkt. Slaven werden uit Afrika aangevoerd en via Willemstad verdeeld over diverse bestemmingen in Midden-Amerika en Zuid-Amerika.

De stad staat bekend om haar vele gekleurde historische gebouwen waar zowel Nederlandse als ook Portugese en Spaanse stijlen in gecombineerd zijn. Oorspronkelijk waren deze gebouwen wit aangezien ze van koraalsteen waren gebouwd. In 1817 werd door gouverneur Albert Kikkert een wet ingevoerd die gelastte dat alle gebouwen in de stad gekleurd beschilderd dienden te worden op straffe van een boete van 25 pesos.

Deze wet was aangedragen door hofarts Benjamin de Sola die net als andere Europese oogartsen ten onrechte vermoedde dat het weerkaatsende zonlicht op de witte gevels oogaandoeningen zouden kunnen berokkenen. De wet is sinds 1932 niet meer van kracht, maar de kleuren zijn wel gebleven.

In Willemstad staan meerdere gebouwen die zijn versierd met ramen van Piet Clijsen, zoals: Kolegio Alejandro Paula (KAP, voormalige Public High School), Radulphus College (voormalige R. K. HBS) én de Kathedraal van Pietermaai.