Ostrov, na kterém byl Žofín postaven vznikal postupnými nánosy půdy v 17. a 18. století a byl mnohem menší. Dnešních rozměrů nabyl až v roce 1784 při velké povodni, po níž byly vybudovány ochranné zdi. Je to jediný ostrov na Vltavě s významnou parkovou úpravou. Ostrov je tři sta padesát metrů dlouhý a v nejširším místě měří devadesát pět metrů.
Až do března roku 1760 patřil ostrov obci Nového Města pražského, která jej prodala barvíři Josefu Ignáci Saengerovi a jeho manželce. Bylo jim povoleno zde postavit k vykonávání své profese i jinému užitku nezbytnou budovu a vlastnit loďku k převážení zboží na ostrov a zpět. Postupně zde vyrostla osada barvířů a ostrovu se začalo říkat Barvířský (nebo také Barvířka). Ostrov ještě několikrát změnil majitele, kteří nechali odstranit na žádost obce dřevěnou ochranu kolem ostrova a vybudovali místo ní bytelnou zeď. Nechali zbudovat most, jenž nahradil dosavadní přívoz, k tomu se ale musel dokoupit ještě kus pozemku na sousedním břehu.

Největší změnu zde provedl Václav Antonín Novotný, který zarostlý ostrov naprosto přeměnil v pečlivě pěstěný sad s barevně rozkvetlými záhony a pískem sypanými cestičkami. Kolem ostrova nechal vysadit topoly, tehdy velice módní stromy. V jejich stínu byla postavena na severním konci ostrova moderní plovárna, s kabinkami a veškerým komfortem pro tuto dobu dosti neobvyklým. Václav Antonín Novotný se městu zavázal, že umožní přístup veřejnosti. Toto místo se stalo velmi oblíbeným k procházkám a odpočinku. Ovšem každý z návštěvníků zde musel zaplatit takzvané mostné. Velmi brzy se z Barvířského ostrova stalo významné společenské a kulturní centrum Prahy. V letech 1835-1837 provedl Václav Antonín Novotný velké stavební práce, jež ostrov značně zhodnotily. Vyrostly zde tři zděné budovy – starý hostinec, který tu nechal postavit jeden z předchozích majitelů, nechal přebudovat na elegantní restauraci s bohatě zdobeným tanečním a koncertním sálem, vyrostly tu také lázně a nový obytný dům. K slavnostnímu otevření došlo 30. května 1837. Během tohoto roku se ještě pokračovalo v pracích na lázeňském a obytném domě, byla také vybudována krytá chodba u lázeňského domu. Barvířský ostrov se stal velmi oblíbeným společenským centrem až do konce první světové války. Roku 1840 navštívil Barvířský ostrov arcivévoda František Karel, otec pozdějšího císaře Františka Josefa I. Na památku této návštěvy se ostrov přejmenoval podle arcivévodovy manželky arcikněžny Žofie Žofínským ostrovem. Jméno Žofín se ujalo a stalo se velmi oblíbeným ze dne na den.
V té době vznikla Žofínská akademie, pěvecký spolek zabývající se českou i cizí klasickou hudbou. První veřejný koncert se konal v roce 1841 a stal se tradicí až do 60. let 19. století, kdy se Žofínská akademie přeměnila v hudební školu a zabývala se už jen výukou zpěvu a hry na klavír. V roce 1925 byl ostrov na památku Slovanského sjezdu, který se zde pořádal, přejmenován na Slovanský. Žofín dále proslul svými národními besedami, kdy výtěžky z něj putovaly na podporu českých národních institucí.
V roce 1884 zakoupila ostrov Pražská obec, která rozhodla o důkladné přestavbě a rozšíření budovy. Sál totiž nestačil obrovskému zájmu, a tak byla původní budova roku 1886 neorenesančně přestavěna podle návrhu profesora Pražské průmyslové školy Ing. Jindřicha Fialky (je také autorem Staroměstské tržnice). Achille Wolf posléze navrhnul doplnění budovy o přízemní trakty, kde je dnes restaurace, a rozšíření velkého sálu. K čtvercové budově přiléhá na severu jednopatrová část se vstupními prostorami a schodištěm, na jihu je připojena terasa. Půlkruhově zakončená okna jsou oddělena pilastry. Sedlová střecha s kovovým krovem z roku 1885 je pokryta měděným plechem. Do hlavního sálu vede trojramenné schodiště. V patře vznikly foyer, salonek a nový velký sál s kazetovým a bohatě štukovaným stropem s malbami Františka Ludvíka Duchoslava. Čtyři figurální výplně na stropě od Václava Olivy zobrazují to, co se zde provozovalo: hudbu, tanec, jídlo, sport.

Velký sál je pro 580 diváků, malý sál pro 150 a do primátorského salonku se vejde 80 lidí. Budova nemá spodní izolaci, je usazena na podkladu z dubových trámů. Kolem jsou větrací dutiny, v suterénu pak čerpací studně. Když se zvedne hladina spodní vody, čerpadla začnou pracovat. V roce 1899 došlo k přestavbě lázní, které zde existovaly už od 18. století, a při břehu Vltavy byla zřízena plovárna Slovanka. Pražská obec dala nově upravit parkové plochy podle projektu Františka Thomayera. V roce 1928 byly zbořeny už dosti opotřebované lázně a místo Šítkovských mlýnů, byla postavena majestátní budova Mánesa. Dvacet let na to byl ostrov spojen s nábřežím novým železobetonovým mostem.
Na travnaté ploše před hlavním vchodem do budovy stojí bronzový pomník Boženy Němcové na žulovém soklu od sochaře Karla Pokorného, který jej vytvářel a stále zdokonaloval v letech 1941-1952. Mezi budovou Žofína a nábřežím je umístěna bronzová socha z roku 1927 Souzvuk, kterou vytvořil Ladislav Šaloun. Na východním průčelí (kde je restaurace) jsou umístěny pamětní desky připomínající vystoupení dvou významných osobností. První z nich je věnována slovenskému obrozenci Ludovítu Štúrovi a druhá ukrajinskému politikovi a spisovateli Ivanu Frankovi. Pamětní desku na budově mají bratři Grégrové a Zdeněk Fibich.
Ještě jedna kapitola k Žofínu patří a není to zrovna společenská akce. Za pruské okupace se tu v roce 1866 konával trh prodejné lásky. Nalíčené prostitutky zabraly na Žofíně každé místečko a čekaly na zákazníky – pruské oficíry a vojáky. V dobovém tisku se pak psalo o orgiích, které se tu pořádaly, a také o tom, že slušný člověk by se tomuto místu měl vyhnout. V letech 1991-1994 proběhla generální rekonstrukce objektu podle projektu Ing. Tomáše Šantavého a Ing. Alexandra Doberta. Nástropní malby restauroval Emil a Vladimír Míčkovi a Jiří Míka. Budova Žofína byla slavnostně znovuotevřena v roce 1994. Byly také provedeny nové parkové úpravy podle návrhu Veroniky Strnadové.
Slovanský ostrov i budova paláce Žofín byly zasaženy srpnovou povodní v roce 2002. Byl poškozen celý suterén s kompletním skladem aparatury, počítačů a nábytku. Práce na opravě paláce, jehož přízemí bylo zatopeno do výšky 1,6 metrů, začaly ihned po opadnutí vody. Částečný provoz bez využití suterénu byl zahájen po opravě již 1. října 2002. Vysoušení objektu, na kterém závisely opravy dílčích místností v přízemí a suterénu, probíhalo až do března 2003. Oprava Rytířského sálu v suterénu byla dokončena 20. června a celý objekt byl znovu zprovozněn 15. září 2003. V rámci rekonstrukce byly provedeny nové sádrové omítky a oprava všech masivních dřevěných dveří. Promáčené podlahy byly demontovány a nahrazeny novými replikami. Celkové náklady na opravu hlavní budovy činily tehdy přes 44 milionů Kč.