На мястото на днешната сграда на Софийската градска художествена галерия още в първите години на 20-ти век започват изкопните работи за Съдебна палата. Цар Фердинанд слага възбрана върху строителството, защото е категоричен, че не иска срещу дома му да се издига съдебна институция. Така се взема решение да се построи Градското казино по проект на арх. Наум Торбов. Казиното е открито през 1908 г. и в него се организират множество концерти и гастроли на чуждестранни музиканти. Един от музикантите, който по-късно ще свири до последно на потъващия кораб „Титаник“, е оркестрант именно в градското казино. След 1910 г. всяка събота гастролира и трупата на Народния театър. След големия пожар в Народния театър временно казиното се използва като театрален салон. Първият конкурс за красота в столицата се провежда тук.

Един от най-големите атентати в новата история се случва в Градското казино около 1 часа сутринта на 14 февруари (1 февруари стар стил) 1915 г. Извършен е в началото на Първата световна война, когато България все още е неутрална. Той вероятно е организиран от правителството на Османската империя и има за цел да компрометира привържениците на Антантата в българските политически кръгове.

Сградата е разширявана през 1940 година. След бомбардировките в столицата по време на Втората световна война, казиното е много разрушено. Във възстановяването през 1948 г. се включват десетки студенти и художници от Националната художествена академия. Сградата е предоставена е на Съюза на българските художници и се ползва за изложбена зала. След ново разширяване и архитектурни промени от 1973 до 1976 г. е дадена на Софийска градска художествена галерия. Тя е архитектурен паметник на културата от местно значение.