Galéria Ľudovíta Fullu vznikla nielen ako galéria na vystavovanie obrazov, ale od svojho otvorenia bola aj domovom Ľudovíta Fullu. Priestory určené verejnosti boli dômyselne oddelené od súkromných priestorov.

Galéria Ľudovíta Fullu v Ružomberku bola postavená podľa projektu architekta Martina Kusého st. z rokov 1964 - 1965 (realizácia architekt Štefan Hatala). Jej účelom je prezentovať a uchovávať umelecké diela, ktoré Ľudovít Fulla, jeden z najvýznamnejších a najosobitejších slovenských umelcov 20. storočia, daroval štátu.

Okrem budovy galérie patrí do správy SNG aj Fullova hrobka, ktorá bola tiež súčasťou darovacej zmluvy. Autorom architektonického návrhu je Dr. ing. arch. Martin Kusý. Návrhy na mozaiky v interiéri previedol Fulla osobne, autorom mozaiky na podlahe je Ernest Zmeták.