Az épület közel 200 éves, a fürdővendégek szórakoztatására épült. Az 1750-es évek közepétől vendéglők, fürdők épültek részben magánkézben, részben a terület tulajdonosa, a tihanyi apátság finanszírozásával vagy annak bérlőjeként.

A Kisfaludy Galéria épületét az 1800-as években a Tihanyi Bencés Apátságtól Neumann Lázár bérelte, az épület vendéglő volt. Az 1826-ban kitört tűzvész után az úgynevezett alsó traktérház újjáépítése helyett ezt a házat alakították át, újították fel, s Arany Szarvas néven nyitották meg1830-ban. Később Kisfaludy Sándor iránti tiszteletből Kisfaludy vendéglőnek nevezték el. Jókai Mór kezdeményezésére 1877-től ismét építkezések kezdődtek, 1895-ben felépült a szomszédos Ipoly szálló és korszerűsítették, átépítették a Kisfaludy Vendéglőt is.

1914-ben megkezdték a vendéglő "mozgó színházzá" alakítását.A megnyitásra csak az I. világháború után került sor: 1922-ben fogadta első közönségét a Kisfaludy Mozgó, s 2004-ig működött filmszínházként. Azóta a képzőművészet othona: kortárs festők, szobrászok és fotográfusok időszakos kiállításai láthatók.