In 2017 is een groepje kunstenaars bij elkaar gekomen om ideeën over een kunstcentrum verder uit te werken. De historische band tussen Vincent van Gogh en Princenhage was een duidelijk vertrekpunt bij de oprichting van Het Gele Huis. Vincent van Gogh woonde in Arles. In het Gele Huis. Daar wilde hij kunstenaars ontmoeten. Om samen te schilderen. Samen kunst te maken. Elkaar te inspireren. Praten over kunst. Denken over kunst. Schrijven over kunst. Dat was zijn droom. Vincent heeft zijn droom nooit waar kunnen maken. Zijn droom wil Het Gele Huis in Princenhage realiseren.
De groep had al ervaring opgedaan met het organiseren van een grote expositie ‘Vincent, Vincent, Vincent’ in 2015.
Deze expositie was een groot succes en voorzag in de behoefte van Princenhage: meer kunst, meer cultuur. Ook een ontmoetingsplek voor kunstenaars stond op het wensenlijstje. Zo ontstond Het Gele Huis.
Na een tweetal seizoenen een zijruimte van Herberg Het Roode Hert gebruikt te hebben was er de noodzaak (ook door de corona lockdown) naar een andere locatie te zoeken. Die werd gevonden in 2020 met behulp van dhr. Arie Roobol in het souterrain van Haagsemarkt 6.