Sinds 1483 bezit de Illustre Lieve Vrouwe Broederschap een eigen huis aan de Hinthamerstraat in ’s- Hertogenbosch, schuin tegenover de Sint Janskathedraal, dat met de tijd het ‘Zwanenbroedershuis’ is gaan heten. In 1846-1847 werd het middeleeuwse gebouw in opdracht van de Broederschap vervangen door het huidige neo-gotische pand. Het pand is de thuishaven van de Broederschap en wordt gebruikt voor haar bijeenkomsten. Omdat de Broederschap nog een deel van haar eeuwenoude collectie bezit, en zij ernaar streeft deze ook publiekelijk te tonen, is het Zwanenbroedershuis vanaf 2000 tevens ingericht als museum. De originele raamluiken van de twee ramen boven de poort van het oorspronkelijke huis zijn te bewonderen in het Zwanenbroedershuis. 

Het huis is ontworpen door J.H. Laffertée, de architect en docent aan de kunstacademie van Den Bosch. Zowel qua exterieur als interieur is het gebouw een vroeg voorbeeld van neogotiek in Nederland.