Zemlja na kojoj je sagrađena pripadala je obitelji Vuković, koja je brojila šestero braće, tri svećenika i tri pomorska kapetana. Plovili su kapetani svojim jedrenjakom i trgovali čitavim Mediteranom te se napokon odlučili oženiti s tri Španjolke i sagraditi im veliku kuću na svojoj zemlji, upravo tamo gdje se već nalazila kuća mještanina Marka Sile.
Ponudila su braća Marku veliki novac za otkup, ali Marko svoju kuću nije želio prodavati. Angažirala su braća tadašnjeg načelnika Vužića, da im pomogne u posredovanju, ali se Marko posvađao s načelnikom i zaprijetio mu smrću te je zbog straha od odmazde morao pobjeći iz Bola u Dubrovačku Republiku.
Braća Vuković započela su gradnju oko Markove kuće, koju su poslije planirali srušiti. Kada je Marko to dočuo, vratio se u Bol i pod zidove palače postavio eksploziv, ali su ga u miniranju spriječili žandari i ponovo natjerali u bijeg.
Vukovići su nastavili gradnju, podigli tri kata i još je samo trebalo postaviti podove i krov, pa su otputovali u Mletke po drvenu građu. Nakrcali su brod i krenuli nazad prema Bolu, ali ih je na povratku uhvatilo veliko nevrijeme i potopilo brod, a od posade nitko se nije spasio.
– Kako ni jedan od šestero braće nije imao djece, ugasio se rod Vukovićevih, a Marko Sila nekoliko godina nakon toga vratio se živjeti u svoju kuću, danas poznatu kao "Kuća u kući" – priča Robert Barilla, upravitelj Zaklade "Otok Brač – negdje između mora i zvijezda" s desetogodišnjom tradicijom istraživanja otoka Brača, u kojoj djeluju vodeći poznavatelji otočne baštine, sustavni istraživači povijesti, kulture, jezika i običaja. Gostima Brača, onima domaćima, pričaju i o tome kako je barba Miljenko Smoje dosta svojih likova za "Naše malo misto" doslovno preuzeo iz stvarnog života otoka Brača. Tako je popularni pošćer Andrija Bombišta, koji nas kroz prizmu amaterskog zapisivanja kronike svog mjesta uvodi u radnju svake epizode, u stvari Frane Pavlov zvani Franić iz Ložišća, zbog čega se i u najavnoj špici serije pojavljivao prekrasan ložiški kampanel.
Pregršt je toga na otoku Braču što bi preporučili turistima, ali "Kuću u kući" ne daju zaobići. Nalazi se u Bolu, zaštićeni je spomenik kulture iz 19. stoljeća i meka je turista iz cijelog svijeta koji kroz rešetke, postavljene na ulazu u "vanjsku" kuću zbog opasnosti od urušavanja, pokušavaju fotografirati iz svih uglova kako bi s ljetovanja ponijeli jednu rijetku i posebnu priču.