Povijest ove američke vile počela je duhovima. Izumitelj William Wirth Winchester, koji je umro 1881. godine, ostavio je svoju suprugu Saru udovicu, čije je dijete tragično umrlo 15 godina ranije. Ubrzo nakon Winchesterove smrti, udovica je otišla u medij koji je pozvao duh svog pokojnog muža. Izumitelj legendarnog "Winchestera" rekao je da je obitelj prokleta, jer je njegov izum odnio tisuće života na planeti. Suprug iz drugog svijeta naredio je svojoj ženi da ode i započne graditi kuću u drugoj državi, dok čim se završi gradnja, Sarah će umrijeti.
Udovica, koja je vjerovala medijumu, preselila se u kalifornijski grad San Jose i ovdje počela graditi novu kuću, srećom, ušteđevina supruga trebala je dugo biti dovoljna. Od 11884. do 1922. godine građevinari su svakodnevno radili na kući, koja je završila sa 160 soba i više je ličila na labirint. Činjenica je da je Sarah, u nastojanju da produži izgradnju, natjerala radnike da rade nelogične i jednostavno beskorisne poslove, na primjer, stepenice naslonjene na strop ili zidane prozore. Godine 1922. gradnja je završena, a nekoliko dana kasnije Sarah je umrla.
Priča se da duhovi ljudi ubijenih iz Winchestera žive u dvorcu danas, a postoji i legenda da onaj tko uđe u kuću nikada ga neće napustiti.