Serien handlar om familjen Harmon - Ben, Vivien och deras dotter Violet - som flyttar från Boston till Los Angeles efter att Vivien haft ett missfall och Ben haft en affär med en av sina elever. Familjen flyttar in i en restaurerad herrgård som tidigare sett flera dödsfall, och som utan deras vetskap är hemsökt. Medan Ben och Vivien försöker att reparera sitt förhållande, försöker Violet hantera en växande depression och ett förhållande med grannpojken Tate som även är Bens patient. Samtidigt kommer familjen långsamt till insikt om vad som egentligen pågår i huset.

Varje avsnitt börjar med en tillbakablick på husets historia, med en kort scen om ett av de många mord som skett där, med karaktärer som för det mesta på något sätt är kopplat till det avsnittet. Det är medvetet oklart vilka karaktärer som är spöken och vilka som är levande människor, eftersom spöken i serien ser ut precis som de gjorde när de levde.