Jamestown, Virginia, no final de 1907 – uma casa centenária dá as boas vindas aos novos proprietários, uma família pacífica. Mas o lugar já está ocupado por almas perdidas, que estão se confrontando há muito tempo.

Em Phantom, as quatro áreas da casa – jardim, porão, andar térreo e primeiro andar – são colocados numa linha, sendo as áreas divididas em dois lados. Cada jogador controla fantasmas na metade da casa e eles têm que fazer com que espectros, almas e outros espíritos apareçam em diferentes áreas da casa e assustem os ocupantes antes que outro jogador o faça.

Na sua vez, um jogador pode jogar uma carta – Fantasma ou Lugar – no seu lado, em frente a uma das quatro áreas, para aumentar o nível de pânico da sua correspondente aparição.

Cada carta de lugar tem que ser jogada em frente à área correspondente e as cartas e fantasmas podem ser jogadas em frente a qualquer área.

Cada uma delas leva a um efeito especial:
• O posseiro toma um local da aparição do oponente.
• O charmoso faz com que um ocupante venha para uma área.
• O escultor retira ocupantes de uma área.
• O crítico descarta um fantasma das aparições de um oponente.
• A rainha pega um fantasma de sua família das aparições dos oponentes.
• O invocador faz um fantasma retornar da pilha de descarte.

Entretanto, os adultos da família podem matar alguns dos fantasmas vulneráveis. Uma família de fantasmas é vulnerável a um dos adultos. Alguns locais protegem os fantasmas contra os adultos.

Ao final do turno de um jogador, o nível de pânico das aparições nas diferentes áreas é comparado ao limiar de medo dos ocupantes que estão lá. Quando o nível de pânico dos fantasmas pertencentes a um jogador é maior ou igual ao limiar de medo de um ocupante que está sozinho no local, este jogador pega este ocupante e ganha os correspondentes pontos de vitória (PVs).

Os 4 adultos são 3 PVs, as crianças dão 2 PVs, o bebê dá 4 PVs e o padre dá 1 PV ao último ocupante da casa. Assim que um jogador acumular 11 PVs, o jogo termina e este jogador é o vencedor.