A antiga Ermida de S. Sebastião foi fundada por volta de 1490, com o contributo dos pescadores e outros devotos da Vila de Setúbal. Essa construção religiosa situava-se ao centro do actual Largo do Miradouro; com o terramoto de 1755, ficou bastante danificada, acabando por ser demolida entre 1849 e 1857 pela Câmara Municipal.

Na antiga Ermida foi instituída a freguesia de S. Sebastião, criada por carta arquiepiscopal de 1553 e aí se manteve até 1821, altura em que por degradação do templo, se transferiu para a Igreja dos Grilos e, posteriormente, para a igreja do extinto Convento de S. Domingos, actualmente matriz da freguesia. O convento foi fundado por volta de 1563, seguindo o modelo maneirista.

Com o terramoto de 1755, o Convento e a Igreja ficaram muito danificados, sendo reconstruídos por um período de tempo que se estendeu até 1818.

O edifício veio a servir de Hospital Militar e ainda hoje é utilizado como alojamento para militares (Messe dos Oficiais); da fase quinhentista resta grande parte das abóbadas de cruzaria do piso térreo e uma interessante chaminé da cozinha. A cerca foi convertida em cemitério público. Na igreja destaca-se a decoração do interior, ao gosto neo-clássico.

ROTEIRO CULTURAL DA CIDADE DE SETÚBAL - SETÚBAL CULTURAL, Setúbal, Câmara Municipal de Setúbal, 1994.

DIÁRIO DA REPÚBLICA, I Série B- Nº 56 de 06-03-1996