A freguesia de Albergaria da Serra denominava-se, no séc. XIII, Albergaria de Monte Fuste e, no início do séc. XIX passou a chamar-se Albergaria da Serra, depois Nossa Senhora da Assunção de Albergaria e Albergaria das Cabras.

A freguesia pertencia ao Padroado Real e foi doada ao Mosteiro de Arouca. A Rainha Santa Mafalda ampliou a albergaria que existia nesse local (origem do nome), onde está hoje um cemitério, junto à capela. Existe a ideia que os muros atuais do cemitério sejam as antigas paredes da Albergaria, à qual foi retirado o telhado, e que a porta do cemitério seria a porta do Albergue. A placa que pertencia à albergaria encontra-se no muro do cemitério, tem a data de 1641 e uma inscrição.

Segundo a tradição, pagava-se uma pensão a quem tocasse uma buzina até certas horas da noite para ajudar os viajantes que andassem perdidos e evitar serem comidos pelos lobos; dessa forma, pelo som da buzina sabia-se que havia ali um lugar.

Por Albergaria passava a antiga via romana de Viseu ao Porto; vinha a Manhouce, seguia a Albergaria, passava à Portela de Anta, daqui dirigia-se à Farrapa, a Escariz e seguia para o Porto. Designava-se, na Idade Média, estrada, depois estrada velha e finalmente estrada mourisca.

Na região existem diversos vestígios megalíticos - Portela de Anta - local onde foi colocado, em 1257, um marco divisório do couto de Arouca e alargado por doação de Afonso III de 20 de outubro à Abadessa do Mosteiro.

A povoação está a perder, gradualmente, as suas características primitivas devido à introdução de novos tipos de construções. As casas tipo serrano são em granito com telhados de colmo seguros por ramos de árvores e pedras ou telhados de placas de xisto.