S’han trobat documents del 1089 referents a Ramon de Berenguer I que va atacar diferents fortificacions de muntanya entre les quals l’Albiol.

P. Balañà en el seu estudi relaciona el castell de l’Albiol amb una fortificació de la primera anella defensiva articulada al voltant del hisn de Xibrana, actual Siurana extrem de la frontera del Al-Àndalus.

Al segle X el territori del Al-Àndalus estava format per una malla de castells i torres aïllades, comunicades visualment, que tenen com a epicentre el castell principal situat a Siurana (Hîsn de Xibrana). Aquestes fortificacions són de caràcter andalusí.

L’arqueologia medieval a Catalunya va presentar poca atenció a l’arquitectura de la frontera andalusí, excepte grans conjunts com Balaguer o Tortosa, però ha atribuït caràcter feudal a edificis com l’Albiol, el Catllar o Castellfollit de Riubregós, ja que les seves característiques arquitectòniques no corresponen amb el coneixement que tenim de l’arquitectura feudal, i per això tenen una singularitat tipològica, i una datació molt tardana.

El resultat d’aquesta investigació ha permès localitzar elements bàsics del sistema defensiu del territori. Són comunicats visualment amb un domini total del Camp de Tarragona, des de la punta de Tamarit fins a Vandellòs, uns 50km de costa així com la principal via d’accés a Tortosa des del nord a través de la Via Augusta.

Aquesta línia de defensa militar agafa totalment el massís de les muntanyes de Prades, en el seu interior s’han trobat nuclis de població que testimonien la colonització andalusí. Van des d’hàbitats rupestres visigòtics fins a Munias així com part de la xarxa de camins pavimentats que creuen el territori des del segle IX.

L’estat de conservació d’aquestes arquitectures és molt variada, des de castells (Siurana, l’Albiol) que encara conserven estructures fins a talaies on només en queda la memòria del seu emplaçament.

El territori de Siurana no cau en mans feudals fins al 1153-1154, en una de les últimes operacions de conquesta de territori de Catalunya.

Al 1146 Berenguer Arnau va rebre del Compte de Barcelona la vila i el castell de Siurana amb tots els seus termes. Aquesta donació forma part del repartiment del territori conquerit i liderat per l’arquebisbe  tarragoní Bernat Tort i Ramon Berenguer IV. De manera que el territori de Siurana quedava aïllat de la resta del Al-Àndalus, al 1151 les tropes feudals van conquerir els primers pobles de les muntanyes de Prades, entre ells  L’Albiol.

El 20 de juny de 1158, l’Arquebisbe Bernat Tort i el príncep de Tarragona Robert d’Aguiló van concedir a Joan de Martorell l’Albiol amb el pacte de reconstruir el castell i conservar-lo en nom de l’església de Tarragona. Al 1164 ja reconstruït al retornà a Tarragona, on hi exercia com a arquebisbe Berenguer de Vilademunts.  Al 1187 Vilademunts deu donació de la jurisdicció reial sobre les terres de l’Albiol al rei Alfons en desacord amb el príncep de Tarragona Robert d’Aguiló. Però la jurisdicció i altres drets els donà a Gerau d’Avinyó, qui es va canviar el cognom per Albiol, per tal de posseir el castell, després de la seva mort es transmeté al seu fill, Dalmau. Al 1198 calgué fer una concordança amb la viuda d’Alfons I de forma que transferia la senyoria de les terres de l’Albiol a l’Església de Tarragona. Dalmau al 1217 vengué per 500 sous el castell al paborde  (persona més important de l’església després de l’arquebisbe) de l’església de Tarragona, Ramón de Sant Llorenç, que morir al mateix any i traspassà el castell al paborde Ferrer de Sant Martí que després d’estar 20 anys al tarragonès va ser nomenat primer bisbe de València, quan aquella ciutat fou reconquerida als àrabs l’any 1237. Arnau Gibot que fou el successor de paborde a Tarragona passà a ser el propietari, del 1237 fins a la seva mort al 1264, que traspassà al paborde Pere Bernat Gibot fins a la seva mort al 1277, després al paborde Guillem de Banyeres, que en feu un seguit d’arrendaments, fins a la seva mort al 1307, passà al seu successor Guillem de Rocabertí fins a la seva mort al 1341.

Al 1336 accedí Pere el Cerimoniós a la Corona i demanà una contribució de 40.000 lliures que havien de pagar els pobles del Camp de Tarragona, dolgué molt als veïnes de l’Albiol.

Al 1342 passà al paborde Bertran de Catanetto, morí al 1350, traspassà al paborde Romeu Sescomes qui nomenaren bisbe de Lleida al 1360, i les de l’Albiol passaren al paborde Marcià Alenyà, fins a la seva mort al 1364, després a Guillem Sescomes que morí 1389, després a Guillem Gramatges fins la seva mort al 1410. El papa Benet XII estava residint a Tarragona quan morí Gramatges i veient les inquietuds entre els canonges i el paborde decidí desfer la institució pabordia i la disgregà, aplicant les seves rendes a les 12 dignitats canonicals existents a Tarragona. L’arquebisbe recuperà la senyoria directa de l’església sobre tots els territoris que li estaven sotmesos, entre els quals l’Albiol.

Els capitulars als quals els albiolencs estigueren subjectes mentre durà la cambreria foren: Pere de Luna, papa Benet XII, fins al 1417; Pere Fernàndez de Trías, cardenal del títol de Santa Sabina, fins al 1420; Ramon de Barbastre, fins al 1424; Pere Oller, morí al 1449; M. Joanpere, morí al 1476; Guillem Bertran i Joan Bertran fins al 1519 I Guillem Cervelló fins al 1527.

La cambreria fou abolida el 1539 per una butlla papal de Pau III.

Durant la guerra civil de Catalunya en temps de Joan II i amb l’arquebisbe de Tarragona Pere d’Urrea el castell albiolenc fou fortificat i dotat de guarnició i de pertrets de guerra, al 1472. Al segle XVII per la Guerra dels Segadors el Castell de l’Albiol, tot i que la lluita no arribés mai a la fortificació, va construir un refugi on s’hostilitzaven les formacions castellanes quan aquestes van ocupar diverses localitats del Camp de Tarragona. Per això, el castell de l’Albiol com tants d’altres de la terra, fou condemnat per Felip IV de Castella a desaparèixer.

El trist paper de destruir dues de les fortaleses més característiques del Camp de Tarragona, el Castell d’Escornalbou i el de l’Albiol, va correspondre als homes de la Selva l’any 1654. Arnau d’en Just es titulà capità del castell de l’Albiol.

L’Albiol va dependre de l’arquebisbe de Tarragona fins al 1821.

Des del 1821 al 2007 no he trobat cap document que en fes referència.

El primer document actual és del 2007, quan l’ajuntament de l’Albiol compra el castell a Gustavo de Visiedo Boleda que el tenia com a propietat privada i li havia sigut heretat.