La primera referència documental la tenim compresa entre els anys 1068 i 1095, quan Galceran, fill de Sicardis prestà jurament de fidelitat a Guillem Ramon, comte de Cerdanya. Posteriorment entre els anys 1109 i 1117 es tornà a fer el mateix sagrament, aquesta vegada va ésser amb el comte Bernat Guillem; quan aquest darrer finà, passà a Ramon Berenguer III, comte de Barcelona.
L’any 1165, n’eren senyors d’aquest castell en Galceran i Berenguera de Pinós, es creu que en aquesta època n’eren els castlans la família Saldes.
Entre els anys 1162 i 1196, Galceran de Pinós jurà fidelitat al rei Alfons “el Cast”, per aquest castell i d’altres. El succeí el seu fill homònim que l’any 1279 arrendà durant cinc anys els rèdits de Saldes.
L’any 1294, Galceran de Pinós i la seva dona Berenguera, varen ratificar a Jaume Martí, de Bagà, la batllia i el terme d’aquest castell. Un any més tard va ésser nomenat R. De Vallespirans com a governador d’aquest territori.
L’any 1296, Galceran de Pinós donà a Jaume Digo, de Bagà, aquest castell amb la condició que hi fes estada permanent amb la seva família.
Entre 1306 i 1316, aquest castell junt amb el de Bagà, Gavarrós i Gósol varen estar ocupats per les forces del rei Jaume II que estaven en guerra amb Pere I Galceran de Pinós. Quan aquest darrer finà, es produí una controvèrsia respecte de si calia retre homenatge al rei pels castells de Gósol, l’Espà, Saldes i Querforadat; els juristes sentenciaren a favor dels Pinós ja que els tenien en propi alou, i no pas enfeudats pel rei.
L’any 1324, morí el donzell Bernat de Gósol, que posseïa aquest castell entre d’altres en feu, pel baró de Pinós. El succeí la seva filla Violant que prengué la investidura de mà d’en P. De Santa Eulàlia.
L’any 1326, els homes de Gresolet varen estar penyorats perquè no havien acudit al so que havia estat emès des del castell de Saldes.
L’any 1344, el baró de Pinós arrendà aquest castell per 85 lliures.
L’any 1357, Ramon Fortuny va ser nomenat batlle de saldes per Pere III Galceran de Pinós.
L’any 1370 es varen fer obres al castell, principalment a la residència del senyor.
En el fogatjament de 1365-1370 comptava amb 58 focs, també es troba inclosa aquí la parròquia de Turbaus. En el fogatjament de 1381, s’assigna al castell de Saldes, 36 focs.
L’any 1383, Bernat I Galceran de Pinós, heretà del seu germà Pere aquest castell i jurà de guardar els privilegis de Saldes.
L’any 1484, durant la revolta dels remences, aquest castell estigué en perill de ser pres pels pagesos.
Al segle XVII, aquest castell pertanyia al duc d’Alba.
El castell de Saldes 1261 mts. 31T 395983 4676487 feia molta enveja als moros, que el van voltar per tot arreu i es van posar al cap de fer-se'l seu, costés el que costés. El setge va durar mesos i anys, i va arribar un moment que els qui defensaven el castell no van disposar de la força suficient per a defensar-lo i va decidir abandonar-lo.
Una nit molt fosca, en què era impossible de veure res, van obrir les portes del castell i, muntats en cavalls, els defensors van emprendre camí avall. Per tal de desorientar els moros, els defensors van camviar la direcció de les ferradures dels cavalls, de manera que semblava que entressin al castell en comptes de sortir-ne. Quan ja eren molt enllà, els va semblar que pel darrera seu i vers el castell es veia com una claror molt forta; es van girar i van veure dalt del cel i damunt mateix del castell una gran creu de foc que brillava i centellejava.
Els fugitius van restar parats i van creure que allò era un avís del Cel perquè no abandonessin el castell, que la providència divina els empararia. Van girar gropa i van tornar cap al castell; abans, però, van desferrar els cavalls i els van posar les ferradures del dret.
A l'endemà els moros, que estaven una mica atordits pel signe lluminós que la nit abans havien vist sortir dalt del cel, van veure per tots els voltants del castell un gran nombre de petjades de cavall, totes disposades en direcció al castell. Van creure que els assejats havien rebut un gran reforç que els devia haver arribat de manera providencial i que aquell signe de la creu en el cel en devia ser el senyal. I, convençuts que ells no podien res contra el voler del Cel, van abandonar l'empresa i se’n van anar cames ajudeu-me per por de rebre un gran atac.
Font: Pedraforca Màgic.