Verso il 1340 due figli del Marchese Manfredo, cioè Teodoro Bonifacio ebbero le Signorie di Scarnafigi e di  Torre S. Giorgio (Teodoro ebbe un figlio di nome Giorgio), ma l’anno successivo il partito di coloro che non vollero riconoscere Manfredo Marchese di Saluzzo, sfogò le sue vendette anche a Torre, di cui occuparono il Castello. Nel 1346, l’infelice Tomaso II rientrò in possesso delle sue terre, compreso il nostro Castello, in forza della sentenza di Milano, di cui furono arbitri il Vescovo e il Signore di questa Città, Giovanni e Luchino Visconti (costoro erano parenti di Biccarda, contessa di Saluzzo).
Nel 1357 si dovettero subire nuove devastazioni e scorrerie, quando fecero qui sosta, in giugno, le bande dei Milanesi e dei Genovesi del Siniscalco (ufficiale comandante) di Giovanna, Regina di Napoli, alleata dei Principi d’Acaja, in urto con Federico di Saluzzo che si ebbe la peggio.
Nel 1396 Filippo dei Solaro di Asti acquistò il feudo di Torre S. Giorgio dai Signori di Cardè; dopo i quali restò il ramo di Moretta, discendente di Agaffino che assunse il titolo e i diritti della Torre, Estinto nel Conte Emanuele, passarono i diritti ai nipoti Vassallo di Costiglione che rinunciarono al Patronato.