Dell’antico castello di Buja, comune in provincia di Udine, oggi restano alcune rovine visitabili esternamente. Sorse dove in epoca preistorica propabilmente c’era un villaggio neolitico, che venne in seguito trasformato in castelliere. I romani ne crearono un “castrum” con compiti difensivi. 

Nel 792 viene citata “Boga” all’interno di una donazione di una chiesetta da parte di Carlo Magno al Patriarca Paolino II. Venne incluso nella famosa donazione di cinque castelli dell'imperatore Ottone II al Patriarca Rodoaldo, nella dieta di Verona dell’11 giugno 983, entrando così a far perte stabilmente dei beni patriarcali.

Lo ebbero in feudo parecchie famiglie, tra cui i Signori di Buja, di Varmo, d'Arcano (1265). Nel 1267 Adalferio V di Feltre e Belluno e Lodovico di Villalta (anche per i tre fratelli) rinunciarono per mille libbre d'oro di piccoli, alla loro parte di abitanza nel castello, alla torre, nonché ad altri possessi. Il maniero passò poi a Costantino Crisimano Savorgnan, ma il Patriarca Raimondo della Torre ordinò (1298) di restituirglielo con tutti i diritti ottenuti. 

Nel 1312 il Patriarca Ottobono de' Razzi lo concesse con tutti i privilegi ed abitanza perpetua a Federico di Prampero. L’anno seguente fu conquistato, nonostante la strenua difesa, dal Conte di Gorizia. Ritornato tra i possessi patriarcali, Bertrando di San Genesio lo fece restaurare (1335) perché logorato dalla vecchiaia e dagli eventi storici.

Unite Buja e Artegna alla gastaldia di Gemona nel 1340, venne ceduto nel 1341 per otto anni a Vicardo di Colloredo con l'obbligo di mantenerlo efficiente. Fu ripreso nel 1345 dai Conti di Gorizia. Trovandosi ancora in pessime condizioni il maniero fu concesso ai fratelli Alessandro, Giovanni e Giuliano del fu Bertrando Bugni, di Tolmezzo, a patto che lo mettessero in efficienza.