Pendant la croisade albigeoise Simon de Montfort prend et pille Le village d’ Arques, vers 1210. Par la suite il donne la seigneurie en récompense à son lieutenant, Pierre de Voisins. Mais c’est en 1280 que Gilles, son fils, commence la construction du château d’Arques qui se termine vers 1310, par son petit-fils Gilles II. Le château d’Arques s’élève au sommet d’un petit mamelon isolé, à quelques centaines de mètres à l’ouest du bourg.