Фарлейг был поместьем благородной семьи Монфор (Montfort). В 1369 году замок у Монфором преобрёл Томас Хунджерфорд, «гражданин и торговец Нового Сарума» (citizen and merchant of New Sarum). Он был более влиятельным человеком, чем это можно было предположить из его негласного титула, поскольку являлся распорядителем Джона Гонта 1-го графа Ланкастера, и некоторое время Спикером Палаты Общин. Его отец был помощником шерифа Солсбери, а его дядя, одним из Судей Короля в Эйре. Томас сам посвятил себя в рыцари посредством влияния Джона Гонта и, в 1383, получил лицензию на укрепление своего особняка, который был впредь известен как Фарлейг Хангерфорд вместо Фарлейг Монфор. Он также купил и другие поместья в окрестностях.
Его сын Уолтер, великий воин, и сподвижник Короля Генриха V в битве при Азенкуре и Осаде Руана, был возведён в ранг пэра на четвертом году правления короля Генриха VI. Он стал Рыцарем Подвязки и дослужился до должности, Лорда Высшего Казначейства обеспечив себе безбедную старость вплоть до своей кончины в 1449. Это было подобно возвеличеванию купеческой семьи Де ла Поль из Суффолка, и также как и в Суффолке, линия Перов Хангерфорд была оборвана ударом топора палача. Третий Барон, Ланкастера, как приличествующийся потомок стюарда Джона Гонта, был казнен после битвы при Хэксхэме, где он был взят в плен. Последний Хангерфорд, кто носил Баронское название, пал жертвой одного из подозрительных припадков Генриха VIII и был обезглавлен в 1541. Решение о лишение гражданских прав и конфискация имущества в результате приговора к смертной казни за государственную измену ни разу не обжаловалось. Баронство прекратило своё существование, но Хангерфорды продолжали владеть Фарлейгом, вплоть до правления Чарльза II, когда они потеряли его из-за постоянных причуд последнего главы своего дома.
Изначально Фарлейг был замком квадратной формы с двумя внутренними дворами. Во время своей поездки по Сомерсету Леланд заметил, что замок достаточно крепок, поскольку находиться на возвышении, имеет укреплённые ворота и стены с изящными, но мощными башнями.
На внутреннем дворе находились двойная часовня, здание большого зала с тремя величественными палатами. К сожалению, на сегодняшний день сохранилась, только внешняя надвратная башня, часть крепостной ограды с остатками двух башен и двойной часовни: большой часовни Святой Лоуренса с малой часовней Святой Анны пристроенной к ней.
He died on the 5th of December 1607. That's exactly 403 years ago
В Тюдоровские времена Фарлей видел разные домашние трагедии, многие из которых ещё живы, в легендах. Леди Агнес, вторая жена Хангердорф в1522 году, обвинялась в отравлении своего мужа и повесилась вместе с одним из слуг, как свидетельствуют хроники Стоу. Ее пасынок, последний лорд Хангерфорд был казнён Генрихом VIII. Он держал свою жену в заточении в течение четырех лет в башне теперь известной как Башня Леди, разрешая ей видеть только священника, наполовину моря ее голодом и (если верить её ходатайству Секретарю Кромвеллу), дважды или трижды пытался отравить её.
Местная легенда повествует о том, что он ревностно относился к знакам внимания оказываемым его супруге местным распутником «Диким Вилом Дарреллом» из Литллкота ("Wild Will Darrell" of Littlecote), но по этому поводу нет никаких точных сведений. Когда голова ее мужа легла на эшафот, Леди Хангерфорд освободилась из своего плена и вышла замуж за сэра Роберта Трокмортона (Sir Robert Throckmorton), родив ему четыре дочери и двух сыновей. Но здоровье её так и не восстановилось после долгого пребывания в заточении.
Последними главами дома Хангерфорд, в XVII веке были последовательно два рыцаря, отец и сын. Сэр Эдвард Хангерфорд был рьяным Пуританином, долгое время заведовал сбором Парламентских налогов в Уилтшире, "из выдающегося рвения служить стране", (of eminent zeal for his country) как гласит церковная запись сделанная во время его похорон в 1648.
В противовес родительской строгости, сын последнего сэра Эдвард вел абсолютно противоположный образ жизни. В историю он вошёл под прозвищем «Хангерфорд Расточитель» (Hungerford the Waster) и являлся самым недостойным представителем двора Чарльза II. Он уплатил 500 фунтов за пост сановника, получив который проявил недюжинную страсть к азартным играм в которых не имел успеха и одно за другим пустил по ветру двадцать восемь поместий. Как говорили, он спустил 30 000 фунтов на зелёное сукно. Последняя его попытка раздобыть деньги состояла в том, чтобы превратить свой дом и сад в Лондоне в общественный рынок – известный с тех пор как Рынок Хангерфорда (Hungerford Market). Свою бедную старость он провёл в единственно оставшемся поместье Black Bourton в Оксфордшире. После кончины его бездетного сына в 1748 году, история дома Хангерфорд подошла к своему завершению. Замок же «Расточитель» ещё в 1686 продал господину Бэйнтону. С тех пор замок оказывался в руках многих владельцев. Но здания замка постепенно ветшали. Большое количество камня из замковой кладки ушло на строительство дома Фарлей (Farleigh) в расположенном поблизости парке. Граф Кэрнс (Earl Cairns) спас остаток зданий от полного разрушения, покупая их и представляя заботу о них организации предшественнику английского Наследия, которая сегодня заботиться о сохранении этого памятника истории.