Впервые замок Хоэншвангау упоминается в 1363 году как Synweln-башня или же круглая башня (Synweln Turm), а с 1476 года - как крепость Шванштайн (Burg Schwanstein), которая долгое время принадлежала семье рыцарей Швангау. В последующие века владельцы менялись, крепость много раз разрушалась и вновь восстанавливалась. Кронпринц Максимилиан Баварский, будущий король Максимилиан II и отец Людвига II, купил замок в 1832 году в виде руин и после реставрации стал использовать его как летнюю резиденцию.
Супруга Максимилиана II, мать будуших королей Баварии Людвига II и Отто I, Мария Фридерика Прусская очень любила замок Хоэншвангау и по-этому проводила с детьми в нём много времени. Дети жили во флигеле, а король с королевой - в основном здании. После внезапной смерти Максимилиана II Людвиг II, становится в 18 лет королём Баварии. Приехав в Хоэншвангау он сразу же переезжает из флигеля в основное здание, интерьеры которого расписаны бесчисленными росписями из германских легенд прославляющих деяния средневековых рыцарей. Зал лебединого рыцаря (бывшая столовая) украшен фресками на тему легенды о Лоэнгрине. В зале героев стоит часть обеденного прибора с мотивами из Саги о Нибелунгах, который был первоначально предназначен для резиденции в Мюнхене, однако позднее был перевезен в замок Хоэншвангау. В комнате Гогенштауфена стоит рояль, на котором играл Рихард Вагнер, а в эркере находятся 2 очень старинные русские иконы. В замке имеется очень много старых зеркал, стены замка отделаны баварским дубом и бразильским палисандром. Замок для того времени очень современно оснащен и даже имеет лифт, который был построен по приказу Луитпольда (Luitpold von Bayern), дяди Людвига II и Отто I, унаследовавшего замок. Несмотря на то, что Хоэншвангау официально считался летней резиденцией, в каждой комнате находятся очень красивые печки-камины, позволяющие владельцам жить в замке также и в зимнее время года. Слуги, обслуживающие камины, передвигались между стен замка, попасть в которые можно было только через очень маленькие двери-отверстия. В библиотеке (комната Вельфов) расположены 2 специально оборудованных читальных кресла: одно, которое поменьше, принадлежало Максимилиану II, а другое, побольше, Людвигу II. Именно здесь, в замке Хоэншвангау, Людвиг II начитает планировать строительство замка Нойшванштайн, за продвижением работ которого он любил наблюдать из окна своей спальни.