Основателем замка считается король Хокон V Магнуссон. Вместе с крепостью в норвежском Тёнсберге они были сильнейшими цитаделями Скандинавии. По легенде, король заложил замок после того, как на него напал Альв Эрлингссон из Сарпсборга. Это первый случай в истории норвесжкой архитектуры, когда замок был построен из кирпича и камня.
Замок пережил осаду 1308 года (шведы под руководством Эрика Кнутссона). В 1527 году замок сгорел дотла и был перестроен из камня цистерианского аббатства с соседнего острова.
В 1989 году Папа Римский Иоанн Павел II отслужил на площади крепости Акерсхус мессу — это был первый в истории случай, когда глава Римской католической церкви посетил Норвегию.
Королевские саркофаги в усыпальнице замковой часовни.
В замковой часовне похоронены норвежские монархи: король Сигурд I, король Хокон V, королева Ефимия, король Хокон VII, королева Мод, король Улаф V и кронпринцесса Марта.
В настоящее время в замке действуют музеи Сопротивления и вооруженных сил Норвегии. В крепости размещаются штаб вооруженных сил Норвегии и министерство обороны. Замок с часовней и крепость открыты для посещения туристами.