První zmínka o hradním sídle na místě dnešního zámku je z roku 981 a je zapsána v Kosmově kronice. V té době ležela Litomyšl na historické obchodní Trstenické stezce, kterou hrad střežil. Okolo roku 1145 pozval olomoucký biskup Jindřich Zdík do Litomyšle nový řád premonstrátů, díky jejichž novému klášteru získalo zámecké návrší jméno Olivetská hora. Klášter se postupně stal ekonomickým i kulturním centrem a okolo kláštera či na úpatí Olivetské hory se rozrůstalo nové městské sídlo. V roce 1259 získala Litomyšl od krále Přemysla Otakara II. městská práva a v roce 1344 zde císař Karel IV. založil nové biskupství, druhé nejstarší po pražském. K jeho založení využil částečně i klášter premonstrátů. Biskupství spravovalo Litomyšl až do roku 1425, kdy je vyplenili husiti.
 
Mezi roky 1432 až 1547 bylo panství v držení rodu Kostků z Postupic. Pod jejich vládou Litomyšl vzkvétala, ale stala se také důležitým centrem bratrské víry, protestantské náboženské komunity, která se v Čechách formovala od druhé poloviny 15. století. Litomyšl však byla zabavena poslednímu členovi rodu Kostků z Postupic kvůli účasti v povstání proti králi, tzv. prvním stavovském povstání.
 
Od roku 1567 získali Litomyšl do zástavy členové velmi vznešené rodiny pánů z Pernštejna. Prvním z nich byl Vratislav z Pernštejna zvaný Nádherný. Zastával funkci kancléře českého království, tedy prvního muže v zemi hned po králi (dnes tomu odpovídá např. úřad ministerského předsedy). Ještě předtím procestoval notný kus Evropy. Navštívil Francii, Anglii a znal také velmi dobře Itálii. V roce 1551 vedl dokonce poselstvo českých pánů do Janova,a kde se setkal císař a český král Maxmilián II. se svou novou manželkou Marií Španělskou. Jednou z jejích dvorních dam byla také Marie Manrique de Lara ze vznešené španělské rodiny Mendoza, která se později stala Vratislavovou chotí.
 
Říká se, že nový zámek v renesančním stylu byl vystavěn Vratislavem z Pernštejna právě pro jeho krásnou španělskou paní. Základní kámen byl položen v roce 1568. Zámek byl dokončen v roce 1581. Budova ve stylu moravských renesančních zámků byla navržena italským architektem Gioannim Baptistou Avostalisem de Sala.
Poslední členka rodu, Frebonie z Pernštejna, pozvala do Litomyšle řád piaristů, který dodal místu nový barokní nádech. Po její smrti byl však zámek v roce 1649 prodán německému rodu Trauttmansdorffů. Následně pak od roku 1753 panství se zámkem vyženili Waldstein-Wartenbergové, kteří však během své správy nashromáždili tolik dluhů, že v roce 1855 byla Litomyšl prodána posledním majitelům rodu Thurn-Taxis. Ve 20. století se majitelem zámku stal stát, od roku 1945 Československo, od roku 1993 Česká republika. Dodnes je zámek státním majetkem a je spravován Národním památkovým ústavem.
 
V roce 1999 byl zámek v Litomyšli pro jedinečnou renesanční architekturu zapsán na Seznam světového dědictví UNESCO.