В X-ом веке на месте нынешнего замка было возведено первое укрепление из дерева. Герцог Анжуйский возвел каменную крепость, и она перешла к его внуку Генриху II-мы Плантагенету. Затем замком Лош владел знаменитый Ричард Львиное сердце. Во время пребывания Ричарду в плену у императора Священной Римской империи замком овладел король Франции Филипп II-ой Август. Англичане во время Столетней войны захватили замок и владели им вплоть до XIV-го века, когда он окончательно стал французским.
Отбил его Карл VII-ой. Фаворитка Карла VII-го Агнесса Сорель стала жить в одной из башен замка. Она покровительствовала церкви Нотр-Дам-Де-Лош, в настоящее время носящей название Сент-Урс. Агнессу похоронили в этой церкви, после того как она умерла, предположительно от яда, который применил Людовик XI, будущий король Франции. Агнесса оставила церкви щедрое пожертвование, и ее прах сохранялся в церкви вплоть до революции, когда церковь разрушили, а могилу Агнессы осквернили.
Затем останки были перенесены в замок. Урну с прахом можно осмотреть в северном крыле замка. Ставший королем, Людовик XI-й образовал тюрьму в замке Лош. Ходят страшные слухи о проишествиях в замке в это время. Затем, в XV-ом веке в замке были построены жилые пристройки и башни. Анна Бретонская, супруга сначала Карла VIII-го, а затем и Людовика XII-го, имела там свои покои. Непосредственно в замок ведут Королевские ворота, в которые можно войти по улице Порт. На одной из башен сохранилась интересная надпись, а в подвалах – камера пыток тех времен, когда замок был тюрьмой. Сохранились даже кандалы пленников. Королевские же апартаменты находятся в северной части замка, а с террасы открывается великолепный вид на долину реки и город.