С Семипалатинском Ф.М.Достоевского связывают проведенные здесь годы ссылки (1854-59гг.). В 1854 году ссыльнокаторжный петрашевец Ф.М.Достоевский, окончивший срок каторжных работ в Омском остроге, был зачислен рядовым в Седьмой сибирский линейный батальон, стоявший в Семипалатинске. Здесь, на казахской земле, он провел 5 лет своей жизни.
Семипалатинский период для писателя был временем тяжелой службы солдатом, а затем унтер-офицером и прапорщиком. Это время медленного и трудного возвращения к жизни, к литературе после многих лет вынужденного молчания.
Здесь Достоевский впервые полюбил, и семипалатинские годы были освещены любовью к Марии Дмитриевне Исаевой. Он встречался с интересными людьми: Семеновым-Тяньшанским П.П., Врангелем А.Е., с особой теплотой вспоминал о дружбе с Ч.Валихановым – казахским ученым и путешественником.
История литературно-мемориального дома-музея Ф.М.Достоевского начинается со старого деревянного домика, в котором во второй половине ХІХ века Достоевский снимал квартиру после венчания с М.Д.Исаевой.
В октябре 1965 года решением Семипалатинского горисполкома часть дома на втором этаже была освобождена от жильцов для городской библиотеки №15. Заведующая библиотекой Зинаида Георгиевна Фурцева стала собирателем и хранителем материалов о писателе. Её усилиями и стараниями была заложена основа музея, создан первоначальный фонд.
В 1971 году, когда мировая общественность отмечала 150-летие со дня рождения Ф.Достоевского, музей приобрел статус областного литературно-мемориального.
Сейчас Литературно-мемориальный дом Ф.М. Достоевского в г. Семей Восточно-Казахстанской области вошел в список 100 сакральных объектов Казахстана от ВКО.