Кроме того Тотьма была местом политической ссылки ещё с XVII века. Особенно много ссыльных побывало здесь во второй половине XIX — начале XX веков: писатель-народник, публицист П. Л. Лавров, начавший здесь работу над своими «Историческими письмами», писатель-демократ Н. В. Шелгунов, этнограф-фольклорист Г. Н. Потанин, будущий нарком иностранных дел СССР В. М. Молотов. В 1876 году здесь недолгое время пробыл писатель В. Г. Короленко, позже описавший свои личные впечатления о городе в «Истории моего современника», одна из глав которой так и называется — «Остановка в Тотьме». Здесь в 1903—1904 гг. был революционер, будущий министр Просвещения Луначарский А.В.
Также в Тотьме останавливался, перебираясь из Сольвычегодска в Вологду, И. В. Джугашвили, больше известный нам как Сталин.