В городе Любиме, на высоком берегу реки Обноры, в месте где в неё впадает река Уча, сохранились земляные валы и глубокий ров. Это всё что осталось от городской крепости, которая вместе с посадом и составляли город. По остаткам земляных валов и рва можно определить размеры крепости: она больше Угличской, но меньше Ростовской. Сейчас на территории бывшей крепости находится городской парк и стадион. Крепость, по-видимому, строили несколько лет. Возглавлял строительство помещик Осип Фёдорович Кафтырев, назначенный городовым приказчиком. На сохранившемся плане города 1767 года хорошо видны очертания крепостной стены. С двух сторон крепость была защищена высокими берегами рек Обноры и Учи, с третьей стороны протекал ручей, существующий до нашего времени. Русло ручья было углублено, а с четвёртой стороны, между ручьём и рекой Учей, был прокопан глубокий ров, замыкавший водное кольцо. Вдоль ручья и рва был насыпан земляной вал. Вокруг города, по валу и по берегам рек были построены бревенчатые стены, дозорные и боевые башни. Попасть в крепость можно было по подъемному мосту через ров. При опасности нападения мост поднимали, запирая центральные ворота.