Крепость была укреплена земляным валом и представляла правильный четырехугольник. Вокруг был вырыт ров и внутри сверх вала поставлен палисадник высотой с человека. Позднее в крепости была построена небольшая деревянная церковь с отдельной колокольней.

В 1720 г. гарнизон Усть-Каменогорской крепости составлял 363 человека. Офицеры и солдаты занимались охотой и рыбной ловлей. Но ощущалась большая нехватка хлеба, который завозился из Тобольска. В 1745 г. офицеры гарнизона засеяли небольшой участок земли, с которого получили неплохой урожай. С 1746 г. при иртышских крепостях введены казенные пашни. Так в Усть-Каменогорске возникло земледелие.

Население Усть-Каменогорской крепости росло медленно, в основном за счет прикрепления сибирских казаков, отставных нижних чинов, крестьян-добровольцев, ссыльных поселенцев, беглых раскольников. В 50-80 гг. возле крепости поселились крестьяне Бердского и Чаусского острогов, белоярской слободы, Ишимского, Ялуторовского и Тарского уездов, Тобольской провинции. С этого времени началось развитие животноводства и ремесел.

В 1765 г. вблизи крепости был устроен меновой двор для приезжающих «ташкентцев, бухарцев, киргизов», русских купцов из Сибири и Центральной России.

В том же 1765 г. 20 июня во время пожара Усть-Каменогорская крепость сгорела до основания.

В июне 1772 г. в крепости была заложена новая деревянная церковь, которая была освящена 6 июня 1774 г.

В 1786 г. командиром Иркутского драгунского полка полковником Н. Н. Аршеневским в Усть-Каменогорск были завезены пчелы. С тех пор пчеловодство стало быстро распространяться по всей округе.

С открытием в конце XVIII века Риддерского и Зыряновского рудников Усть-Кменогорская крепость начинает играть роль перевалочной базы, через которую перевозилась руда на алтайские заводы гужевым и водным путями.