Начало 19 века было знаменательным для Усть-Каменогорской крепости.
В 1804 году она получает статус города. Согласно Уставу 1822 года город Усть-Каменогорск относится к разряду малолюдных городов.

В течение века неоднократно изменялось административное подчинение Усть-Каменогорска. В 1822 году Усть-Каменогорск входил в состав Омской области, в 1836 году – Томской, в 1854 году – Семипалатинской области.

В 1869 году в составе Семипалатинской области образовался новый Усть-Каменогорский уезд с центром в Усть-Каменогорске. В качестве уездного города Усть-Каменогорск пребывал до 1917 года.

Усть-Каменогорск был важным перевалочным пунктом в торговле с Синьцзянем, Кашмиром, Тибетом. Через Семипалатинск, Усть-Каменогорск,

Зайсан осуществлялась русско-монгольская торговля.

С 30-х годов 19 века в Прииртышье начала развиваться частная золотая промышленность. Золотопромышленники в большинстве своем проживали в Усть-Каменогорске.

К 1825 году число жителей составляло всего 1304 человека: мужчин – 891, женщин – 413.

В первой половине 19 столетия Усть-Каменогорск был небольшим захолустным городишком с несколькими кривыми улицами и переулками, не имевшими поначалу вообще никакого определенного названия. В городе имелось 207 деревянных домов, девять лавок, один питейный дом, пять кустарных предприятий и одна церковь. Каменных домов не было.

Осенью и весной улицы от непролазной грязи становились трудно проходимыми. Жители в такое время предпочитали отсиживаться дома. Жизнь в городе протекала скучно и однообразно. Ни школ, ни библиотек, ни театра не было, но зато в винных лавках недостатка не ощущалось. Драки, скандалы, сплетни были обычным явлением. Особенно сильно процветало пьянство. По этому поводу газета «Сибирь» писала: «На четыре тысячи жителей в городе существует 18 кабаков и выпивается в год, по приблизительному подсчету, до 9000 ведер водки, кроме наливки и вин…».

Из-за отсутствия школ наиболее богатые родители посылали своих детей учиться в Омск, Томск, Семипалатинск, а иногда и в центральные города России. В самом Усть-Каменогорске практиковалось обучение в частных школах на дому, в которых, как правило, детей обучал грамоте местный священник или какой-либо отставной чиновник. Основная масса населения была лишена возможности отдавать своих детей учиться.

В 1837 году в Усть-Каменогорске при татарской мечети открылась мужская магометанская школа, позднее – школа для сыновей казаков расквартированного здесь девятого казачьего полка. В 1861 году в этой школе обучалось всего 20 учащихся.

В 1863 году открылись мужское и женское приходские училища, которые размещались в одном небольшом деревянном доме. Первым учителем приходских училищ был коллежский регистратор Василий Иванов, окончивший Томскую полубатальонную школу кантонистов. На 1 января 1868 года в мужском училище было 36 учащихся, в женском – 12.

В 1881 году мужское приходское училище было преобразовано в трехклассное городское училище.

В целях распространения грамотности среди казахского населения в 1874 году в Усть-Каменогорске открылся интернат для казахских мальчиков, преобразованный в 1885г., а затем в 1894-1895 гг. в сельскохозяйственную школу. С конца 19 века в сельскохозяйственной школе было введено совместное обучение русских и казахских мальчиков.

В 1888 году открылась церковно-приходская школа. В конце 19 века открылось еще одно мужское приходское училище.

В течение 19 века в ходе своих экспедиций Усть-Каменогорск посещали знаменитые ученые-путешественники: Александр фон Гумбольдт, Владимир Афанасьевич Обручев, Григорий Николаевич Потанин, Василий Васильевич Сапожников, Петр Александрович Чихачев, Григорий Ефимович Щуровский.

В 1829 году, направляясь на место своей ссылки в Бухтарминскую крепость, в Усть-Каменогорске был проездом М. Муравьев-Апостол.

В 19 веке в Усть-Каменогорске проживала довольно значительная колония ссыльных: А. В. Бяловеский, С. С. Гросс, А. Л. Блек, Н. И. Долгополов, Ц. О. Тэраевич, О. Ф. Костюрин, А. Н. Федоров, В. Л. Иньков, В. Ф. Гинтовт-Дзевялтовский, и. В. Емельянцев. В 1882 году из Семипалатинска в город на жительство переезжает Е.П. Михаэлис. Они многое сделали для развития культуры Усть-Каменогорска. Благодаря их деятельному участию в марте 1896 года была открыта библиотека, в 1899 году заложен городской сад, в 1897 году построено здание церковно-приходского училища.

В 1886 году О. Ф. Костюрин открывает кузницу, а позднее мастерскую, средства от которой шли на благоустройство города и развитие народного образования.

Подлинным бедствием для жителей города были наводнения. Особенно сильные случились 14-17 апреля 1891 года и 28 марта 1892 года.

На рубеже 19-20 веков, в 1897 году в Усть-Каменогорске насчитывалось 1297 домов, 2 церкви. Промышленность города была представлена карликовыми кожевенными, мыловаренными, маслобойными, овчинными и кирпичными заводами, на которых работало по одному, по два рабочих.

По данным первой Всеобщей переписи населения Российской империи 1897 года в Усть-Каменогорске проживало 8721 человек, из них 4552 мужчины и 4169 женщин.

К началу 20 века Усть-Каменогорск уже не производил на приезжих такого мрачного впечатления, как в начале века. По словам Б. Г. Герасимова, в конце 19 века «Усть-Каменогорск – чистенький и довольно веселый городок. За последние годы в нем появилось много садов, весьма декорирующих город».