В двадцатые годы XVIII века на месте нынешней Академии художеств стояли три каменных трехэтажных здания, принадлежавших крупным деятелям Петровской эпохи. Одно из них выглядывало на Четвертую линию, открывая счет будущим каменным строениям. Но строения эти не спешили сюда являться… Судя по плану Можаева, к 1750-м годам здесь прибавилось всего лишь два каменных дома. Сооружать дома в камне на Четвертой и Пятой стали лишь в начале XIX века. Они появились на отрезке от Университетской набережной до Большого проспекта, как бы поддерживая своим присутствием гигантское здание Академии художеств, а затем – отдельными островками на пути до самого Малого проспекта и реки Смоленки; тогда она называлась Глухой или Черной. Причем каменные строения, находившиеся за Малым проспектом, принадлежали купцам и имели в основном утилитарное значение, используясь под складские или хозяйственные надобности.
Словом, Четвертая и Пятая долго, очень долго по городским меркам считались откровенным захолустьем. В начале линий не существовало еще привычной ныне гранитной стенки; невский берег часто подсыпали; набережная была сплошь из деревянных настилов, неухоженная, заросшая травой, с проходами к тоням, где можно было ловить рыбу. На этих тонях, по воспоминаниям Марии Федоровны Каменской, которая жила рядом с Академией художеств, часто можно было видеть ее отца – вице-президента Академии художеств, Федора Андреевича Толстого со своим кучером, помогавшим графу насаживать на крючек червей… На берегу горели маленькие печи, и перепачканные смолой и дегтем матросы с ошвартованных здесь же кораблей, пили из жестяных кружек заморский напиток – кофе.
Чудным, необыкновенным зрелищем представал быт Четвертой и Пятой линий для человека, приехавшего сюда на извозчике, скажем, с Адмиралтейской стороны столичного города Санкт-Петербурга. По описаниям той же М. Ф. Каменской рядом с Академией художеств он вполне мог встретить юную девицу, несущую на плечах коромысло с наполненными до краев ведрами невской воды.