Само строительство учрежденной во второй раз уже при Екатерине II Академии началось в 1764 году именно со стороны сада, что подтверждает и план не раз уже упомянутого нами Сент-Илера.
Как бы там ни было, но свой нынешний облик сад приобрел уже в веке XIX. Первым, кто обратил на сад внимание, проявил к нему особый интерес, был президент Академии художеств А.Н. Оленин. Он предложил построить по его периметру четыре портика, напоминающие архитектуру Древнего Египта, Древней Греции, Персии и Рима. По замыслу Оленина с помощью этих наглядных образцов ученики, «гуляя по садовому месту и рассматривая сей образец», должны были лучше постигать культурное наследство прошлого. Но идея эта так и не была реализована. Хотя за ее воплощение брался сам Александр Павлович Брюллов. Он даже выполнил задумку Оленина в чертежах, но, увы, чертежи не получили одобрения.
Зато именно от Брюллова осталась нам планировка сада. Он разбил дорожки, спроектировал ограду и в 1847 году на перекрестке двух центральных аллей установил гранитную колонну.
Происхождение ее весьма любопытно. Оказывается, этот гранитный монумент – не что иное, как запасная колонна для интерьера Казанского собора. Ее высекали на случай если, не дай бог, что-то произойдете другими колоннами: треснут ли они или расколются при неосторожной установке. Но все обошлось благополучно, и Александр Воронихин, по проекту которого, как известно, строился Казанский собор, передал лишнюю колонну Академии с тем, чтобы ее установили там, в круглом дворе, в честь пятидесятилетия этого храма искусств. В круглом дворе монолит простоял с 1807 по 1817-й год, а затем был заменен на гипсовую модель памятника Минину и Пожарскому. Три десятилетия колонна оставалась не у дел, пока в 1847 году Александр Брюллов не нашел ей достойного применения в Академическом саду.
Архитектор с помощью модельера А.П. Лялина несколько изменил её внешний вид. Теперь колонну венчал не шар, как это было у Воронихина, а символ искусств – лира. Римско-ионическую гранитную капитель заменила капитель бронзовая.