Тогда можно было открывать частные школы. Правительство разрешало делать это, полагая, что таким образом будит общественную инициативу в воспитании юношества.
Школа, поначалу, действительно была «зеер кляйне». В двух ее классах учились всего 30 учеников. Но пройдет пять лет и Май приобретет для своей школы здание по адресу Десятая линия, 13, где уже будут действовать частные гимназия, реальное училище, подготовительные классы и пансион. Здесь учебное заведение Карла Мая находилось до осени 1910 года, а затем переехало в новое, построенное специально для гимназии и реального училища архитектором Германом Гриммом здание на Четырнадцатой линии, 39.
К этому времени учиться в гимназии Мая давно уже стало престижным. «Майские жуки», как называли себя ее ученики, получали здесь прекрасное классическое образование и, как правило, поступали в Университет. Большое внимание уделялось здесь гуманитарным наукам и языкам. Причем, не только древним, но и современным. Выпускники гимназии знали, кроме немецкого, английский и французский.
Очень симпатична была позиция Карла Мая, как педагога. Определяя приоритеты образования и воспитания, на первое место он ставил воспитание. Май говорил, что надо вначале воспитать человека и гражданина, а уже потом подготовить его, как будущего специалиста. В гимназии преподавали историю искусства; уроки рисования вели преподаватели из Академии художеств; занимались гимнастикой и фехтованием. Летом «майские жуки» вместе со своими учителями отправлялись в дальние путешествия, в том числе и за границу. Кстати, учителя имели, как правило, свои научные труды по той или иной дисциплине.
Карлу Маю стремились отдать своих детей не только состоятельные члены немецкой общины, но и носители знаменитых княжеских и графских фамилий, государственные чиновники, преподаватели высших учебных заведений, творческая интеллигенция. При этом не заказана была сюда дорога ни мещанам, ни купцам и даже – крестьянам. Были бы способности и деньги.
До 1890 года преподавание в гимназии почти всех предметов велось на немецком языке.