С. Завойко атаки союзного флота на Петропавловск, должен был снять гарнизон Петропавловского порта, жителей и военное имущество, и все это перебросить в устье Амура, то и совсем перестал считаться с заслугами Невельского и при первом удобном случае постарался убрать со своего пути такого самостоятельного в действиях и мнениях человека, как Г. И. Невельской.
   В признание заслуг Геннадия Ивановича, с которыми не считаться было нельзя, он был произведен в контр-адмиралы, награжден двумя орденами, но тем не менее дни его пребывания на Амуре уже были сочтены. Прибыв на Амур, летом 1865 года, Муравьёв, в качестве главнокомандующего всеми собравшимися здесь вооружёнными силами, назначил Невельского начальником своего штаба, одновременно сообщив последнему об упразднении Амурской экспедиции и создании новой администрации во главе с камчатским губернатором В. С. Завойко. Несмотря на преподнесенную "позолоченную пилюлю" -- важный пост, -- Невельской великолепно понимал, что это назначение является фактической отставкой. И действительно, когда Муравьёв осенью отбыл через Аян со своей свитой обратно в Иркутск, Невельской остался жить на Амуре в качестве частного лица безо всяких обязанностей, и летом 1856 года с женой и двумя детьми покинул край, в изучение которого вложил свои силы и всю душу.
   В начале ноября 1856 года мы видим его уже в С.-Петербурге, где, представляясь незадолго перед тем вступившему на престол Александру III он услышал от него, что Россия никогда не забудет его заслуг. Однако это было совсем не так. Геннадия Ивановича если и вспоминали, то весьма своеобразно. Его травили в печати и в аристократических кругах за якобы лживое утверждение о доступности Амурского лимана для морских кораблей, утверждали, что введенные в устье реки и прибывшие туда из Петропавловска суда не могут выйти оттуда из-за мелководья, за то, что якобы по его вине погиб фрегат "Паллада", взорванный в Императорской Гавани по распоряжению В. С. Завойко и не введенный в Амур из-за того же мелководья.