Отец его, Алексей Иванович, сам белозер, служил тогда помощником управляющего лесным имением графа Олсуфьева. Управлял имением казак Петр Иванович Усатый, сын запорожца, бежавшего на Кубань после разгрома Сечи, участник кавказских походов, человек недюжинной физической силы. На его шестнадцатилетней дочери, Надежде Петровне, и женился отец Гиляровского.