フィッツロイガーデンの名前は、サバーブのフィッツロイと共に、ＮＳＷ（New
South Wales)植民地第十代総督チャールズフィッツロイSir Charles Fitzroyに由来します。フィッツロイ家は、英国の貴族である侯爵（Duke)の家柄で、代々のフィッツロイ家は、英国の首相や主要な政治家を排出した名門です。
チャールズフィッツロイは、１７９６年に生まれ１６歳で陸軍に入隊し、１９歳の時にナポレオンボナパルトの軍隊とワーテルロー（Waterloo)で戦って負傷しています。２９歳で陸軍中佐に昇進し、南アケープタウン植民地の副司令官に昇進しました。１８４５年、４９歳の時にオーストラリアＮＳＷ州第十代総督に昇進してシドニーに赴任しています。
フィッツロイガーデンの名前は、サバーブのフィッツロイと共に、ＮＳＷ（New
South Wales)植民地第十代総督チャールズフィッツロイSir Charles Fitzroyに由来します。フィッツロイ家は、英国の貴族である侯爵（Duke)の家柄で、代々のフィッツロイ家は、英国の首相や主要な政治家を排出した名門です。
フィッツロイのＮＳＷ州総督の任期中の最大の出来ことは、ポートフィリップ地区の独立を認めたことです。ポートフィリプ地区とは現在のビクトリア州（当時はビクトリア植民地）のことです。
フィッツロイは、多くの改革を実施した有能な総督でしたが、奥さんのマリーをシドニーでの交通事故で亡くし、傷心のまま辞任して１８５５年１月にイギリスへ帰任しています。更に同年９月、フィッツロイの長男は、ウクライナのクリミア戦争で長男が戦死しています。フィッツロイ本人は、１８５８年２月に６１歳で亡くなっています。
チャールズの異母兄弟は、ロバートチャールズといって、進化論を書いたチャールズダーウィンを乗せた世界一周探検の旅のビーグル号の船長で、後のニュージーランド総督となった人物です。