張公山系涂山山脈，涂山一帶曾是原始社會(huì )后期涂山氏居住的地方。涂山腳下的禹會(huì )村，傳說(shuō)是當年治水英雄大禹會(huì )諸侯之地，作為行政村村名屬全國唯一，這里至今流傳著(zhù)大禹治水三過(guò)家門(mén)而不入的動(dòng)人故事。

張公山是歷史文化名山涂山山脈的組成部分，有著(zhù)悠久的歷史，據《懷遠縣志》記載：明朝嘉靖年間此山就叫張公山，山下一湖，名化陂湖，現更名為張公湖。相傳，明朝有個(gè)張姓戰將，解甲歸田，隱居山下，由于他德高望重，當地百姓尊稱(chēng)張公，張公山因此得名。

清朝，張公山頂建有寺廟，每年還有一次初春廟會(huì )。該廟原名“寺山廟”，后改名“中岳廟”，又改為“觀(guān)音廟”。由于廟的基礎南高北洼，廟門(mén)朝北，當地百姓又稱(chēng)之為“倒座觀(guān)音廟”。

民國27年（1938年）日軍侵占蚌埠后，寺山廟遭到徹底毀壞。

1973年，蚌埠市政府決定利用張公山與化陂湖的自然風(fēng)景和優(yōu)美環(huán)境，將此山辟為公園，1975年建園工程全面開(kāi)工。1983年7月1日，張公山公園正式對外開(kāi)放。

          從1986年以來(lái)，張公山公園各項基礎設施和景點(diǎn)建設日益完善。先后建成了湖濱餐廳、水榭長(cháng)廊、園中園、望淮塔、兒童樂(lè )園、月季園、動(dòng)物園等。

2009年被國家旅游局授予國家AAAA級風(fēng)景區稱(chēng)號。

2012年，經(jīng)蚌埠市政府會(huì )議研究，由城投公司承擔資金保障工作對張公山景區進(jìn)行提升改造。