1944年8月,为收复豫皖苏边区,按照党中央的指示,彭雪枫率十一旅及九旅主力挺进津浦路西。首战小朱庄,全歼日伪合流的王传授支队的三个团;再克夏邑八里庄,消灭了集伪、顽、匪于一身的李光明部。不幸的是,在八里庄战斗中,彭雪枫壮烈殉国,四师十一旅等主力部队官兵,有300多人英勇牺牲。为缅怀彭雪枫的光辉业绩,纪念西进以来牺牲的革命烈士,路西地委书记吴芝圃、军分区司令员张震、政委赖毅率十一旅在涡阳县龙山集休整时,顺应边区人民和部队官兵的愿望,决定建造烈士陵园。陵园的地址就选在曹市集东灰山上。灰山是一个方圆约2000平方米的山包,表土以下皆是青石,可以锻烧石灰,“灰山”之名即缘此而得。1945年5月21日,四师十一旅三十团攻克日伪据点袁店集。战斗中我牺牲官兵24人,就埋葬在灰山脚下。