年6月30日晚，按照中共中央毛泽东的战略构想和部署，刘伯承、邓小平指挥部队在鲁西南张科镇到临淄集里地段上，一举突破了蒋介石自以为可抵40万大*的“*河防线”，揭开了人民解放*战略进攻的序幕。
刘邓大*突破*河天险的消息令蒋介石震惊无比，他立刻调兵遣将，以第2兵团王敬久14个旅的兵力，坚守郓城、菏泽、定陶一线，并派遣各路援兵齐头并进，其目的很明显，那就是要迫使刘邓大*背水一战，欲置其于死地。
面对国民*大*压境，刘、邓二人在经过冷静地分析敌情后决定将计就计，主动发起鲁西南战役。7月4日夜，刘伯承、邓小平率野战*指挥部在鲁西南寿张镇以南渡过*河，跟进到鲁西南，在山东郓城以南的郑家庄安营扎寨。7月8日晨，刘邓大*在歼灭敌55师后进入郓城，10日又全歼敌旅进入曹县、定陶。
此时，敌整编第70师一个半旅、第32师两个旅、第66师两个旅，分别抵达六营集、独山集和羊山集。在三个相距不到15公里的集镇上，从南向北，摆出了一字长蛇阵来抵御刘、邓大*的进攻。
毛泽东电示刘伯承、邓小平：
“要放手消灭敌人，歼敌越多，对山东粉碎敌人重点攻势，乃至尔后跃进大别山均极为有利。”
遵照毛泽东的这一指示，刘伯承决心采取“攻敌一点，吸其来援，啃其一边，各个击破”的战法来对付王敬久的一字长蛇阵。
7月13日，刘邓指挥部队以隐蔽果敢的动作，直扑王敬久的“长蛇阵”，迅速将其3个师分割包围，敌人在解放*的凌厉攻势下惊恐万分，陷入一片慌乱之中，不久便四散溃逃，各自逃命，完全丧失了抵抗能力。许多国民*士兵吓得扔下枪就往高粱地里一钻隐藏起来，最后都当了俘虏。另外敌人的火炮、武器弹药丢得到处都是，在道路两边随处可见。六营集东南方圆十几里的大洼地成为了敌10师和32师的最后归宿，到处都能听到解放*战士们的大喊声:“缴枪不杀，优待俘虏！”战斗至15日8时，国民*整编第32师、70师几乎全*覆没。残余各部及66师不得不退守羊山集。
羊山集是山东金乡城西北30华里处的一个大镇，居民千余户，村镇背靠羊山，这座山由西向东全长不过2.5公里，海拔约米，因为该山有三个突出山峰，远处望去，犹如一只绵羊卧在那里，羊山由此而得名。当地居民习惯称东峰为“羊头”，中峰为“羊身”，西峰为“羊尾”，羊身高于羊头和羊尾，能俯瞰整个羊山和羊山集，是兵家必争要地。
羊山集自古以来就是*事重镇，抗日战争时期日*就在羊山集修筑了大量坚固防御工事，当国民**第66师退守该地后，在日*残留的工事基础上又连夜加修了许多工事，把羊头和羊身两个制高点和十字街的主要房屋连在一起，构筑了核心阵地，有利于其固守和相互支援，此时正值雨季刚过，羊山集附近形成了沼泽地带。因羊山集一面靠山，三面环水，所以易守难攻。
在攻占六营集以后，陈再道指挥第2纵队，陈锡联指挥第3纵队，一起向羊山集地域敌第66师发起攻击，在66师师长宋瑞珂的指挥下，敌人凭借坚固工事作战顽强，并且还发起拼命反击。
7月15日，在一个大雨滂沱的夜晚，解放*向羊山守敌发起围攻。二纵四旅从羊山西南角进攻，抵达西阁门；五旅攻占了羊尾。三纵八旅攻占了羊头；九旅进攻南门。但是在佛晓时分，发起进攻的解放*各部都受到敌人守*在羊身制高点的火力压制而无法再进一步推进，在遭受重大伤亡后被迫撤退。
次日12时，敌整编66师约一个团的兵力，分两路向南突围，企图逃跑。三纵九旅二十六团及二十五团一部，在刘庄一带进行截击，顽强扼守阵地，歼敌大部，其余退守羊山集。17日，敌整编第66师在羊山制高点火力掩护下进行反冲击。解放*除二纵五旅一个营占领羊山尾部及四旅一营占领西关外一所独立院落外，其余全部溃败，部队伤亡惨重。战至7月下旬，我*连续发起的三次进攻都未能奏效，并且还受到了很大的伤亡，战事一时陷入胶着状态。
羊山久攻不下对刘邓大*来说非常不利，因为他们渡过*河之后便是无后方作战，举步维艰，根本不允许自己哪怕出现一点点的失误，如果继续长时间滞留在羊山集一带，等到敌人援兵一到后果将不堪设想。在7月19日，蒋介石就已经急飞开封城，亲自督战，又调来8个师1个旅的重兵驰援羊山集。所以羊山集必须尽快拿下。
7月23日，远在陕北的毛泽东专门给刘、邓发来电报指出:
“对羊山集、济宁两点之敌，判断确有迅速攻歼把握，则攻歼之，否则立即集中全*休整十天左右，除扫清过路小敌及民团外，不打陇海，不打新*河以东，亦不打平汉路，下决心不要后方，以半个月行程，直出大别山，占领大别山为中心的数十县，肃清民团，发动群众，建立根据地，吸引敌人向我进攻打运动战。”
同时，毛泽东还分别给陈赓、谢富治及陈毅、粟裕发出电文指示，要求陈谢兵团在8月下旬挺进豫西，陈粟率领的华东野战*西线兵团进入鲁西南牵制敌人，以配合刘邓大*南下。
在接到毛泽东的电报后，刘伯承冒着大雨赶到了羊山集前线，羊山集战况不利令刘伯承震怒不已，因为自从解放战争爆发以来，自己还未遭遇过如此窝囊的败仗。陈再道、陈锡联这两位二纵、三纵主官站在怒气冲天的刘伯承面前大气也不敢出，刘伯承狠狠地将头上的帽子摔在了地上说道:“仗打得太愚蠢了！太蠢了！不管你是多么高的指挥官，权威有多大，一个口令能使成千上万的人向你立正，但是你没有权利让哪怕一个士兵做无谓的牺牲！歼敌0，自损，一个指挥官不但要负歼敌0之责，也要负自损之责，不能随便死一个人！”
陈再道说道:“司令员，仗没打好，责任在我。”陈锡联也说:“三纵担任总攻，打羊山我是总指挥，司令员，处分我吧！”
陈再道面带愧色，向刘伯承做出了深刻检讨:“我们的主要问题是轻敌，连打了几个胜仗，开始麻痹大意了，对敌人防御能力估计过低，对敌情侦察的不详细。第一次攻击，5旅报告说攻下了羊尾，因为天黑对地形不熟，其实只攻占了几个小山包，并没有真正占领羊尾，听到羊尾被攻占后，就让4旅向羊山集攻击，结果天亮后敌人居高临下，用火力向我们反击，部队队形密集，遭到了炮火杀伤……”
陈锡联也接着说道:“我们三纵渡过*河之后就一直没有参战，兄弟部队攻郓城、拿定陶、打六营集，更挑起了我们急于求战的情绪。士气高昂本来是好事，但忽视了潜伏着的急躁、蛮干情绪，对敌情侦察不够仔细，工事也修建的不够坚固……”
听完他们二人的检讨，刘伯承摘下眼镜擦拭上面的雨水，情绪也缓和了很多，说道:“越是胜利，越要细心谨慎，打了半辈子仗，应该认识战争了。”然后刘伯承话锋一转，轻声问道:“怎么样？羊山还打不打？”陈再道和陈锡联几乎是同时喊道:“打，当然打！”
刘伯承拿出毛泽东发来的电报，然后说道:“蒋介石被我们打急了眼，派出了重兵朝鲁西南扑来，迅速攻下羊山有没有把握？”他们二人认为，敌人各路援兵尚在行进途中，金乡之敌已无力北援，主力可以集中起来，完全有迅速击败羊山守敌的把握。刘伯承鼓励将士们说：“蒋介石送上来的肥肉，我们不能放下筷子！”
为了尽快拿下羊山集，刘、邓调整了部署，将野司的榴弹炮营、一纵队的炮兵团都拉了上来支援羊山集前线，至此解放*在兵力上达到了10：3的优势。并将总攻时间定在了26日傍晚。
然而天公不作美，磅礴大雨从7月25日夜里一直下到26日*昏，总攻计划无法实施，被迫推迟到了27日。蒋介石也抓住这有利时机发出严令，命令援*加快向羊山集推进的速度，命王仲廉一日内赶到羊山，与金乡王敬久集团、鲁道源58师合击刘伯承部。如果在敌人援*到来之前还拿不下羊山集，那么敌人不仅会将66师接应出去，还会对包围羊山集的刘邓大*实施反包围，后果不堪设想。
蒋介石曾这样说道:“此战若予以彻底歼灭，则结束山东战事，指日可期。自明日（7月26日）起，各部队即应逐渐与匪主动接战，望各级官兵猛打穷追，达成任务。希饬遵照。”
7月27日，天气终于放晴，下午6时30分，解放*各部队发起总攻击。解放*以强大的炮火向羊山山头发起轰击，整个羊山顿时硝烟弥漫，随着炮火向前延伸，解放*各部队向羊山主峰冲去。担任主攻任务的七旅十九团三营营长南风岚，指挥突击九连在炮火掩护下一马当先向前攻击。
突然，敌人的十几挺重机枪在山头一个暗堡内疯狂射击，以强大的火力交织成一道火墙，在距离山头还有50米的时候，九连就只剩下20几个战士了。九连连长张玉喜组织战士扔出集束手榴弹，趁手榴弹爆炸时的烟雾，继续向前冲锋。但是由于敌人火力太猛，九连战士越来越少。十连连长赵金来命令一排长带二班从右侧顺交通沟迂回上去，占领一处断岩以接应九连，最终攻下了敌人的这处火力点。
战至28日拂晓，羊山集方向的枪炮声逐渐稀疏下来，敌人大部被歼，最后仅剩余敌66师师长宋瑞珂率领其亲信和三个警卫连，固守在羊山集东北角的一所院子里，准备作最后一搏。
二纵六旅十八团马上向敌人师部发起进攻，敌人三个警卫连根本无力抵抗，最终全部举手投降。一营二连指导员葛玉侠、一排长白振东率领30余名战士继续攻打宋瑞珂退守的高楼，解放*高喊：“缴枪不杀。解放*优待俘虏。”话音刚落，敌66师参谋长郭雨林举着双手出来投降。随后师长宋瑞珂也倒戴着*帽从楼内走出，规规矩矩地向葛玉侠行*礼。此时，羊山集战斗正式宣告结束。
羊山激战一天，蒋介石的王牌嫡系部队66师被全歼，此外还击落飞机2架，摧毁坦克2辆，缴获野炮、迫击炮28门、各种小炮门、轻重机枪挺、手提机枪支、长短枪支、汽车35辆、电台7部、骡马匹。解放*也伤亡惨重，二纵队司令员陈再道将*后来感慨万端地说：“羊山集这一仗，是我们打得最苦的一仗！阵亡的战士最多！”
至此，刘邓大*发起的鲁西南战役也宣告结束，共歼敌5万余人，俘敌4.3万余人，收复了鲁西南广大地区，从而打开了千里跃进大别山的大门。刘伯承为此兴奋地赋诗一首：狼山战捷复羊山，炮火雷鸣烟雾间。千万居民齐拍手，欣看子弟夺城关。