五月四日凌晨十二点半，暂编第七旅副旅长梁乐贤负责指挥重炮团第三营，第四营，第九团27营，团部直属重迫击炮连，战防炮连，工人武装队共三千人部队负责留守北关镇。
而第九团团长黄毅轩则是带领团主力，掩护司令部和重炮团第一营，第二营撤离。
日伪军部队逐步开始将北关镇合围起来，梁乐贤指挥的留守部队，彻底陷入到日伪军攻击中。
从凌晨一点钟开始，日军27师团，36师团，皇协军第八军展开数次集团冲锋，日伪军以大队和团为单位实施攻击，连续猛攻，枪炮声几乎没有停歇的时候。
重炮团第三营和第四营都是德制105MM榴弹炮，这种榴弹炮比较重不方便进行转移，只能够留守下来，但二十四门榴弹炮不断为前线部队进行支援，将日伪军一次次攻击打退。
到凌晨三点钟，日军战车师团赶到北关镇战场，火箭炮分队和机械化炮兵联队投入到作战中。
日军不断进行炮击，密集炮弹将北关镇彻底摧毁，但阵地工事却没有受到太大影响。
北关镇作为豫东地区根据地核心所在，这里工事阵地都是国防永久性工事，能够承受重炮直接打击。
凌晨三点半，日军战车部队出动，日伪军在战车部队掩护下，开始冲击阵地。
但守军还以颜色，各种反坦克武器纷纷投入到前线上，火箭筒，战防炮，机关炮等武器，这些武器射击，给日军战车部队带来超过十辆坦克损失，日军坦克被迫后退，暂时停止参战。
日军和皇协军开始以人海战术进行冲锋，他们想要依靠人数优势来取胜。
北关镇这里作战从凌晨一点钟持续到早上六点钟，连续五个小时作战，日军付出五百多人伤亡，皇协军伤亡更是超过八百人，他们损失十五辆坦克，但还是没有拿下阵地。
但守军部队伤亡也超过六百人，而且榴弹炮的炮弹几乎没有多少了，这五个小时作战里，榴弹炮成为主要打击力量，给日伪军带来沉重打击。
早上六点半，日军飞机开始来到北关镇实施轰炸，日军没有投掷航空炸弹，而是直接投掷了纵火弹。
整个阵地瞬间被火焰覆盖，守军付出伤亡，被迫开始放弃阵地，转入到二线防御阵地里。
1942年五月四日上午七点半，暂编第七旅组织一次反击，但被日军战车师团打退。
日伪军部队重点对北关镇实施攻击，他们动用各种办法，纵火弹，毒气弹等武器纷纷使用。
整个北关镇彻底成为一片废墟，但守军还在坚守。
作战持续到下午两点钟，北关镇守军阵地开始传来一声声巨大爆炸声。
这是炮兵们将榴弹炮炸毁，此时他们将炮弹全部打光，为避免榴弹炮落入日军手上，炮兵们炸毁榴弹炮，开始拿起武器，投入到前线防御作战中。
一辆辆坦克在日军火炮掩护下突入到阵地里，坦克机枪不断进行扫射，密集子弹朝着战士们打了过来。
日军炮兵准确进行射击，掩护坦克前进，到四点钟，北关镇阵地被突破。
大批日伪军开始冲入到阵地里，双方展开激烈搏杀。
日伪军主要兵力对北关镇守军实施围歼，暂编第七旅部队开始朝着鲁西地区推进，他们想要趁机将抗日自卫旅救援出来，但是，日军搜索部队很快发现暂编第七旅动态。
独立混成第三，第八，第九旅团迅速投投入到作战中，他们对暂编第七旅实施侧击，牵制暂编第七旅的行动。
五月四日晚上七点钟，暂编第七旅副旅长梁乐贤在作战中被日军一颗炮弹打中，当场阵亡。
而守军阵地四分五裂，三千部队付出伤亡超过两千人，剩下官兵们各自为战，但他们没有投降，一直在抵抗。
天色渐渐变得漆黑下来，晚上八点钟，北部方面军司令部正式宣布，豫东地区苏阳部队根据地核心北关镇被日军攻占，同时北部方面军司令部宣传部门开始通过报纸进行许诺，他们表示只要苏阳部队放弃抵抗，日军会保证苏阳部队生命安全。
日军27师团开始负责对北关镇剩余部队进行清理，而36师团，战车师团，皇协军第八军，目标开始放在暂编第七旅身上，他们想要将这支部队抓住，从而彻底将其围歼。
到现在，经过两天一夜的作战，日军歼灭豫东纵队人数超过七千人，他们掌握着主动权。
而日军和伪军部队伤亡，不过才两千多人而已，他们是明显掌握着作战主动权。
……
五月四日这一夜，最高统帅部担心豫东纵队一旦被日军围歼，不仅会影响到苏阳的情绪，更会影响到抗日部队士气，最高统帅亲自电令第一战区，第二战区，第五战区对豫东纵队进行支援，确保豫东纵队能够安全突围出来。
同时第八路军在晋省，豫省北部，鲁省地区部队全部展开行动，对当地日军部队实施攻击，从而吸引前线日军部队返回，但冈村宁次对这次作战计划准备很充足，他早已经预料到这些情况。
在占领区内，日军因为兵力不足，加上各部都有抽调部队开赴前线作战，冈村宁次命令日军放弃一些不重要城镇，主力收缩到一起进行防御，小鬼子们依靠坚固工事守备。
第八路军各部缺乏重武器，他们虽然有人数优势，但面对防御日军，却没有丝毫办法。
这一夜，第八路军各部付出超过一千人伤亡代价，却没有取得丝毫进展。
而第一战区抽调一个军部队火速增援过来，日军方面通过情报机关提前得到消息，日军36师团和战车师团主动出击，与第一战区部队进行遭遇战，在日军战车师团猛攻下，这个军付出伤