庞部时有5个团，13000余人，到临沂后，其兵力布防为：军部及第三十九师师部驻城南关的三乡师校园内；第一一五旅驻城东之
相公庄；第一一六旅驻城北
诸葛城；补充团于军部附近；骑师于相公庄以东地区。面对敌寇的进攻，全体官兵无不义愤填膺，誓灭日寇。但由于日军不断向临沂方面增加兵力，庞炳勋部的战况十分危急，23日，莒县失守。
3月2日，日军逼近距临沂仅60华里的
汤头。3日，庞炳勋部在由青岛撤退的海军陆战队
沈鸿烈部的协同下，与敌“苦战经周，损失颇巨”，被迫放弃汤头。汤头失守，其以南地区情势骤紧，临沂城亦觉唇亡齿寒。庞炳勋部一面抵抗，一面急电求援。
3月10日，日军约八九千人，骑兵四五百人，在战车20余辆、装甲车60余辆、飞机10余架、炮30余门的强大火力掩护下，开始向临沂猛攻。临沂前线，连电告急。第五战区在烈焰燃眉之际，急电令第五十九军张自忠部增援临沂。同时，为了协调
庞炳勋部与第五十九军作战，特派第五战区长官司令部参谋长
徐祖诒赴临沂前线督战指导。当时
张自忠部正在
滕县向
济宁、
兖州一线的敌人进攻，接到命令后，当即以急行军速度星夜兼程，于12日到达临沂北郊的
沂河西岸。抵达后，庞炳勋即要求第五十九军接替城防。张自忠则认为与其消极防御，不如以攻为守，击敌侧背，以解临沂之围。结果张自忠的建议被采纳。
3月13日子夜，第五十九军运动到刘家湖、
崖头、石家屯一线后，强渡
沂河。14日拂晓，张自忠指挥部队向日寇发起攻击。
刘振三第一八○师由诸葛城、大小姜庄渡沂河向徐家太平、大太平附近日军进攻，在亭子头遭到一股日军的顽强抵抗；
黄维纲第三十八师由朱家棚、船流渡沂河攻占张家庄、解家庄、白塔。由于日军600余人在飞机、大炮、坦克的掩护下拼命反击，该师被迫退回沂河西岸。同时，沂河东岸的庞炳勋部第四十军第三十九师亦从正面开始反攻，并向青墩寺、尤家庄一带进攻，于14日晚占领东西旺庄、东西沙庄。15日早晨，庞炳勋部继续前行，占领了郑寨子、黄家屯、东西沈庄、柳杭头，同时派骑兵从右翼迂回董家官庄、沟头一线。同一天，第一八○师攻克亭子头，日军向东、西水湖崖撤退，第三十八师再渡沂河，占领
沙岭。
16日，日军增加一个旅团4000多人，从汤坊崖西渡河向沂河西岸的张自忠部的阵地猛烈攻击，敌机10余架也轮番轰炸，第三十八师伤亡较重，但官兵仍然守住了阵地。当日夜10时至17日凌晨，日军全力攻击崖头、刘家湖、茶叶山阵地，经密集炮火摧毁后，日军占领了这三处阵地。张自忠急令两个旅增援，奋力抵抗，肉搏多次，终于将丢失的阵地全部夺回，日军大部被歼。同日，庞炳勋部也发动强大攻势，激战一昼夜，先后占领尤家庄、傅家屯、东西水湖崖、沙河一带，日军退守李家五湖、傅家池、草坡一线。到18日早晨，庞、张两军一齐从东、南、西三面夹击汤头、傅家池、草坡一线的敌人，经3天血战，临沂方面的敌人约3个联队被完全歼灭，残敌大部逃向莒县，一部向北撤退。
此战，张、庞两军共歼敌4000余人，其中第五十九军歼敌3000余人。有资料说，日军用载重汽车运回莒县的尸体达100余车，在汤头、葛沟屡次焚化的尸体、来不及运回就地掩埋者达七八百具。中国军队也为争取胜利付出了惨重的代价。
日寇不甘心在临沂战役中的失败，于3月23日，复派增援部队4000余人，会同莒县、汤头的残敌，又向庞军阵地展开反攻。24日，敌机到庞军阵地大施轰炸，9门敌炮昼夜不停地扫射。由于第五十九军张自忠部伤亡太大，除留一个旅的兵力协助庞炳勋部守卫临沂外，主力已于19日离开临沂转向费县休整，准备向泗水、滕县方面转进。在敌人强大兵力的攻击下，庞军力战不支，被迫退至城东桃园、黄山一带防守，临沂形势又趋危急。为确保临沂，解围庞军，张自忠部于25日重返临沂增援，在韦家屯、桃园等地与敌寇进行激战，并东渡沂河，占领了桃园。
3月26日，日军1000余人，在十几门大炮的掩护下，绕道转至临沂西冯义堂一带，伺机环攻取城。张军急派重兵在城西
娘娘庙至大岭一线布防，以阻止敌人的进犯。但是攻击三官庙的张军一部分，因损失极大，停止了进攻。日军借机占领了营子、乾沂庄、沙埠庄等村庄。而此时的庞炳勋部因兵力损失过大，已失去战斗力，虽强守九曲店、小李家庄、沭埠岭、黄山一线，但河东的阵地已很难支撑，临沂处在危急之中。
3月27日，日军一部从早上7时开始，向古城南沙埠庄及小岭、北道发起攻击，另一部则从蒙阴南下，袭击临沂西南的朱陈镇。28日，敌寇又增加1000余人，炮十二三门，配合飞机对临沂城内轮番轰炸。庞军以第三十九师第一一六旅副旅长
崔玉海率刘富生第二三一团会同
张里元部保安团守城，其余的撤退到城南一带，军部也随之转移到九曲至黄山一线；第五十九军张自忠部则在七德、前后七里屯、前后岗头一带修筑阵地，与敌人展开血战，击毙敌寇百余人。
至3月29日，在日军的猛烈攻击下，临沂已处于危急之中。第五战区派驻在海州的第五十七军缪澄流部王肇治旅赴临沂增援。该部队于29日早晨到达东高都，当晚7时向临沂西北的十里铺前行，并向大、小岭方向出击。
汤恩伯部骑兵团也赶来增援，并于午后抵达城西的胡子峪，向义堂以北的地区发起进攻。敌寇伤亡千余人，被迫向汤头退却。晚上10点左右，第五十九军再次出击，重创敌寇，迫敌向北退却。
王肇治旅沿沂河，汤恩伯部骑兵团向艾山、义堂一带追击，发动全面的反攻。同日晚，由于临沂久攻不下，台儿庄方面又陷于苦战，日军遂转移进攻方向，命令在临沂的日军停止进攻，抽出坂本旅团主力两个步兵联队和一个野炮兵联队星夜兼程南下，赶赴台儿庄进行支援，仅留一个联队步兵和少数炮兵在临沂与张、庞两军对峙。至此，第五十九军的伤亡也已达万余人。4月21日，由于台儿庄战役吃紧，张、庞两军相继撤离，临沂遂被日军占领。
