在胜利的形势下，为加强胶东抗日武装的统一指挥，以第5支队为基础于1942年7月1日编成胶东军区。许世友任司令员，林浩兼任政治委员，王彬任副司令员，贾若瑜任参谋长，彭嘉庆任政治部主任。
第5旅归胶东军区指挥，下辖第13团、14团、15团和教导2团（原抗大胶东支校，其2营、3营为战斗营）。旅长吴克华、政委高锦纯、参谋主任刘云鹏、政治部主任欧阳文、副主任李耀文。第5支队组织领导不变，独立团团长兼政委孙端夫。
如果把5旅比喻一条河的话，胶东军区则是一条江。胶东区党委和胶东军区为了适应新的斗争需要，于1943年进行整编，把胶东军区和第5旅机关合并（撤销了5旅番号），把第15团、17团调东海军分区地方化，把近万名指战员充实到战斗部队，把2000余名老弱病残人员转移地方。
整编后的山东军区的胶东军区，以许世友为司令员，林浩为政治委员，吴克华为副司令员，贾若瑜为参谋长，彭嘉庆为政治部主任。下辖4个军分区：东海军分区司令员刘涌、政委仲曦东；南海军分区司令员萧镜海、政委刘中华；西海军分区司令员陈华堂、政委吕明仁（兼）；北海军分区司令员孙端夫、政委王夷黎。主力部队：第13团团长聂凤智、政委兼政治处主任李丙令、参谋长裴宗澄；第14团团长严似海（后为杜永海）、政委回东（李华）；第15团团长王奎先、政委雨晴；第16团团长周光（后为巫金峰）、政委廖海光；第17团团长肖平、政委常青；教导2团团长蔡正国、政委刘浩天。