В Красной Армии с 1918 года. Участник Гражданской войны. В 1926 году окончил Военную академию имени М.В. Фрунзе. Приказом Народного Комиссара обороны СССР № 2494 от 26 ноября 1935 года П.М. Козлову присвоено персональное военное звание «комбриг».Начало Великой Отечественной войны генерал-майор Козлов П.М. встретил в должности начальника курса Академии Генерального штаба РККА. В действующей армии с ноября 1941 года.В мае 1942 года П.М. Козлов вступил в должность командующего 9-й армии Юго-Западного фронта, а с 23 июня 1942 года до мая 1943 года он — командующий 37-й армии. Летом и осенью 1942 года, возглавляемая им армия, находилась последовательно в составе Южного фронта, Донской группы Северо-Кавказского (с 28 июля 1942 года) и Северной Группы Закавказского (с 11 августа 1942 года) фронтов и вела тяжелые бои в Донбасской, Моздок-Малгобекской и Нальчикское Орджоникидзевской оборонительных операциях.
Указом Президиума Верховного Совета СССР от 17 октября 1943 года за умелое командование корпусом и проявленные при этом мужество и отвагу генерал-майору Козлову Петру Михайловичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 1685).
