Николай Михайлович Пепеляев родился в Санкт-Петербургской губернии 6 мая 1858 г. в семье потомственных дворян, был сыном статского советника. На службу поступил из воспитанников сибирской военной гимназии в Александровское военное училище  в августе 1875 г. юнкером. Из училища был выпущен подпоручиком в 4-й Туркестанский стрелковый батальон; произведен в поручики  в августе 1878 г. и был прикомандирован к Томскому пехотному резервному батальону. 

Окончил Офицерскую стрелковую школу; был командиром роты (03.01.-14.03.1880), затем исполняющим должность батальонного адъютанта (1881 г.), адъютантом. В 1883 году Н.М. Пепеляев был произведен в штабс-капитаны. Затем был  назначен начальником Нарымской местной бригады (04.06.1884-18.09.1886). С сентября 1886 г. Пепеляев служил в Томском пехотном батальоне; командовал 3-й ротой Томского резервного батальона, был произведен в капитаны (1887 г.). Затем он был зачислен в запас армейской пехоты и исключен из списков батальона; в мае 1892 г. вновь поступил на службу в Томский резервный батальон; был командиром роты.

Пепеляев получил звание подполковника (1896 г.) и был назначен временно исполняющим должность томского уездного воинского начальника и коменданта г. Томска (28.09.1898–23.02.1899). Позднее стал командиром запасного Томского Сибирского пехотного батальона; был произведен в полковники (1903 г. – за отличие). 

Занимал должность командующего 8-м Томским резервным батальоном (1904 г.).

Затем  назначен начальником гарнизона г. Красноярска (апрель–октябрь 1904 г.). 30 апреля 1904 г. батальон начал участие в боевых действиях, участвовал в  русско-японской войне (14.11.1904-25.12.1905). Пепеляев командовал 8-м Томским пехотным полком (с февраля 1906 г.); занимал пост начальника гарнизона г. Томска (18.04.-11.11.1906), временного командира 2-й бригады 8-й Сибирской пехотной дивизии (11.07.-29.09.1906), командира 3-го пехотного  Сибирского Нерчинского полка (07.10.-10.11.1906), 8-го пехотного Сибирского Томского полка (10.11.1906-04.07.1910), 42-го Сибирского стрелкового полка (04.07.1910-18.10.1911).