Осип Матвеевич Жук родился в крестьянской семье в Виленской губернии (Свентянского уезда, Вишневской области, в деревне Шляпа) 2 июля 1869 (?) года. Окончил Спягельское народное училище. На службу призван в 118-й пехотный Шуйский полк. Занимался обучением новобранцев. Старшим унтер-офицером  в составе 14-го Восточно-Сибирского стрелкового полка (впоследствии – 14-й Сибирский стрелковый полк) принимал участие в Русско-японской войне, оборонял крепость Порт-Артур и был награжден знаками отличия Военного ордена:

-4-й ст. № 202938 «За мужество и храбрость, оказанные им в бою на позиции у г. Хуинсан 21 июня 1904 г.»;

-3-й ст. № 10172 «В боях 13 и 14 июля 1904 г. оказал примерное мужество и храбрость, а когда был ранен в роте фельдфебель, принял исполнение обязанностей фельдфебеля»;

-2-й ст. № 3795 «Исполняя должность фельдфебеля и командуя полуротой, отбил штурм японцев на Куропаткинский редут, хотя часть редута была ими уже взята»;

-1-й ст. № 1143 «В бою 15 ноября 1904 г. на Высокой горе, когда был убит командир роты, принял роту и командовал ею до прибытия вновь назначенного ротного командира, держась на месте до конца боя, несмотря на ранение осколком гранаты в ногу».

В Великую войну О.М. Жук был награжден Георгиевской медалью 4-й степени.