Яков Григорьевич Жилинский родился 15 марта 1853 года, в семье дворян Рязанской губернии. В 1876 году окончил Николаевское кавалерийское училище. Выпущен в Кавалергардский полк в чине корнета; заведовал учебной командой полка. В 1883 году окончил Николаевскую академию Генерального штаба по первому разряду. С 26 ноября 1885 года — старший адъютант штаба 1-й гренадёрской дивизии. С 11 февраля 1887 года —младший, с 14 февраля 1894 года — старший делопроизводитель канцелярии Военно-ученого комитета Главного штаба.
Принимал участие в работах по изучению и исследованию иностранных государств, результатом чего явились многочисленные печатные труды, в большинстве не подлежавшие оглашению. Со 2 мая 1898 года состоял в распоряжении начальника Главного штаба, был военным агентом при испанской армии на Кубе во время испано-американской войны (1898 г.). О своих наблюдениях представил интересный и подробный отчёт, в котором представил полную картину войны с выяснением причин поражений и неудач испанской армии.
В 1899 году был делегатом от военного министерства на Гаагской мирной конференции. С 18 августа 1899 года командовал 52-м драгунским Нежинским полком. В 1900 году произведён в чин генерал-майора. С 3 августа 1900 года был генерал-квартирмейстером, с 1 мая 1903 года — 2-м генерал-квартирмейстером Главного штаба. 29 января 1904 года назначен на должность начальника полевого штаба наместника на Дальнем Востоке Е. И. Алексеева, на которой оставался до отзыва Алексеева и расформирования штаба в октябре 1904 года.
С 5 января 1905 года состоял в распоряжении военного министра. Командовал 14-й кавалерийской дивизией (с 27 января 1906 года), 10-м армейским корпусом (с 7 июля 1907 года). Генерал от кавалерии (18 апреля 1910 года). С 22 февраля 1911 года — начальник Генерального штаба. 4 марта 1914 года назначен командующим войсками Варшавского военного округа и Варшавским генерал-губернатором. При начале мобилизации приказом от 19.7.1914 года назначен главнокомандующим армиями Северо-Западного фронта (сохранив пост генерал-губернатора). В состав фронта (при начальнике штаба генерале В.А. Орановском) вошли 1-я (генерал П.К. Ренненкампф) и 2-я (генерал А.В. Самсонов) армии, их развертывание прикрывал конный корпус генерала Г. Хана Нахичеванского. Сосредоточение и развертывание армий фронта, в особенности тылов, к началу наступления не было завершено. Между армиями образовался открытый промежуток в 45 км против Летценского укрепленного района немцев. Фронт 2-й армии был слишком растянут на (более 200 км), в то время как 1-я армия была сосредоточена на фронте 85 км.
Наступление в Восточной Пруссии пришлось отложить на 5-6 дней, но, несмотря на это, 800 тысяч человек так и не было сосредоточено. По итогам боёв в Восточной Пруссии 3 сентября 1914 года Я.Г. Жилинский был снят с поста Главнокомандующего армиями и генерал-губернатора и переведен в распоряжение военного министра.
В 1915-1916 годах представлял русское командование в Союзном совете во Франции. Осенью 1916 года был отозван в Россию. 19 сентября 1917 года уволен со службы с мундиром и пенсией. После Октябрьской революции пытался выехать за границу, но был арестован большевиками и расстрелян в 1918 году.
Награды:
Орден Святого Станислава 3-й степени (1880 г.)
Орден Святой Анны 3-й степени (1888 г.)
Орден Святого Станислава 2-й степени (1894 г.)
Орден Святой Анны 2-й степени(1896 г.)
Орден Святого Владимира 4-й степени (1899 г.)
Орден Святого Владимира 3-й степени (1902 г.)
Орден Святого Станислава 1-й степени с мечами (1904 г.)
Орден Святой Анны 1-й степени с мечами (1905 г.)
Орден Святого Владимира 2-й степени (6 декабря 1909 г.)
Орден Белого орла (25 марта 1912 г.)
Орден Святого Александра Невского (4 октября 1913 г.)