Родился 4 августа 1806 года в родовом имении Басово близ Тулы в семье исправника Тульского земского суда. В 1825 году выпущен из 2-го кадетского корпуса прапорщиком в 7-й пионерный батальон; на боевом поприще впервые вступил
в русско-турецкой войне 1828-1829 годов. Затем посвятил себя военно-учебной деятельности и в течение 17 лет (с 1831 года) находился на службе в кадетских корпусах: 2-м, Петровско-Полтавском, Орловском Бахтина, 1-м Московском.

В 1848 году переведен в Подольский егерский полк (потом 55-й Пехотный Подольский полк), а в 1851 году получил в командование Волынский пехотный полк, с которым
и принял участие в Восточной войне 1853-1856 годов. За отличие в сражения на реке Альма (прикрывал отступление нашей армии) произведен в генерал-майоры. После того, вместе с полком, вступил в Севастополь и был назначен командиром бригады.
С тех пор, в продолжение 9 месяцев, не покидал передовой линии осажденного города и всегда находился там, где был труднее и опаснее.

Заложение и постройка редутов Волынского и Селингинского, геройская оборона их, отражение штурмов и многие вылазки произведены под непосредственным руководством Хрущева. При очищении нашими войсками Южной стороны Севастополя после штурма 27 августа 1855 года, шел в хвосте Тобольского полка, который последним оставил развалины города.

По окончании войны командовал последовательно дивизиями: 9-ю пехотною,
2-ю гвардейскою и 5-ю пехотною.

При подавлении польского восстания 1863 года был начальником Люблинского Военного отдела.

В 1866 году назначен генерал-губернатором 3ападной Сибири и командующим войсками Западно-Сибирского Военного округа. Занимая 8 лет этот высокий административный пост, деятельно трудился над устройством, внутренним развитием и благосостоянием вверенного ему края, причем заботился также о надежном охранении наших границ и расширении торговых сношений с Китаем, Монголиею
и Средней Азией.

В 1869 году удостоен звания генерал-адъютанта и произведен в генерал-от-инфантерии.

По увольнении, согласно прошению вследствие расстроенного здоровья, от должности генерал-губернатора и командующего войсками, Александр Петрович состоял членом Государственного совета; кроме того он числился в 53-м Волынском полку
и в Сибирском казачьем войске.