Из восемнадцати гусарских полков Российской Императорской армии один был обязан своему рождению Елисаветграду. Более полутораста лет лихие гусары именовались елисаветградцами и с достоинством и честью пронесли это название сквозь бури войн и сражений минувших лет. 

В марте 1764 года на южном форпосте Российской империи в уникальной крепости Святой Елисаветы из расположенного там казачьего полка был сформирован Елисаветградский пикинерный полк. Полк был переименован в 1783 году в Елисаветградский легко-конный, в 1789 году – в Елисаветградский конно-егерский, а уже Императором Павлом I учрежден как гусарский генерала от кавалерии Дунина полк, но в 1801 году полк приобрел новое название – Елисаветградский гусарский полк. В  1882 году в связи с проводимыми в армии реформами полк обращен в Елисаветградский 9-й драгунский. После Русско-японской войны Николай II для поднятия пошатнувшегося престижа армии восстанавливает гусарские полки, и с 6 декабря 1907 года и до своего окончательного расформирования в 1918 году полк именуется как 3-й гусарский Елисаветградский Ея Императорского Высочества Великой Княжны Ольги Николаевны полк. 

Побывав почти во всех войнах Российской империи, полк прошел славный боевой путь. Но особо он отличился в период Наполеоновских войн и в Отечественной войне 1812 года. В кампании 1805 года полк принимал участие под командованием шефа полка генерал-майора Е.К. Остен-Сакена 2-го в сражении под Аустерлицем. В начале Отечественной войны 8 действующих эскадронов полка находились в 1-й Западной армии генерала от инфантерии М.Б. Барклая де Толли во 2-м пехотном корпусе генерал-лейтенанта К.Ф. Багговута. Два запасных эскадрона состояли в корпусе генерал-лейтенанта П.Х. Витгенштейна в сводно-гусарском полку и вошли в гарнизон крепости Динабург. 

 

Полк отличился в обороне Смоленска, затем – в боях 7 августа. В этот день 1-я Западная армия, отступавшая от Смоленска, сражалась с неприятелем у Гедеонова, у деревни Валутина Гора, при Лубине. Потеряв 5000 человек, она пробилась сквозь корпуса Нея, Мюрата, Даву, Жюно и вышла на Московскую дорогу вслед за 2-й армией П.И. Багратиона. 

Перед Первой мировой войной полк был дислоцирован близ Мариамполя Сувалкской губернии, он находился в составе 3-й кавалерийской дивизии (3-й армейский корпус Виленского военного округа). Последним шефом полка (с июля 1909 г.) была Великая княжна Ольга Николаевна. Приоритет в пополнении командных кадров отдавался выпускникам Елисаветградского кавалерийского юнкерского училища. 

Полк достойно воевал в Великой войне. В 1915 году в полк, находившийся в действующей армии, прибыла – по высокому распоряжению – молодая вдова полкового адъютанта Лейб-гвардии Семеновского полка Мария Владиславовна Михно. Похоронив своего мужа, смертельно раненого и скончавшегося на её руках, она обратилась к шефу полка и к Императрице Александре Федоровне с просьбой назначить её в гусарский полк добровольцем. Государыня попросила Государя, а Государь приказал военному министру сделать соответствующее распоряжение, что и было исполнено; она была зачислена в 5-й эскадрон под именем вольноопределяющегося Андрея Михно.  

В начале 1918 года, после ликвидации Российской Императорской армии, Елисаветградский гусарский полк был расформирован. Последним командиром полка был полковник Сергей Карлович Сегеркранц. В неразберихе грянувшей Гражданской войны исчезла большая часть архива полка, документов, регалий. В кавалерийских частях вооруженных сил юга России сражались и бывшие гусары–елисаветградцы. Те из них, кто остался в живых и эмигрировал за границу, создали в 1931 году Полковое объединение Елисаветградских гусар, вошедшее в Объединение кавалерии и конной артиллерии при IV отделе РОВСА. В соответствии с «Положением», оно не преследовало никаких политических целей, а было организовано для поддержания связи между однополчанами, оказания моральной и материальной помощи нуждающимся, сохранения традиций полка, сбора исторических материалов. Председателем Объединения Елисаветградских гусар был избран генерал-лейтенант Анатолий Иванович Мартынов. В объединение прославленного полка «голубых гусар» входили пять генералов и около сорока бывших офицеров, находившихся в то время в США, Франции, Югославии, Болгарии, Польше, Данциге, Финляндии, Германии, Румынии, Швейцарии, Эстонии, Латвии и Литве. Полковое объединение выпускало «Вестник Елисаветградских гусар» (до начала 2-й Мировой войны был выпущен 101 номер). В настоящее время 86 экземпляров «Вестника» находятся в США в Гуверском архиве в коллекции баронессы М.Д. Врангель.