Представитель поволжской, сравнительно захудалой ветви Толстых. Его отец, 

штабс-капитан граф Андрей Степанович Толстой (1793—1830 годы), умер, когда сыновья Всеволод (1824-1843 годы) и Дмитрий находились в нежном возрасте. 

Мать Прасковья Дмитриевна, урождённая Павлова (умерла 1849 году), овдовев, вышла замуж за Василия Яковлевича Венкстерна. Единственная сестра Елизавета 

(1825—1867 годы), в первом браке Петровская, вторым браком была замужем за самарским губернатором Николаем Александровичем Замятниным (1824—1868 годы).

В 1842 году Дмитрий Толстой окончил курс в Царскосельском лицее. С 1848 года состоял при Департаменте духовных дел иностранных исповеданий Министерства внутренних дел и занимался составлением истории иностранных исповеданий. 

В 1853 году назначен директором канцелярии Морского министерства и в этом звании принимал участие в составлении хозяйственного устава Морского министерства 

и нового положения об управлении Морским ведомством. В 1861 году некоторое время управлял Департаментом народного просвещения, затем был назначен сенатором.

В 1865 году назначен обер-прокурором Святейшего Синода, в 1866 году — министром народного просвещения и занимал оба эти поста до апреля 1880 года, когда был назначен членом Государственного Совета. При Толстом были открыты: 

Историко-филологический институт (1867 год), Варшавский университет, Сельскохозяйственный институт в Новой Александрии (1869 год), Московские высшие женские курсы (1872 год), Русская филологическая семинария в Лейпциге для приготовления учителей древних языков (1875 год); Томский университет (1878 год). Нежинский лицей преобразован в Историко-филологический институт, а Ярославский лицей — в лицей юридический. 

В 1872 году издано положение о городских училищах, в 1874 году — положение 

о начальных училищах, для надзора за которыми были ещё в 1869 году учреждены должности инспекторов народных училищ. В духовном ведомстве при графе Толстом произведено преобразование духовно-учебных заведений (1867—1869 годы).

В мае 1882 занял пост министра внутренних дел и шефа жандармов и оставался на этом посту до самой смерти. Считался проводником политической реакции и поборником «сильной» власти. Законодательные меры, проведённые и подготовленные при нём, были направлены к возвышению дворянства, к регламентации крестьянского быта 

и к преобразованию местного управления и самоуправления в смысле расширения влияния администрации. Изданы законы о крестьянских семейных разделах и о найме сельских рабочих, подготовлены положение о земских начальниках и новое земское положение. Свобода печати существенно ограничена временными правилами 

1882 года. Подробнее см. Контрреформы Александра III.

С 1882 года граф Дмитрий Андреевич Толстой в чине действительного тайного советника состоял также президентом Императорской Академии наук. Жил в это время на набережной Фонтанки, в доме №16. Похоронен в родовом имении — селе Маково Рязанской губернии.