Родился 11 октября 1923 года в селе малая Трещевка Воронежской области в семье крестьян. 

По окончании восьми классов землянской средней школы уехал в Воронеж,
где в 1939—1941 годах работал слесарем на авиационном заводе № 18, затем
с февраля по 5 июня 1941 года на военном заводе № 16, одновременно учился
в вечерней школе, десять классов которой окончил накануне войны.

В июле 1941 года направлен в Воронежское военное училище связи, которое окончил
в декабре в Самарканде, куда было эвакуировано училище.

После чего по сентябрь 1944 года в составе 237-го стрелкового полка 69-й дивизии: командир взвода связи, командир роты связи, начальник связи полка, исполняющий обязанности начальника штаба полка последние три месяца перед ранением.

Закончил войну в звании капитана, награждён четырьмя боевыми орденами.

В сентябре 1944 года после тяжелого ранения, полученного при форсировании реки Нарев в Польше, с сентября 1944-го по сентябрь 1945 года находился на излечении
в военных госпиталях в связи с ранениями, полученными на фронте. после чего возвратился в Воронеж.

С сентября 1945 года работал в Воронеже начальником отдела военного окружного управления связи. После демобилизации в июле 1946 года занимался воспитательной работой среди молодежи.

С февраля 1947 года по декабрь 1959 года — на комсомольской работе
(последняя должность в этом качестве — заведующий отделом ЦК ВЛКСМ по связям
с молодёжными организациями социалистических стран): секретарь Железнодорожного райкома ВЛКСМ, заведующий отделом Воронежского обкома ВЛКСМ (1946—1950 годы), инструктор, заведующий международным отделом ЦК ВЛКСМ (1950—1959 годы).

В сентябре 1950 года переведен в Москву в ЦК ВЛКСМ. Окончил Всесоюзный юридический заочный институт (ныне Московская государственная юридическая академия  имени О. Е. Кутафина), юрист. С апреля 1958 года заведующий международным отделом ЦК ВЛКСМ.

Принимал активное участие в подготовке всех крупнейших мероприятий, проводившихся под эгидой ЦК ВЛКСМ, в том числе VI (Москва, 1957 год) и VII (Вена, 1959 год) Всемирных фестивалей молодежи и студентов.

С декабря 1959 года по сентябрь 1970 года — на партийной работе в аппарате ЦК КПСС, дослужился до заведующего сектором органов прокуратуры, суда и юстиции Отдела административных органов ЦК КПСС: заведующий сектором, заместитель заведующего отделом ЦК КПСС (1960—1970 годы).

В сентябре 1970 года переходит на работу в органы юстиции. Постановлением Совета Министров СССР от 22 сентября 1970 года Александр Яковлевич Сухарев назначается первым замминистра и членом коллегии воссозданного Министерства юстиции СССР.

Возглавлял Межведомственный координационный совет по правовой пропаганде при Минюсте СССР.

Стоял у истоков создания журнала «Человек и закон» и одноимённой популярной телепередачи.

С марта 1984-го по февраль 1988 года — министр юстиции РСФСР.

Президиум Верховного Совета СССР своими указами от 26 февраля 1988 года назначает его первым заместителем Генпрокурора СССР, утверждает членом коллегии Прокуратуры СССР и присваивает чин государственного советника юстиции 1-го класса.

С 26 февраля по 26 мая 1988 года — 1-й заместитель Генерального прокурора СССР.

С 26 мая 1988-го по 15 октября 1990 года — Генеральный прокурор СССР.

Постановлением Верховного Совета СССР от 15 октября 1990 года был освобожден
от обязанностей Генпрокурора в связи с уходом на пенсию.

В 1991—1995 годах — заместитель директора, в 1995—2000 и в 2002—2006 годах — директор Института проблем укрепления законности и правопорядка (ИПУЗП) при Генеральной прокуратуре РФ.

В 2000—2002 годах — первый зам. директора ИПУЗП.

С 2006 года — главный научный сотрудник ИПУЗП (с марта 2007 года — НИИ Академии Генеральной прокуратуры России).

Советник Генерального прокурора Российской Федерации. Член коллегии Генпрокуратуры РФ.

В июне 2011 года выпустил книгу мемуаров «По зову правды».