Родился в Воронеже в семье служащего железной дороги. С отличием окончил среднюю школу, после которой поступил на историческом факультете Московского Института философии, литературы и истории имени Н.Г. Чернышевского, но завершить образование помешали войны - вначале советско-финская (где он был добровольцем), а после Великая Отечественная.

В апреле 1958 года назначен заведующим Отделом партийных органов ЦК КПСС
по союзным республикам. С 25 декабря 1958 года по по 14 ноября 1961 года председатель Комитета государственной безопасности при Совете министров СССР.
От генеральского звания при назначении отказался; был выдвинут Никитой Сергеевичем Хрущёвым с поставленой задачей перестраивать работу Комитета
в соответствии с решениями XX съезда партии: ускорить десталинизацию и искоренить нарушения социалистической законности. Провёл масштабную реорганизацию Комитета с сокращением рабочего аппарата на несколько тысяч человек, при этом активно привлекал на работу выходцев из комсомола; основательно перестроил структуру Комитета вместо целевых оперативных подразделений образовав единый централизованный орган управления.

С октября 1961 года по сентябрь 1967 года - секретарь ЦК КПСС, был избран
в последний день работы XXII съезда партии на организационном Пленуме ЦК КПСС. Также с ноября 1962 года по декабрь 1965 года возглавлял Комитет партийно-государственного контроля ЦК КПСС и Совета министров СССР (КПГК) одновременно являясь заместителем председателя Совета министров СССР.

Принимал активное участие в действиях по смещению Н. С. Хрущёва с поста Первого секретаря ЦК КПСС. В марте 1965 года во время посещения возглавляемой им
и Месяцевым советской делегации в Монголию на ужине в доме Цэдэнбала  Месяцев «говорил о Шелепине как о будущем Генеральном секретаре».

Возглавлял советскую партийно-правительственную делегацию во Вьетнам в 1966 году.

С 1984 года - персональный пенсионер союзного значения.

Награждён 4 орденами Ленина, орденом Трудового Красного Знамени, орденом Отечественной войны II степени, орденом Красной звезды (1942), медалями: «Партизану Отечественной войны II степени», «За оборону Москвы», «За доблестный труд в Великой Отечественной войне 1941 - 1945 гг.», другими наградами.

Умер Александр Николаевич Шелепин в Москве в 1994 году Похоронен
на Новодевичьем кладбище.