Родился 15 (28) августа 1904 года в городе Харькове, Русский. Из семьи рабочих, окончил начальную школу. Работал на стекольном заводе в посёлке Выгошь ныне Брянской области: рассыльный, канцелярист, счетовод. Член ВКП(б)/КПСС с 1929 года.

В Красной Армии с сентября 1924 года. В 1927 году окончил Вторую Московскую пехотную школу, в 1937 году - Военную академию имени М.В. Фрунзе, в 1938 году - Военно-политические курсы.

С августа 1927 года командовал взводом, с августа 1930 - помощник командира
и с октября 1931 - командир роты в 44-м стрелковом полку 15-й Сивашской стрелковой дивизии, затем командир учебной команды 40-го пулеметного батальона той же дивизии. С июля 1933 года - инструктор физической подготовки 11-й тяжелой бомбардировочной бригады, затем на такой же должности в 14-й кавалерийской дивизии. С 1937 года на партийно-политической работе  -  военный комиссар 24-й Самаро-Ульяновской Железной стрелковой дивизии.

С июля 1939 года - член Военного совета Приволжского военного округа. В

феврале - августе 1941 года - член Военного совета Дальневосточного фронта.

На фронтах Великой Отечественной войны корпусной комиссар Желтов - с сентября 1941 года. Был членом Военного совета Карельского фронта, с июля 1942 года - 63-й армии, с сентября 1942 года - Донского, с октября 1942 - Юго-Западного и с октября 1943 года до окончания войны - 3-го Украинского фронтов.

Генерал Желтов участвовал в обороне Советского Заполярья, подготовке
и проведении операций по разгрому фашистских войск под Сталинградом,
по освобождению Украины и Молдавии, Румынии, Болгарии, Венгрии, Югославии
и Австрии. Возглавляя партийно-политическую работу фронтов, Алексей Сергеевич Желтов внес большой вклад в обеспечение успешного выполнения боевых задач, укрепление воинской дисциплины, примерности коммунистов и комсомольцев в бою, в политическое воспитание личного состава.

После Победы, с июля 1945 года по июль 1950 года - член Военного совета Центральной группы войск и заместитель Верховного комиссара от СССР
в Союзнической комиссии по Австрии. С июля 1950 года - член Военного совета Туркестанского военного округа, с января 1951 года - начальник Главного управления кадров Советской Армии.

С апреля 1953 года - начальник Главного политического управления Советской Армии и Военно-Морского Флота. В 1957 году - один из руководителей кампании по дискредитации снятого с поста Министра обороны СССР Маршала Советского Союза Георгия Константиновича Жукова.

С января 1958 года - заведующий отделом ЦК КПСС, с июня 1959 года начальник Военно-политической академии имени В.И. Ленина. С декабря 1971 года по ноябрь 1987 года - военный консультант Группы генеральных инспекторов Министерства обороны СССР.

За умелое руководство войсками, личное мужество и отвагу, проявленные в борьбе
с немецко-фашистскими захватчиками в годы Великой Отечественной войны, большой вклад в подготовку и повышение боевой готовности войск в послевоенный период Указом Президиума Верховного Совета СССР от 21 февраля 1978 года генерал-полковнику Желтову Алексею Сергеевичу присвоено звание Героя Советского Союза
с вручением ордена Ленина и медали "Золотая Звезда".

С 1971 года - заместитель председателя, а в 1931-1988 годах - председатель Советского комитета ветеранов войны. С ноября 1987 года - в отставке.

Скончался 29 октября 1991 года. Похоронен в городе-герое Москве на Введенском кладбище.