Родился 19 октября 1906 года в Киеве в семье рабочего. Украинец. Член ВКП(б)/КПСС
с 1931 года. Работал помощником вальцевого на мельнице в городе Нежин. 

В 1924 году призван в ряды Красной Армии. В 1928 году окончил Киевскую артиллерийскую школу, в 1938 году — четыре курса Военной электротехнической академии. 

Принимал участие в советско-финляндской войне 1939-1940 годов. 

В боях Великой Отечественной войны с июня 1941 года. В первый же день войны полк, которым командовал Лосев, вступил в бой на реке Шара, у города Слоним Барановичской области. Далее воевал на Западном, Юго-Западном, Сталинградском
и 2-м Украинском фронтах. 

После битвы на Курской дуге дивизия штурмом овладела городом Красноград и, преследуя противника, подошла к Днепру. На правом берегу виднелись Бородаевские Хутора, разбросанные вдоль берега. Днепр предстояло форсировать с ходу.
25 сентября 1943 года после огневого налёта началась атака вражеских позиций.
В результате ожесточённого боя к семи часам утра хутора были очищены от врага
и завоеван плацдарм в 16 квадратных километров. 20 дней длились бои за удержание
и расширение плацдарма. Битва за Днепр на этом участке была выиграна. 

Указом Президиума Верховного Совета СССР от 26 октября 1943 года за успешное форсирование Днепра и удержание плацдарма, проявленные при этом мужество, отвагу и умение в сложной обстановке руководить войсками генерал-майору Анатолию Ивановичу Лосеву присвоено звание Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" (№ 1336). 

Великую Отечественную войну закончил в Австрии. 

В 1948 году окончил Академию Генерального Штаба, работал на командных должностях. 

В феврале 1956 года, отдав службе в Вооруженных Силах 32 года жизни,
Анатолий Иванович Лосев ушёл в запас. 

Жил в Киеве. Скончался 21 сентября 1970 года.