С 1962 по 1967 г. Анатолий Иванович Нелюбов работал научным сотрудником Центрального НИИ МО СССР, где в 1967 г. подготовил и защитил диссертацию на соискание ученой степени кандидата технических наук. В академии А. И. Нелюбов на преподавательской работе с 1968 г., а с 1986 по 1994 г. — начальник кафедры «Динамика полета».

Анатолий Иванович Нелюбовым разработана методика оптимизации боевых маневров атаки наземных и воздушных целей, маневра взлета и посадки на базе прямого метода вариационного исчисления и разработанного им синтеза управления летательным аппаратом по производным потребных ускорений. Метод позволяет решать краевые вариационные задачи динамики боевого маневрирования летательного аппарата, представленного сложной динамической системой (с учетом вращения относительно центра масс, динамики двигателей и рулевых приводов), а также оптимизировать маневры по различным критериям с учетом динамики средств поражения.

Автор 152 научно-методических работ, из которых 6 учебников, множество учебных пособий, более 40 отчетов по НИР, ряд научно-методических статей.

Участвовал в написании учебников «Летательные аппараты и безопасность полета» (1987 г.), «Аэродинамика и динамика полета маневренных самолетов» (2006 г.), а учебник «Динамика полета боевых летательных аппаратов», вышедший в 1992 г., на протяжении 16 лет являлся основным при подготовке военных специалистов ВВС.

С 1994 г. — профессор кафедры. Научно-педагогический стаж составляет 47 лет, педагогический — 42 года.

Подготовил 13 кандидатов технических наук.

Награжден орденом «За службу Родине в Вооруженных Силах СССР» 3 степени, медалями СССР.