12 ноября 1941 года Совнарком СССР и ЦК ВКП(б) приняли решение «Об организации производства тракторов в городе Рубцовске на базе эвакуированного оборудования Харьковского тракторного завода». 1 марта 1942 года вышло Постановление ЦК ВКП(б) и СНК СССР «О строительстве Алтайского тракторного завода в городе Рубцовске». 9 марта 1942 года в Рубцовск прибыли энергетики эвакуированного Харьковского тракторного завода. Они стали готовить помещения под цеха на территории, огороженной деревянным забором в кирпичных амбарах-зернохранилищах.
Руководство Рубцовска решало проблемы снабжения будущего завода электроэнергией, подъёмно-транспортными средствами, квалифицированными кадрами, жильём, водой. Для контроля этих вопросов было организовано Окружное бюро под руководством В. Д. Мальчутенко, бывшего секретаря Орджоникидзевского райкома партии Харькова. В январе 1942 года директором тракторного завода назначили П. П. Парфёнова.Первым строился ремонтно-механический цех. 9 апреля 1942 года началось возведение ТЭЦ под руководством Б. И. Флеккеля. Строительству АТЗ помогали всей страной.
В Кирове в проектной организации «Подземгаз» при участии представителей АТЗ за два месяца разработали проект газокислородной станции, отвечающий условиям военного времени. Рабочие Невского машиностроительного завода в условиях блокадного Ленинграда срочно изготовили для АТЗ мощный генератор и переправили по ледяной «Дороге жизни» в Рубцовск. 22 мая 1942 года на строительную площадку ТЭЦ из Ленинграда прибыл энергопоезд. 1 июля 1942 года был дан первый электрический ток.
Для работ на заводе были мобилизованы 1 457 молодых людей из Рубцовского района. Рабочих размещали в клубе сельскохозяйственного техникума. В помещении Михайло-Архангельского храма находилось общежитие тракторного завода. Эвакуированные строили землянки на окраине города. В течение 1942 года на АТЗ было принято 4 498 рабочих.
Из-за невысокого уровня квалификации кадров поначалу имелись большие трудности по своевременной наладке и пуску оборудования. Облегчили положение прибывшие на АТЗ согласно приказу Наркомата среднего машиностроения 140 квалифицированных рабочих с предприятий отрасли из Сталинграда, Самарканда. В 1942 году для подготовки кадров был открыт тракторный техникум. Возводились корпуса сталелитейного и кузнечного цехов. 7 июля 1942 года в чугунолитейном отделении была задута первая вагранка. Литейщик Ф. К. Зайко отлил металлическую доску «Своевременным пуском завода приблизим разгром немецко-фашистских захватчиков». Эта мемориальная доска была прикреплена на здании заводоуправления.
Первый трактор выпущен 24 августа 1942 года, в канун 25-й годовщины Октябрьской революции: слесарь-сборщик первого алтайского трактора АСХТЗ-НАТИ Павел Киневич проехал на нём по улицам Рубцовска. С 1942 года начала регулярно выходить газета АТЗ «Боевой темп», которая призывала «ответить фашистам на производстве». В северо-восточной части города для рабочих АТЗ в 1942 году было построено 17 саманных домов. Летом 1942 года в здании ремонтно-механического цеха была оборудована медицинская комната. В октябре 1942 года сдана в эксплуатацию больница АТЗ с кабинетами для врачей и терапевтическое отделение на 25 коек.
В марте 1943 года рабочие АТЗ впервые успешно выполнили государственное задание по выпуску тракторов и запасных частей. В декабре 1943 года на заводе была выпущена тысячная машина. По итогам Всесоюзного социалистического соревнования в июне 1944 года коллективу АТЗ было присуждено Красное знамя ЦК ВКП(б). 18 марта 1945 года было опубликовано Постановление «Об окончании строительства АТЗ».
Предприятие активно участвовало в механизации сельского хозяйства. Военные годы требовали усиленного производства продовольствия. Использовали тракторы и на фронте для транспортировки военного оборудования и материалов. Такие машины были необходимы для поддержки военных операций, перевозки снабжения и строительства оборонительных сооружений. Во время войны АТЗ также занимался ремонтом и восстановлением повреждённой военной техники.