Атанас Семерджиев учи в гимназията в Пазарджик, където е активен член на РМС (1939). Партизанин в е отряд „Антон Иванов” (1942). Командир на партизанска бригада „Чепинци” (1944). Член на БРП (комунисти) от 1943 г.
След 9 септември 1944 г. участва в заключителната фаза на Втората световна войната. През 1950 г. завършва Военната академия „Михаил Фрунзе“ в СССР, а през 1960 г. Военната академия при Генералния щаб на Въоръжените сили на СССР. Заема отговорни постове в системата на Българската народна армия: началник на Генералния щаб на БНА (22 март 1962 – 28 декември 1989 г.) и първи заместник-министър на народната отбрана (1966-1989). Достига до звание генерал-полковник.
Член е на ЦК на БКП (1966-1990). Народен представител е в периода 1971-1989 г. По случай 60-годишнината му (1984) е награден със златната звезда на герой на социалистическия труд и орден, връчени му лично от Тодор Живков. Съветският посланик Леонид Греков му връчва орден „Червена звезда” на президиума на Върховния съвет на СССР.
Назначен е за министър на вътрешните работи (27 декември 1989 – 2 август 1990 г.) в правителствата на Георги Атанасов и Андрей Луканов.
Избран е за народен представител от БСП в 7-то Велико Народно събрание, където е депутат в периода юни-август 1990 г. В резултат на компромисно политическо споразумение между управляващата БСП и опозицията, Атанас Семерджиев е избран за вицепрезидент на България (1 август 1990 – 22 януари 1992)., като президент става Желю Желев – лидерът на опозиционния СДС.
В качеството си на министър на вътрешните работи на 25 януари 1990 г. подписва строго секретна от особена важност докладна записка за прочистване на архивите на Държавна сигурност и заличаване на компрометиращи БКП и ДС материали. В резултат на тайната операция са унищожени около 40 процента от досиетата. В същия период в МВР са извършени най-големите съкращения на личния състав (около 33 процента), като същевременно Държавна сигурност е трансформирана в нови специални служби по съветски модел.
По-късно, заедно с началника на архива на ДС ген. Нанка Серкеджиева, Атанас Семерджиев е разследван и обвинен за унищожаването на архивите на ДС. Признат за виновен по обвинение в злоупотреба с власт и служебно положение. Признат е за виновен и е осъден (2002) от Върховния административен съд (на първа инстанция) на 4 години и 6 месеца затвор. През август 2003 г. второинстанционен съдебен състав на ВКС отменя присъда и връща делото за ново разследване. Прокуратурата така и не го внася повече в съда. Преди приемането на закона за досиетата през 2006 г. Атанас Семерджиев обявява, че законът е вреден за България. По ирония няколко месеца по-късно е обявена неговата принадлежност към ДС по законодателството, срещу което той се обявява.