甘渭漢出生于1908年，湖南省平江縣人，出生于一個貧農家庭。九歲的時候，他開始放牛，十一歲的時候，甘渭漢成為一名理發工人，開始賺錢補貼家用，早早體會了生活的艱辛。1926年，國民黨誓師北伐，全國革命形勢高漲，在這種背景下，甘渭漢也加入了國民黨，并參加了北伐，為大革命浪潮的興起貢獻了一份力量。

1927年，大革命失敗，國內革命活動陷入低潮，甘渭漢也順勢脫離了國民黨，并在7月加入了我黨。1928年2月，甘渭漢參加了平江游擊隊，在游擊隊的帶領下參加了攻打平江的作戰，10月，游擊隊被編入紅五軍，甘渭漢也成為紅五軍的一員。

參加紅軍之后，甘渭漢表現非常出色，很快就晉升為紅五軍的班長、排長、連長，并隨部參加了攻打平江、修水、崇陽、安福以及進攻長沙的戰斗，同時，他也經歷了中央根據地的歷次反“圍剿”作戰，并在第五次反“圍剿”失敗后踏上了長征之路。

長征期間，甘渭漢擔任了紅3軍團第5師第14團政委以及13團政治部主任等職務，紅一方面軍與紅四方面軍會師之后，他繼續跟隨紅一方面軍北上，并在1935年10月到達陜北。到達陜北后，甘渭漢馬不停蹄地參加了建設陜北根據地的戰斗，并多次擊退來犯的國民黨敵軍。

1937年，抗日戰爭全面爆發，甘渭漢擔任了八路軍后方留守處警備第2團政委、八路軍第129師第385旅副政委以及政委等職務，此后他主要活躍在晉綏根據地，在部隊整訓、保衛陜甘寧邊區以及大生產方面做了大量的工作，加強了根據地的建設，為抗日戰爭的勝利作出了重要的貢獻。

抗日戰爭勝利后，甘渭漢擔任了冀魯豫軍區政治部主任、晉冀魯豫野戰軍第14縱隊政委以及華北軍區第14縱隊政委等職務。1949年，華北軍區第14縱隊改編為第70軍，甘渭漢擔任了70軍的第一任政委，期間，他參加了解放豫北、安陽、新鄉等地的戰斗，并配合南下的四野部隊，為解放華北地區作出了積極的貢獻。

新中國成立后，甘渭漢擔任了20兵團政治部主任、東北軍區政治部副主任等職務，在東北軍區的干部管理、紀律建設等方面做了大量工作，尤其是他把廣泛結識與熟悉干部作為做好工作的基本條件，認真選拔與培養后備干部，為軍區的建設儲備了大量優秀的人才。

1955年，甘渭漢被授予中將軍銜，成為開國中將。授銜之后，甘渭漢留在沈陽軍區工作，擔任了副政委兼干部部部長。1956年，他調任總干部部副部長，兩年后，甘渭漢改任總政治部干部部部長，任職期間，他繼續堅持按軍隊建設的實際需要選拔任用干部，為新時期的軍隊干部建設作出了巨大的貢獻。

1965年，甘渭漢被調到成都軍區，擔任了成都軍區第四政委。在授銜之后12年，也就是1967年，甘渭漢也被迫卷入了時代的旋渦當中，遭受打擊迫害，并且被暫停了工作。直到1972年，甘渭漢才重新復出。復出之后，他被調到沈陽軍區，擔任了沈陽軍區副政委，后續又擔任了沈陽軍區第二政委以及總政治部副主任等職務，于1986年因病去世，享年78歲。