본명은 박덕산(朴德山)으로, '김일(金一)'이라는 이름은 해방 직후 김일성이 '나밖에 본명을 모른다'는 뜻으로 하사했다고 한다.
함경북도 출신으로 김일성과 함께 동북항일연군에서 항일 빨치산 활동을 했다.
광복 후 귀국해서 1945년 11월에 북조선공산당 평북 당비서, 1946년 4월에 북조선노동당 중앙위원회 상무위원 겸 정치위원 등을 지냈고, 1946년 9월에는 제1사단 문화부사단장이 되었다. 1948년 9월 정부가 수립되자 강건, 김무정과 함께 초대 내각의 민족보위성 부상(대한민국의 국방부 차관)에 선임되었다.
1948년에 최고인민회의 제1기 대의원에 선출되었고 이후 사망시까지 계속 최고인민회의 대의원으로 선출되었다. 한국 전쟁 당시 민족보위성 부상 겸 조선인민군 문화부 사령관으로 한국 전쟁에 참전했으나, 1950년 12월 패배주의적 언동을 했다는 이유로 좌천되었다.[1]
이후 김일성의 전폭적인 신임 덕분에 1953년 6월에 조선노동당 중앙위원회 비서, 8월 조선노동당 중앙위원회 부위원장, 중앙위원회 상무위원회 위원, 당 군사위원회 위원 등에 선출되면서 정계에 다시 복귀했다.
박헌영을 위시한 남로당파가 대거 숙청당하자 1954년 부수상 겸 농업상에 선임되었고, 1959년 8월 종파사건이 거의 정리된 시점에선 제1부수상이 되어 김일성, 최용건에 이은 서열 3위에 오르게 되었다. 이후 서열 3위로서 각종 직책들을 역임했고, 1972년 12월 김일성이 주석, 최용건이 제1부주석이 되면서 김일은 정무원 총리에 선출되었다.
최용건 사후에는 제1부주석이 되었고, 1979년에는 조국평화통일위원회 위원장에 취임하면서 대남관계에서도 활동하게 되었다.
1980년 조선노동당 중앙위원회 정치국 상무위원회 위원에 김일성, 김정일, 오진우, 리종옥과 함께 5인의 한 명으로 선출되면서 권력의 정점에 오르게 되었다.서열3위 시점에서 이미 정점 중의 정점입니다만