Munger tinggal di Los Angeles hampir sepanjang hidupnya, meskipun lahir di Omaha pada 1 Januari 1924. Dia lahir dari pasangan Al dan Florence Munger. Ayahnya seorang pengacara dan kakeknya hakim federal.
Seperti yang dijelaskan oleh Michael Broggie dalam buku “Poor Charlie’s Almanack: The Wit and Wisdom of Charles T. Munger” pada 2005, keluarga Munger bernasib cukup baik selama Depresi Besar.
Pekerjaan pertama Munger adalah juru tulis dengan upah USD2 per shift. Dia bekerja di Buffett & Son, toko kelontong kelas atas di Omaha milik kakek Warren Buffett. Meski begitu, Munger tidak pernah bertemu Buffett selama masa mudanya.
Adapun Munger menunjukkan bakat bisnisnya sejak dia mulai beternak hamster untuk dijual ke anak-anak lain.
Dia sempat menjadi mahasiswa di Universitas Michigan jurusan matematika. Namun keluar pada 1943 dan bergabung untuk perang. Dia mendaftar di Angkatan Udara dan dilatih mengenai meteorologi di Caltech di Pasadena.
