Ia tumbuh dalam keluarga yang bersahaja: ayahnya, Phang Sui On, adalah seorang penyadap karet di Desa Sungai Sambas, Kalimantan Barat, yang juga merangkap sebagai penjahit di pasar Sungai Betung demi menambah penghasilan.
Sejak kecil, Prajogo kerap membantu ayahnya sebelum berangkat sekolah. Usai menamatkan sekolah menengah pertama Tionghoa setempat (SMP Nan Hua) di Singkawang, ia merantau ke Jakarta untuk mencari pekerjaan. Namun, harapan tak selalu sejalan dengan kenyataan.
Tak kunjung mendapat pekerjaan yang cocok, ia pun kembali ke Kalimantan dan menjadi sopir angkutan umum di rute Singkawang-Pontianak. Profesi itu hanya bertahan sebentar. Setelahnya, ia banting setir berjualan terasi dan ikan asin.
Kehidupan Prajogo berubah pada 1975, ketika ia diangkat menjadi General Manager PT Nusantara Plywood oleh Burhan Uray, bos besar Djajanti Group.
Setahun berselang, ia mengambil alih CV Pacific Lumber dan menamainya PT Barito Pacific Lumber. Dari sinilah langkahnya kian mantap.