Arrillaga dibesarkan di pinggiran kota Los Angeles, Inglewood; ayahnya adalah seorang buruh di pasar produksi Los Angeles dan ibunya adalah seorang perawat.
Selama di Stanford, dia bekerja mencuci piring, mengantar surat, berkebun, dan memasak untuk menutupi biaya hidupnya. Setelah lulus pada 1960, Arrillaga sempat berkeliling dunia dengan tim bola basket nasional AS, kemudian menjual asuransi sebelum terjun ke real estate komersial.
Lebih dari lima dekade lalu dia bermitra dengan Richard "Dick" Peery untuk membangun kantor di sekitar Lembah Silikon. Perusahaan mereka Peery Arrillaga akhirnya membangun lusinan bangunan, penyewa perumahan termasuk raksasa teknologi seperti Google dan Intuit.
Pada 2006, perusahaan menjual sekitar setengah dari portofolio real estatenya seharga USD1,1 miliar. Forbes memperkirakan kekayaan bersih Arrillaga sebesar USD2,6 miliar.
Arrillaga memiliki dua anak yaitu John, Jr. dan Lauradengan istri pertamanya, Frances, yang meninggal lebih dari dua dekade lalu. Putrinya Laura Andreessen-Arrillaga menikah dengan pemodal ventura Silicon Valley, Marc Andreessen. Ia juga meninggalkan istri keduanya, Gioia Fasi Arrillaga, dan empat cucu.