Sebelum memulai usaha toko buku, Wie Tay mengawali karirnya sebagai pedagang rokok keliling di daerah Senen dan Glodok. Dengan pendapatan dari penjualan rokok, ia mulai menabung dan membeli meja untuk berjualan, karena pada saat itu ia belum mampu membuka kios sendiri. Selain menjual rokok, Wie Tay juga memperluas bisnisnya dengan menjual bir dan buku.
Pada awalnya, ia fokus menjual buku impor berbahasa Belanda yang ternyata mendapatkan respon yang sangat baik dari pelanggan. Melihat potensi ini, Wie Tay bersama dua sahabatnya, yaitu Lie Tay San dan The Kie Hoat, memutuskan untuk mendirikan sebuah toko buku dan alat tulis di Kwitang, Jakarta Pusat.
Namun, perjalanan bisnis mereka tidak berjalan mulus ketika Wie Tay mengusulkan penambahan modal untuk mengembangkan bisnis mereka. Lie Tay San tidak setuju dengan usulan ini dan akhirnya memutuskan untuk keluar dari bisnis tersebut.
Kemudian, Wie Tay dan Kie Hoat bersama-sama mendirikan toko buku mereka sendiri dengan nama Gunung Agung yang memiliki arti besar. Toko buku ini terus berkembang dengan pesat, bahkan menerima pesanan dari luar kota secara reguler.
Ketika peresmian Toko Gunung Agung dilakukan, Wie Tay mengadakan pameran buku. Dengan modal sebesar Rp500.000, Gunung Agung berhasil memamerkan sekitar 10.000 buku. Setahun setelahnya, Wie Tay menggelar pameran buku yang lebih besar yang diberi nama Pekan Buku Indonesia 1954. Pada pameran ini, Gunung Agung memulai tradisi menyusun daftar lengkap buku dalam bentuk katalog yang dikenal sebagai bibliografi.
Gunung Agung kemudian membentuk tim khusus yang disebut Bibliografi Buku Indonesia yang dipimpin oleh Ali Amran, yang juga menjabat sebagai kepala bagian Penerbit PT Gunung Agung.
Itulah sepenggal kisah pendiri toko Buku Agung yang menjadi legenda penjualan buku di Indonesia.