Dia berkenalan dengan desain komputer saat kuliah di Chicago. Ellison hanya kuliah satu semester di Chicago, dia lalu pergi ke Berkeley untuk mencari pekerjaan di beberapa perusahaan teknologi.
Ampex Corporation adalah perusahaan pertama yang menerima bekerja, di sana dia dimasukkan dalam sebuah tim untuk membangun database bernama ‘Oracle’ untuk CIA. Pada 1977 dia mendirikan Software Development Laboratories (SDL) dengan dua rekanan.
Investasi awalnya hanya USD2.000, di mana USD1.200 berasal dari kantongnya. Ellison saat itu ditugaskan untuk menangani penjualan, karena keahlian teknis dua rekanannya lebih tinggi dibanding keahliannya.
Pada 1979, Oracle Database akhirnya diluncurkan. Perusahaan itu resmi mengganti nama menjadi Oracle Systems Corporation pada 1983, sesuai dengan nama produk flagship perusahaan tersebut, yakni sistem Oracle.
Pada 1997 Ellison pernah menjabat sebagai direktur Apple Computer setelah Steve Jobs kembali memimpin Apple, tetapi pada 2002 Ellison keluar. Dia menjadi CEO Oracle selama 37 tahun dan akhirnya berhenti pada 2014.