Bahasa pemrograman Java terlahir dari The Green Project (memiliki kode Green dengan tujuan untuk menghasilkan bahasa komputer sederhana yang dapat dijalankan di peralatan sederhana dan tidak terikat pada arsitektur tertentu), yang berjalan selama 18 bulan, dari awal tahun 1991 hingga musim panas 1992. Proyek tersebut belum menggunakan versi yang dinamakan Oak. Proyek ini dimotori oleh Patrick Naughton, Mike Sheridan, James Gosling dan Bill Joy, beserta sembilan pemrogram lainnya dari Sun Microsystems. Salah satu hasil proyek ini adalah maskot Duke yang dibuat oleh Joe Palrang. Pertemuan proyek berlangsung di sebuah gedung perkantoran Sand Hill Road di Menlo Park.
Awalnya mereka ingin membuat suatu bahasa komputer yang dapat digunakan oleh TV kabel (Cable TV Box) yang memiliki memori kecil dan setiap perusahaan memiliki tipe yang berbeda.

                                Untuk mengaplikasikan hal tersebut mereka menggunakan hal yang pernah dicoba oleh bahasa UCSD Pascal, yaitu mendesain sebuah bahasa yang portable yang menghasilkan kode intermediate. Kode intermediate ini kemudian dapat digunakan pada banyak komputer yang interpreternya telah disesuaikan. Sebelumnya Niclaus Wirth telah membuat sebuah bahasa yang portable yang akan digunakan dalam mesin bayangan (selanjutnya ini disebut sebagai Virtual Mesin) namun saat itu belum diumumkan. Akhirnya tim green menggunakan ide ini dan akhirnya mereka menciptakan Java Virtual Mesin. Vitual mesin inilah yang membuat java dapat dijalankan di berbagai platform.
Karena orang-orang Sun memiliki latar belakang sebagai pemakai unix sehingga mereka lebih menggunakan C++ sebagai basis bahasa pemrograman mereka, maka mereka secara khusus mengembangkan bahasa yang berorientasi objek bukan berorientasi prosedur. Seperti yang dikatakan Gosling,”Secara keseluruhan, bahasa hanyalah sarana, bukan merupakan tujuan akhir.”
Sekitar musim panas 1992 proyek ini ditutup dengan menghasilkan sebuah program Java Oak pertama, yang ditujukan sebagai pengendali sebuah peralatan dengan teknologi layar sentuh (touch screen), seperti pada PDA sekarang ini. Teknologi baru ini dinamai “*7? (Star Seven).
Dalam suatu wawancara pada pertengahan tahun 94 James Gosling mengatakan, “We could build a real cool browser. It was one of the few things in the client/server mainstream that needed some of the weird things we’d done: architecture neutral, real-time,reliable, secure—issues that weren’t terribly important in the workstation world. So we built a browser.”
Akhirnya dibuatlah suatu browser oleh Patrick Naughton dan Jonathan Payne. Browser itu diberi nama Hot Java. Browser ini dibuat dengan menggunakan bahasa java untuk menunjukkan kemapuan dari java, yakni mampu menjalankan script Applet sehingga browser dapat menjalankan kode program di dalam browser dalam SunWorld ’95.
Inilah bukti dari teknologi itu yang ditunjukkan java pada tanggal 25 mei 1995.
Sejak saat itu browser java memberikan lisensinya kepada browser lain untuk bisa menjalankan Applet dan pada tahun 1996 diberikan pada Internet Explorer. Karena keunikannya dan kelebihannaya, teknologi Java mulai menarik banyak vendor seperti IBM,Symantec,Inprise,dll. Akhirnya pada tahun 1996 muncul JDK 1.1 kemudian JDK 1.2, yang mulai disebut sebagai versi Java2 karena banyak mengandung peningkatan dan perbaikan.

Java dulunya dikenal dengan nama "OAK" .Nama Oak, diambil dari pohon oak yang tumbuh di depan jendela ruangan kerja “Bapak Java”, James Gosling saat di Sun. Nama Oak ini tidak dipakai untuk versi release Java karena sebuah perangkat lunak lain sudah terdaftar dengan merek dagang tersebut, sehingga diambil nama penggantinya menjadi “Java.” Nama ini diambil dari kopi murni yang digiling langsung dari biji (kopi tubruk) kesukaan Gosling. Konon kopi ini berasal dari Pulau Jawa. Jadi nama bahasa pemrograman Java tidak lain berasal dari kata Jawa (bahasa Inggris untuk Jawa adalah Java).