Program Studi D3 Bahasa Jepang berada di bawah naungan Fakultas Sastra USU. Program studi ini didirikan pada tahun 1980, dengan status Jurusan Bahasa Jepang yang diketuai oleh Dra. Etty Martiny. Pada tahun 1987 sesuai dengan SK Dirjen Dikti No. 23/DIKTI/Kep/1987 tanggal 13 Juni 1987 jurusan ini berubah menjadi Program Studi Diploma III Bahasa Jepang.

Dalam perkembangannya Program Studi D-3 Bahasa Jepang sejak awal dibuka sampai sekarang secara berturut-turut dipimpin oleh Ketua dan Sekretaris : Dra. Etty Martiny (1980-1986), Dra. Etty Martiny-Adriana Hasibuan BA (1986-1988),Drs. Hamzon Situmorang – Siti Maharani BA. (1988-1990), Drs. Eman Kusdiyana – Drs. Yuddi Adrian M. (1990-1992), Drs. Yuddi Adrian M. – Drs. Nandi S. (1992-2000) dan Drs. Nandi S. (2000-2006). Drs. Nandi S.– Adriana Hasibuan SS, M.Hum. (2006-). Adriana Hasibuan, S.S., M.Hum. – Zulnaidi, S.S., M.Hum. (2006 – 2010). Zulnaidi, S.S., M.Hum. (2011 – sekarang) Program Studi saat ini dibantu oleh seorang pegawai administrasi.

Pada awalnya kurikulum Program Studi Bahasa Jepang (D-3) yang digunakan mengacu pada Kurikulum Nasional (KURNAS) tahun 2006. Jumlah SKS yang harus ditempuh oleh mahasiswa sebanyak 110 SKS yang terdiri dari 6 semester. Pada tahun 2012 berdasarkan SK Mendiknas No. 232/U/2000 mengalami perubahan menjadi 111 SKS.

Program Studi Bahasa Jepang Fakultas Ilmu Budaya USU telah bekerjasama dengan Asosiasi pendidikan Bahasa Jepang Indonesia (GAKKAI) dalam menyelenggarakan lokakarya dan seminar-seminar. Begitu juga dengan Assosiasi Studi Jepang Indonesia (ASJI) para staf pengajar dari Program Studi Bahasa Jepang sering diundang untuk mengahadiri kegiatan ASJI.