Nama Gampong Rima Jeuneu berasal dari sebuah lagenda. Rima berasal dari kata Rimba (hutan). Area perkampungan Rima sekarang awalnya memang kawasan hutan rimba. Akibat pengaruh pengucapan dalam perkataan sehari-hari dari Rimba berubah menjadi Rima. Letak awal dari area Gampong Rima dulunya berada di seberang jalan raya (jalan nasional). Saat itu karena Rima diserang oleh penyakit taeun penduduk berkesimpulan bahwa tanah tersebut telah berpenyakit dan tidak cocok lagi sebagai tempat berdomisili. Maka ditebanglah Rimba disampingnya untuk dijadikan perkampungan baru, yang sekarnag menjadi area pusat Gampong Rima. Di kalangan masyarakat Aceh Besar yang telah berusia lanjut, masih sering menyebut Gampong Rima dengan sebutan Gampong Rimba.

Jeuneu berasal dari kata Jine (akar Jine/akar Tuba), yaitu sejenis tumbuhan yang akarnya menjalar dalam tanah, getah akarnya berwarna putih susu, dan mengandung racun yang sangat kuat. Getah ini sering digunakan oleh masyarakat untuk meracun ikan disungai. Gampong Rima Jeuneu merupakan salah satu gampong yang dilanda bencana tsunami yang mengalami kerusakan sampai tingkat hancur total. Bangunan pemukiman dan fasilitas umum hancur 100%, sehingga semua aspek kehidupan gampong hancur total. Namun sekarang sudah terdapat sarana dan prasarana dari pihak pemerintah serta instansi terkait.