Desa Kaliwulu adalah desa yang dahulu kala adalah tempat persinggahan perjalanan Sunan Gunung Jati dari Cirebon menuju kerajaan Galuh, dalam perjalanan tersebutt Sunan Gunung Jati berhenti sejenak untuk menunaikan ibadah sholat di suatu tempat, beliau meminta pengiringnya mencari tempat berwudhu, tidak jauh dari tempat tersebut di dapatkan sungai. Inilah asal muasal nama Kaliwulu yaitu berasal kata Kali yang berarti sungai dan kata WULU yang merupakan perubahan lafal dari Wudhlu.

Dari persinggahan singkat Sunan Gunung Jati itulah kemudian berdiri dan berkembang Desa Kaliwulu, Kepala Desa pertamanya adalah Ki Gede Kaliwulu yang bernama Syekh Syarif Abdurrahman yang kini makamnya berada di halaman masjid Kaliwulu. Ki Gede Kaliwulu merupakan anak dari pangeran Panjunan yang masih keturunan Sunan Gunung Jati.

Dengan adanya Desa Kaliwulu, maka didirikan pula sebuah Masjid. Masih menurut legendanya, Masjid Kaliwulu pada awalnya didirikan di Silintang, tetapi kemudian berpindah secara gaib ke tempatnya saat ini. Kapan Masjid Kaliwulu berdiri tidak dapat diketahui dengan pasti, Untuk menentukan waktu pembangunan masjid, arkeolog menganalisis inskripsi di bagian atas pintu masuk  ruang utama masjid. Tulisan di situ hanya menyebutkan perbaikan yang pernah dilakukan di Masjid Kaliwulu yang bunyinya adalah sebagai berikut:

“Pinata ing pintu andangdani ing masjid akhir wayah dina rabo wulan rajab
tanggal rong puluh ing tahun alif hijrah nabi sewu rong atus pitulikur”

Bila diterjemahkan kurang lebih berbunyi: Ditatah di pintu masjid yang berakhir diperbaiki pada hari rabu bulan rajab tanggal dua puluh tahun alif seribu dua ratus dua puluh tujuh hijrah nabi. Perhitungan terhadap tahun 1227 H bersamaan dengan tahun Masehi yang jatuh ± pada tahun 1826 M. Melihat pada bunyi tulisan, masjid ini sudah berdiri lebih tua dari pada tahun yang disebut pada tulisannya. Masjid Kaliwulu bercirikan masjid tradisional di Jawa. Maksudnya, masjid ini berdenah bujur sangkar, beratap tumpang satu, dan punya empat tiang utama, serta ada hiasan di puncak atapnya (memolo) serta adanya makam dari tokoh setempat yang dimakamkan di halaman mesjid.

 Untuk masuk ke halaman masjid terdapat pintu di sisi barat dan timur dengan bentuk gapura paduraksa dan terbuat dari kayu. Setelah melewati pintu ini akan didapatkan halaman pertama sisi utara dengan sebuah pendopo baru untuk istirahat dan shalat jum'at. Ciri kekunaan masih tersisa di bagian ruang utama masjid dengan terdapatnya pintu berbentuk paduraksa untuk masuk ke dalam ruang utama. Pada dinding sisi luar dari kedua pintu tersebut banyak dihiasi dengan piring-piring keramik beragam motif dan ukuran yang direkatkan pada dinding sejumlah 97. Pintu masjid dibuat rendah, sehingga untuk masuk harus menunduk atau membungkukkan badan. Ini mengandung filosofi bahwa untuk masuk ke tempat suci seseorang harus merendahkan dirinya sebagai penghormatan pada Allah SWT. Pada bagian atas sisi luar pintu masuk ini terdapat tulisan beraksara arab.