Nommensen dilahirkan pada tanggal 6 Februari 1834 di sebuah pulau kecil, di Jerman. Ia sejak kecil sudah hidup di dalam kemiskinan dan penderitaan. Sejak kecil ia sudah mencari nafkah untuk membantu orang tuanya. Pada umur 8 tahun ia mencari nafkah dengan menggembalakan domba milik orang lain pada musim panas dan pada musim dingin ia bersekolah. Dan pada umur 10 tahun ia menjadi buruh tani. Semuanya ini nampaknya merupakan persiapan bagi pekerjaannya sebagai pekabar Injil di kemudian hari.
Tahun 1846 Nommensen mengalami kecelakaan yang serius. Pada waktu ia bermain, ia ditabrak kereta kuda. Kereta kuda itu menggilas kakinya sehingga patah. Kecelakaan itu memaksanya berbaring di tempat tidur selama berbulan-bulan.
Pada suatu hari Nommensen membaca Yohanes 16:23-26, yaitu tentang kata-kata Tuhan Yesus bahwa siapa yang meminta kepada Bapa di surga maka Bapa akan mengabulkannya. Ia bertanya kepada ibunya, apakah perkataan Yesus itu masih berlaku atau tidak? Ibunya meyakinkannya bahwa perkataan itu masih berlaku. Ia meminta ibunya untuk berdoa bersama- sama. Nommensen meminta kesembuhan dan dengan janji, jikalau ia sembuh maka ia akan pergi memberitakan Injil. Dan memang doanya dikabulkan.
Setelah sembuh Nommensen kembali menggembalakan domba. Tetapi janjinya selalu menggodanya untuk segera memenuhinya. Oleh karena itu ia melamar untuk menjadi penginjil pada Lembaga Pekabaran Injil Rhein (RMG). Beberapa tahun lamanya ia belajar sebagai calon pekabar Injl.
Tahun 1861 ia ditahbiskan menjadi pendeta. Dan sesudahnya ia berangkat menuju Sumatera dan tiba pada bulan Mei 1862 di Padang. Ia memulai pekerjaannya di Barus. Ia mulai belajar bahasa Batak dan bahasa Melayu. Ia mengadakan kontak dengan orang-orang Batak, terutama dengan raja-raja Batak. Ia tidak jemu mengadakan perjalanan keliling untuk menciptakan hubungan pergaulan yang baik. Ia mempelajari adat- istiadat Batak.
Nommensen meminta ijin untuk masuk ke pedalaman namun dilarang oleh pemerintah, karena sangat berbahaya bagi seorang asing. Namun Nommensen tidak takut. Ia memilih Silindung sebagai tempat tinggalnya yang baru. Ia mendapat gangguan yang hebat di sini, namun ia tidak putus asa. Ia berhasil mengumpulkan jemaatnya yang pertama di Huta Dame (Kampung Damai).
Nommensen memberitakan Injil di tanah Batak dengan berbagai macam cara. Ia menerjemahkan PB ke dalam bahasa Batak Toba dan menerbitkan cerita-cerita Batak. Ia juga berusaha untuk memperbaiki pertanian, peternakan, meminjamkan modal, menebus hamba-hamba dari tuan- tuannya, dan membuka sekolah-sekolah serta balai-balai pengobatan.
Nommensen meninggal pada umur yang sangat tua, pada umur 84 tahun. Ia meninggal pada 12 Mei 1918. Nommensen dikuburkan di Sigumpar di tengah-tengah suku bangsa Batak setelah bekerja dalam kalangan suku bangsa ini selama 57 tahun lamanya