1864 yılında İstanbul da yoksul bir ailenin oğlu olarak dünyaya geldi. Babası Boyabatlı Hasan Ağa, annesi Saniye Hanımdır. Anne ve babasının ölümü üzerine ninesi tarafından on yaşındayken Darüşşafaka?ya verildi. 1882 yılında Darüşşafaka yı birincilikle bitirdi. Aynı yıl Posta ve Telgraf Nezareti Telgraf Kalemi (Fen Şubesi) ne memur olarak atandı. 1884 yılında Nezaretin Avrupa'da uzman telgraf mühendisi ve fizikçi yetiştirme kararı üzerine birkaç arkadaşıyla birlikte Paris'e gönderildi ve burada Politeknik Yüksekokulu'nda elektrik mühendisliği öğrenimi gördü. 1887 yılında İstanbul'a döndü ve eski dairesinde elektrik mühendisi ve müfettiş olarak çalıştı. Ek görev olarak Mekteb-i Mülkiye'de (bugün Ankara Üniversitesi ne bağlı Siyasal Bilgiler Fakültesi) fizik ve kimya dersleri verdi (1889-1900). Bu arada Rasathane-i Amire müdürlüğünde ve II. Meşrutiyetin ilanından (1908) sonra Maarif Nezareti Meclis-i Maarif üyeliğinde bulundu. 1910 da Mekteb-i Sultani (bugün Galatasaray Lisesi) müdürlüğüne atandı. 1912 de Maarif Nezareti müsteşarı, 1913?te Darülfünün-ı Osmani (bugün İstanbul Üniversitesi) rektörü oldu. 1917 de rektörlükten ayrıldıysa da üniversitedeki görevini Fen Şubesi (Fakültesi) Müderrisi (Profesör) olarak sürdürdü. Ömrünün sonuna doğru aklî dengesini kaybetti ve tedavi altındayken 1921 yılında Şişli'deki Fransız Hastanesi'nde öldü. Fatih Camiinin bahçesine gömüldü.
3 kez evlenmiş olan Salih Zeki, bu evliliklerden birini Halide Edip'le (Adıvar) yapmış, ölümünden kısa bir süre önce ayrılmıştı. Salih Zeki, önde gelen son dönem Osmanlı matematik bilginlerindendi. İkdam, Darüşşafaka ve İktisadiyat gazeteleri ile Darülfünun dergisine sayısız katkıda bulundu. Dönemin ünlü bilginleriyle matematik ve fen bilimleri konusunda yazılı tartışmalara girdi ve bu konularda bir kısmı ders kitabı olmak üzere çok sayıda yapıt verdi.
Yapıtları: Hendese (Geometri) [lise ders kitabı]; Hikmet-i Tabiiye (Fizik) [lise ders kitabı]; Mebhas-ı Savt (Fonetik); Mebhas-ı Elektrik-i Miknatisi (Elektro Magnetizma); Mebhas-ı Hararet-i Harekiye (Termodinamik); Mebhas-ı Cazibeyi Umumiye (Genel Çekim); Mebhas-ı Elektrikiyet ve Şariyet (Elektrik ve Kılcallık); Hesab-ı İhtimali (İhtimaller Hesabı); Mebhas-ı Hareket-i Seyalat (Akışkanların Hareketi); Hendese-i Tahliliye (Analitik Geometri); Mebhas-ı Nazariye-i Temevvücat (Dalga Teorisi); Heyet-i Riyaziye (Matematik Astronomi); Kamus-u Riyaziyat (Matematik Ansiklopedisi); Asar-ı Bakiye (Ölmez Eserler). Son iki yapıtın tamamı, ayrıca Henri Poincare?den çevirdiği dört kitap basılmamıştır.