Narodil sa 18. Marca 1858 v Paríži, ako druhé dieťa z troch (Theodor, Rudolph, Elisa). Diesloví rodičia boli emigranti v narodení v Nemecku a žijúci vo Francúzsku.
Diesel strávil svoje skoré detstvo vo Francúzsku, ale ako dôsledok Francúzsko Pruskej vojny v roku 1870, jeho rodina bola nútená odísť a emigrovať do Londýna. Pred skončením vojny ho mama poslala ako 12 ročného do Ausburgu, bývať k jeho tete. Tu sa naučil po nemecky a začal navštevovať kráľovskú základnú obchodnú školu Königliche Kreis-Gewerbsschule, kde jeho ujo vyučoval matematiku. Keď mal 14 rokov napísal svojim rodičom, že sa chce stať inžinierom a po skončení základnej školskej dochádzky v roku 1873, sa zapísal do Priemyselnej školy v Ausburgu. Neskôr v roku 1875, získal prospechové štipendium od kráľovskej Bavorskej Polytechnickej školy v Mníchove, kde ho vyučovali profesori ako napríklad Carl Von Linde. Diesel nebol schopný vyštudovať spolu s jeho triedou v júli 1879, pretože mal záchvat týfusu. Pokiaľ čakal na nasledujúce skúšky, zbieral praktické skúsenosti vo fabrike bratov Sulzerovcov vo Wintherthur, Švajčiarsko.
Diesel vyštudoval s akademickým titulom v januári 1880. Potom sa vrátil naspäť do Paríža, kde asistoval a napomáhal jeho nemeckému profesorovi a priateľovi Carlovi von Linde, navrhovaním a konštrukciou chladničky a mrazničky. Diesel sa stal riaditeľom odvetvia s mrazničkami o rok neskôr.
V roku 1883, sa Rudolph Diesel oženil s Marthou Flasche, a stále pracoval pre Lindeho. Zhromažďoval patenty ako vo Francúzsku, tak aj v Nemecku.
V roku 1890 opustil svoju ženu s tromi deťmi (Rudolf, Heddy a Eugen) a zamieril do Berlína, kde zaujal post manažéra Lindeho korporácie. Mal na starosti výskumné a vývojové stredisko a zapojenie niekoľkých miestnych firiem do vývoja. Pretože nemal dodatočné patenty a povolenia, rozhodol sa upustiť od chladničiek. Jeho prvé experimenty s parou a následný výskum palivovej účinnosti ho hnal ku zkonštruovaniu parného motora s použitím výparov čpavku. Počas testov tento stroj explodoval s takmer osudnými následkami. Výsledkom tejto činnosti bolo niekoľko mesiacov strávených v nemocnici a obrovské množstvo chorôb, hlavne očných problémov.
Avšak ani jeho zlá skúsenosť ho neodradila od navrhovania motora, tento krát na báze carnotovho cyklu. Diesel publikoval spis pomenovaný: „Theorie und Construktion eines rationellen Wärmemotors zum Ersatz der Dampfmaschine und der heute bekannten Verbrennungsmotoren“ (Teória a konštrukcia racionálneho tepelného motora do parného motora a spaľovacieho motora), kde formoval základy pre jeho prácu a vynález dieselového motora.
Diesel veľmi dobre rozumel termodynamike, teoretickému a praktickému tlaku na palivovú účinnosť. Vedel, že veľmi dobrý parný motor má iba 10-15 % termodynamického efektu, kde okolo 90 % tejto energie je nevyužitej. Jeho práca spočívala v zlepšení termodynamického pomeru. Pokúšal sa konštruovať motor na báze Carnotovho cyklu. Stále sa ale pokúšal vynachádzať vlastnú koncepciu. Napokon sa mu podarilo zkonštruovať svoj vlastný motor a získať patent za jeho dizajn. V jeho motore bolo palivo vstrekované na koniec kompresie a palivo bolo vznietené vysokou teplotou vyplývajúcou z kompresie vzduchu. Rudolph dokázal vytvoriť motor podľa vlastnej teórie a dizajnu. Jeho motor a jeho následné mutácie sú dnes pomenované ako dieslové motory. Od roku 1893 do 1897 Henrich von Buz, riaditeľ MAN AG v Ausburgu, dal Rudolfovi Dieslovi možnosť testovať a zdokonaľovať jeho ideje. Diesel získal patenty v Nemecku a v ostatných krajinách, vrátane USA, na konštrukciu jeho motora.
29. september 1913 bol pre Diesla osudným. Vtedy Diesel nasadol na poštový parník „Drážďany“ v Antverpách a mal namierené na stretnutie do svojho závodu v Londýne. Navečeral sa a neskôr unavený odišiel do svojej kabíny okolo 22.00 hodiny. Odvtedy ho nikto nevidel. O desať dní neskôr posádka nemeckej lodi Coertsen priplávala k mŕtvole muža plávajúcej na mori. Telo bolo v pokročilom štádiu rozkladu a posádka sa rozhodla nedopraviť telo na breh. Len zozbierala osobné veci mŕtveho muža a telo vrátili do mora. 13. októbra tieto osobné doklady boli identifikované Rudolfovým synom Eugenom Dieslom s potvrdením, že to bol jeho otec.
Existuje množstvo konšpiračných teórií Dieslelovej smrti, ani jedna ale nebola ani potvrdená ani vyvrátená.