Arisztokrata családból származott, s katonai pályára lépett. Az amerikai polgárháború idején megfigyelő volt az északi hadseregben, itt emelkedett először a levegőbe egy ballonnal. 1866-ban a (vesztes) osztrák oldalon harcolt a poroszok ellen, majd 1870-ben a (győztes) porosz oldalon a franciák ellen. 1891-ben altábornagyi rangban vonult vissza, ettől kezdve minden idejét és tehetségét a repülésnek szentelte.
A léggömbök ekkoriban még ki voltak szolgáltatva a szél kényének-kegyének, s nem sikerült megoldani irányításukat sem. Zeppelin volt az első, aki a magyar Schwarz Dávid terveinek továbbfejlesztésével merev testű, kormányozható léghajót tudott építeni. (Zeppelin a magyar feltaláló gépének 1897-es, katasztrófával végződött bemutatója után vette meg a terveket az özvegytől.)
A LZ-I léghajó hossza 128, átmérője 11,7 méter volt és 16 elválasztott gáztartályt tartalmazott. A légcsavarokon keletkező húzóerőt két 16 lóerős Daimler-motor szolgáltatta, a haladás irányát oldal- és magassági kormányokkal szabályozták.
A léghajó első, 17 perces próbaútját 1900. július 2-án tette a Boden-tó felett, de a kormánymű tökéletlenségei miatt a kikötőoszlophoz közelítésnél csaknem eltört. A hibák kiküszöbölése után a jármű 31 kilométeres óránkénti sebességet ért el, az LZ-III 1906-ban már egy napig maradt a levegőben. A fejlesztés felemésztette Zeppelin vagyonát, akit a csődtől csak II. Vilmos császár támogatása és egy javára rendezett sorsjáték mentett meg. A feltaláló 1917. március 8-án halt meg a poroszországi Charlottenburgban.
A léghajók az első világháborúban alulmaradtak a repülőgépekkel szemben: lassúságuk miatt ki voltak szolgáltatva, robbanékonyságuk miatt könnyű célpontot jelentettek - London bombázásakor a repülő szivarok közül mintegy negyven pusztult el.
Történetük azonban nem ért véget: a Graf Zeppelin utasszállító léghajó 1929-ben 21 nap alatt körüljárta a Földet, s összesen 144 alkalommal kelt át az Atlanti-óceánon. Magyarországon 1931. március 29-én szállt le a csepeli repülőtéren az első zeppelin, amelyből elsőként Karinthy Frigyes lépett ki. 1936-tól közlekedett rendszeresen az Egyesült Államokba az LZ-129 jelű Hindenburg. A 245 méter hosszú, 41,2 méter átmérőjű és 72 férőhelyes léghajó 1937. május 7-én New Jersey-ben, Lakehurstnál máig tisztázatlan körülmények között kigyulladt, a robbanás 36 emberéletet követelt. A tragédia után a léghajók iránti érdeklődés lehanyatlott, majd megszűnt.
Az utóbbi években a zeppelinek reneszánszukat élik, mivel olcsóbban üzemeltethetők, nem szennyezik a környezetet, zajszintjük alacsony, nincs szükségük nagy repülőterekre és nagy terhek szállítására is alkalmasak. A repülőgépeknél lassabb, ugyanakkor nyugodtabb haladásra képes új típusú zeppelineket használják turisztikai célokra, például városnézésre, de nyersanyagok lelőhelyének felkutatására is.
