1814. november 6-án született a svájci Unter-Embrachban, apja kilencgyermekes kántortanító volt. Ő ácsnak, majd vasöntőnek tanult, húszévesen inasként vándorútra indult és bejárta Európát. Bécsben hallotta, hogy Pesten szakmunkásokat keresnek egy új gőzmalomhoz, s 1841-ben a magyar fővárosba jött. Részt vett a Széchenyi által alapított József-hengermalom összeszerelésében, ahol csakhamar első öntőmester, később a gépészeti részleg vezetője lett. 1843-ban egy üzemi baleset során fél szemére megvakult, a baleset után kapott kártérítési összegből s a cég nyereségéből kapott részesedéséből önálló vállalkozást alapított - a József-hengermalom csak Kossuth közbenjárására engedte el.
1844-ben Budán, a mai Bem József utcában nyitotta meg első "vas és ércöntő intézetét", egy tégelykemencével és két fadaruval, itt van ma az Öntödei Múzeum. A cégnél a Lánchíd számára is készítettek öntöttvas elemeket, az 1846-os iparmű-kiállításon öntöttvas kályháival ezüst- és bronzérmet nyert.
A szabadságharc alatt már hatvan munkással dolgozott, ágyúkat és ágyúgolyókat szállított a honvédseregnek. Ezért az osztrák hadbíróság hatheti várfogságra ítélte, de ezt svájci közbenjárásra nem hajtották végre. Öntödéje később lakatos-, mintaasztalos- és kovácsműhelyekkel bővült, az üzem "országos gyár" minősítést szerzett. 1863-ban Ferenc József koronás arany érdemkereszttel tüntette ki, két év múlva személyesen is meglátogatta a gyárat.
Ganz az angol John Burn által feltalált kéregöntést tökéletesítve vasúti kocsikerekek gyártásához kezdett, gyártmányaira kizárólagos kereskedelmi jogot szerzett a Habsburg-birodalomban. Ez a vasútépítés korában óriási üzlet volt: az 1867-es kiegyezésig százezer vasúti kereket szállítottak 59 vasúttársaságnak. Ganz nagy számban gyártott vasúti váltó alkatrészeket is, termékei az 1855-ös párizsi és az 1867-es londoni világkiállításon is díjakat nyertek. 1859-ben vállalatának igazgatójává Mechwart Andrást tette meg, aki a gyárat európai színvonalúvá fejlesztette.
Ganz 1861-től Buda képviselőtestületének tagja volt, 1863-ban a város díszpolgárává választották, s mindig magyar ruhában járt, bár svájci állampolgárságát megtartotta. 1867. december 15-én Pesten az évtizedes túlfeszített munka okozta idegkimerültség miatt öngyilkos lett. A gyárat Mechwart vezette tovább, az üzemeiből kinőtt Ganz-vállalatok megőrizték nevét.
