Omröstningen föregicks av en presentationsrunda med kandidaterna, där även hälso- och sjukvårdsministern Jens Spahn ingick. Han försvann efter den första voteringsrundan.
I presentationerna belönades Kramp-Karrenbauer med betydligt längre applåder än Merz, en första indikation på hur det skulle sluta.
Detta var den första partiledarstriden i CDU på nära 50 år som spelades upp inför öppen ridå.
Trebarnsmamman Kramp-Karrenbauer ses som en mittenorienterad, lojal Merkelkvinna, vars katolska bakgrund dock har skapat en viss tjuskraft även bland mer värdekonservativa CDU-medlemmar. Hon är till exempel inte anhängare av samkönade äktenskap.
Hon har i princip ställt sig bakom Merkel öppna attityd mot migranter, även om hon inte sticker under stol med att stora misstag har gjorts och förordar att flyktingar med kriminell bakgrund ska stoppas från att komma in i Tyskland.
Samtidigt upprepade hon i Hamburg denna partihistoriska dag att extremhögern måste hållas kort i Tyskland och Europa.
AKK var tidigare regeringschef i delstaten Saarland. Där ledde hon en trepartikoalition och visade upp en talang för alliansbygge med andra partier.
Ibland har Kramp-Karrenbauer etiketterats som en "Mini-Merkel".
– Jag har läst mycket om vad jag är och vem jag är. "Mini", en kopia, bara lite "mer av detsamma". Kära delegater, jag står framför er som jag är och som livet har format mig och jag är stolt över det, sade AKK i ett eldfängt tal till kongressen.
Rutger Lindahl, professor i statsvetenskap vid Göteborgs universitet, är inte förvånad över resultatet. Däremot är han oroad över att det var så tajt mellan Merz och Kramp-Karrenbauer.
– Det visar ju på splittringen i partiet. Det är ingen tvekan om att det kommer att fortsätta en kamp om partiets valplattform inför nästa förbundsdagsval.
Kramp-Karrenbauer är en "Merkelian" , konstaterar Lindahl:
– Ideologiskt så kommer hon inte att ändra CDU på något sätt. Det tror jag inte.
Är hon omtyckt av den tyska befolkningen?
– Det finns väldigt olika åsikter även där. Hon är ju ingen dynamisk person som det sprudlar om, men jag tror att hon går hem på grund av sin eftertänksamhet. Hon lyssnar in och vill försöka se till att man har förankrat politiken innan man går till beslut.
Innan avgörandet fick den avgående ledaren Merkel stående ovationer i mässhallen i Hamburg och en nio minuter lång applåd. Några delegater höll upp skyltar med texten "Danke, Chefin" – tack, chefen.
– Det har varit ett stort nöje för mig. Det har varit en ära, sade en märkbart rörd Merkel.
Kemisten, uppväxt i Östtyskland, tog 2000 över ordförandeposten i CDU. 18 år senare lämnar hon över ett annat kristdemokratiskt parti till AKK.
Sannolikheten för att Merkel stannar kvar som förbundskansler till 2021 när förordnandet går ut har ökat i och med att AKK ersätter henne, skriver nyhetsbyrån AFP mot bakgrund av att Kramp-Karrenbauer allmänt anses vara Merkels handplockade "kronprinsessa" som CDU-boss.