Ήταν ο μεγαλύτερος γιος σουηβικής οικογένειας βιομηχάνων. Σπούδασε ανθρωπολογία και ιατρική – με ιδιαίτερο ενδιαφέρον για την γενετική – στο Μόναχο, τη Βόννη και τη Βιέννη. Ένας συμμαθητής του, ο Γιούλιους Ντίνσμπαχ, περιέγραψε τον Μένγκελε, μετά το 1945, ως εξής: «Δεν ήθελε απλώς να είναι επιτυχημένος, αλλά να ξεχωρίζει από την μάζα. Το πάθος του ήταν να γίνει διάσημος. Μου είπε μια φορά ότι κάποτε το όνομά του θα βρίσκεται σε λεξικό.»

Αφού τελείωσε τις σπουδές του, εργάστηκε στο Ινστιτούτο Κληρονομικότητας και Φυλετικής Υγιεινής στο Πανεπιστήμιο Γιόχαν Βόλφγκανγκ Γκαίτε της Φρανκφούρτης. Διευθυντής του Ινστιτούτου ήταν ο καθηγητής Ότμαρ φον Φέρσουερ. Το Ινστιτούτο αυτό ήταν όργανο της φυλετικής πολιτικής του Τρίτου Ράιχ. Εκεί συντάσσονταν οι πραγματογνωμοσύνες για τις υποχρεωτικές στειρώσεις ή και γινόταν η αρχειοθέτηση των Σίντι και Ρομά για την κατοπινή εκτόπισή τους.

Το 1935 συνέγραψε τη διδακτορική του διατριβή για τη φυλετική μορφολογία του πρόσθιου τμήματος της κάτω σιαγόνας τεσσάρων φυλετικών ομάδων, με τίτλο «Rassenmorphologische Untersuchung des vorderen Unterkieferabschnitts bei vier rassischen Gruppen», η οποία δημοσιεύτηκε το 1937. Το 1938 δημοσίευσε ιατρική διατριβή με τίτλο «Εξέταση του φαινομένου της λαγωχειλίας σε συγγενείς» («Sippenuntersuchungen bei Lippen-Kiefer-Gaumenspalte»). Η τρίτη του δημοσίευση έφερε τον τίτλο «Περί της κληρονομικότητας των συριγγίων» («Zur Vererbung der Ohrfisteln»).

Το 1931 προσχώρησε στην παραστρατιωτική οργάνωση Stahlhelm, η οποία το 1934 ενώθηκε με τα SA(Sturmabteilung). Λίγο αργότερα εγκατέλειψε τα SA (η οργάνωση SA ή Sturmabteilung ήταν παραστρατιωτική οργάνωση του Εθνικοσοσιαλιστικόυ Γερμανικόυ Εργατικόυ Κόμμα (NSDAP) για λόγους υγείας. Το 1937 προσχώρησε στο Εθνικοσοσιαλιστικό Γερμανικό Εργατικό Κόμμα (NSDAP), και το 1938 στα SS. Αφού το 1940 στρατολογήθηκε από τη Βέρμαχτ, δήλωσε εθελοντής για τα Ένοπλα SS (Waffen SS).

Στο Άουσβιτς

Αφού τραυματίστηκε το 1943 στο ανατολικό μέτωπο, επέστρεψε στο Βερολίνο. Στις 30 Μαΐου 1943 διορίστηκε γιατρός του στρατοπέδου εξόντωσης Άουσβιτς ΙΙ Μπίρκεναου, αντικαθιστώντας τον προκάτοχό του, ο οποίος παραιτήθηκε για λόγους υγείας.

Στο Άουσβιτς-Μπίρκεναου έκανε κυρίως πειράματα με διδύμους και μικρόσωμους, οι οποίοι αποτελούσαν για αυτόν την υποδειγματική έκφραση της «ανωμαλίας». Επίσης, παιδιά αθιγγανικής καταγωγής κινούσαν το ενδιαφέρον του, αφού προσπαθούσε μέσω συγκριτικών πειραμάτων μεταξύ αυτών και άλλων κρατουμένων παιδιών να θεμελιώσει τις φυλετικές του θεωρίες. Φρόντιζε οι ιατρικά απαραίτητες εγχειρήσεις να πραγματοποιούνται συνήθως από βοηθούς του, ενώ ο ίδιος αφοσιωνόταν στα πειράματα του με τους κρατουμένους και τις κατοπινές νεκροψίες.

Για να μπορέσει να πραγματοποιήσει τις νεκροψίες με στόχο τη διαπίστωση των αποτελεσμάτων των πειραμάτων του, σκότωνε τα θύματα με ενέσεις φαινόλης. Οι πράξεις του αυτές, συμπεριλαμβανομένων των φόνων, ήταν μέρος μελετών για τη συγγραφή εργασίας επί υφηγεσία, η οποία, όμως, δεν ολοκληρώθηκε ποτέ.

Όπως και οι άλλοι γιατροί του Άουσβιτς, έτσι και ο Μένγκελε έλαβε μέρος αμέτρητες φορές στη διαλογή των νέων κρατουμένων, βάσει της οποίας διαχωρίζονταν οι νεοαφιχθέντες ικανοί για εργασία από τους αδύναμους, γέρους και ασθενείς, οι οποίοι κατόπιν οδηγούνταν κατευθείαν στους θαλάμους αερίων, όπου έβρισκαν τον θάνατο.

Ο Γιόζεφ Μένγκελε ενδιαφερόταν για τις φυλετικές διακρίσεις και χρησιμοποίησε τους αιχμαλώτους για να θεμελιώσει της θεωρίες του και να βρει τρόπους  να αντιμετωπίσουν οι Γερμανοί τα εμπόδια που συναντούσαν στη διάρκεια του πολέμου. Για να βρει έναν τρόπο προκειμένου το ανθρώπινο σώμα να αντιμετωπίζει το πολικό ψύχος που συνάντησαν οι Γερμανοί κατά τη διάρκεια της μάχης του Στάλινγκραντ,  έβαζε τους κρατούμενους σε δεξαμενές με παγωμένο νερό ή τους ζητούσε να περπατήσουν γυμνοί έξω από το στρατόπεδο σε θερμοκρασίες υπό του μηδενός.  Όταν η θερμοκρασία του σώματος έπεφτε, οι κρατούμενοι άρχιζαν να χάνουν τη συνείδησή τους και στο τέλος πέθαιναν ουρλιάζοντας από τους πόνους.

Σε άλλες περιπτώσεις λίγο πριν πεθάνουν τους έβαζαν σε βραστό νερό με αποτέλεσμα η απότομη αλλαγή θερμοκρασίας να τους προκαλέσει ένα βασανιστικό θάνατο. Ακόμη. χορηγούσε καυτό νερό με σωλήνες στο στομάχι τους, στην ουροδόχο κύστη και το έντερο.

Για να ανακαλύψει το μέγιστο ύψος που θα μπορούσαν να επιβιώσουν οι πιλότοι της Γερμανικής πολεμικής αεροπορίας έβαζε τους κρατούμενους σε ειδικό θάλαμο χαμηλής πίεσης στον οποίο μετρούσαν τον χρόνο που θα άντεχαν χωρίς οξυγόνο. Οι περισσότεροι πέθαιναν βασανιστικά από ασφυξία. Μάλιστα, πολλές φορές τους άνοιγαν το κρανίο όσο ήταν ακόμη ζωντανοί, προκειμένου να διαπιστώσουν τις μεταβολές του εγκεφάλου από την έλλειψη οξυγόνου.

Η ομάδα του Μένγκελε κολλούσε τους κρατουμένους με φυματίωση, κίτρινο πυρετό, χολέρα, τύφο, ελονοσία, ηπατίτιδα, ευλογιά, διφθερίτιδα ή χολέρα και στη συνέχεια δοκίμαζε τα φάρμακα που θα γιάτρευαν την ασθένεια, τα οποία τις περισσότερες φορές τους σκότωναν.

Υπό την καθοδήγηση του Γιόζεφ Μένγκελε, οι γιατροί της ομάδας του έκαναν μαζικές στειρώσεις, χορηγούσαν δηλητήρια, έκαναν χειρουργικές επεμβάσεις χωρίς αναισθησία, έβαζαν αιχμαλώτους σε θαλάμους με χημικά αέρια και δεκάδες ακόμα αποτρόπαια εγκλήματα. Μάλιστα, όσοι δεν πέθαιναν από τον πόνο, τους οδηγούσαν στο τραπέζι ανατομίας όπου τους θανάτωναν με ένεση χλωροφορμίου στην καρδιά.

Τα ανατριχιαστικά πειράματα αφαίρεσαν τη ζωή από χιλιάδες κρατούμενους και συνεχίστηκαν μέχρι το τέλος του πολέμου. Το 1945 ο διαβολικός Γιόζεφ Μένγκελε συνελήφθη από τους Αμερικανούς όμως αφέθηκε ελεύθερος επειδή δεν τον αναγνώρισαν.

Αμέσως μετά τη σύλληψή του παρέμεινε στο Γκίνσμπουργκ και έζησε ανενόχλητος για τα επόμενα 5 χρόνια. Όταν διάσημοι κυνηγοί Ναζί ανέλαβαν τον εντοπισμό των εγκληματιών για να τους οδηγήσουν σε δίκη για τα εγκλήματά τους, ο Μένγκελε διέφυγε στη Λατινική Αμερική.

Με πλαστά διαβατήρια και ταυτότητες έζησε κρυμμένος στο Μπουένος Άιρες της Αργεντινής, την Παραγουάη, τη Βραζιλία, την Ιταλία ενώ τη δεκαετία του ’60 βρέθηκε και στην Ελλάδα και συγκεκριμένα στην Κύθνο. Μαζί με τη δεύτερη σύζυγό του, Μάρθα, νοίκιαζε ένα δωμάτιο στο  Μέριχα απ’όπου έφυγε μια ημέρα πριν καταφθάσει στο νησί δημοσιογράφος του Spiegel, τον οποίο είχε στείλει ο κυνηγός των Ναζί, Σιμόν Βίζενταλ.

Ο Γιόζεφ Μένγκελε, έζησε κυνηγημένος μέχρι το τέλος της ζωής του ενώ ποτέ δεν τιμωρήθηκε για τις φρικαλεότητες που έκανε χιλιάδων ανθρώπων. Πέθανε στις 7 Φεβρουαρίου 1979.