Ο πατέρας του, Στέφανος Καραθεοδωρή, καταγόταν από την Βύσσα Έβρου και υπήρξε σπουδαίος διπλωμάτης με αποτέλεσμα Κωνσταντίνος να λάβει μια εξέχουσα μόρφωση, φοιτώντας σε σημαντικά σχολεία του εξωτερικού και δείχνοντας από νωρίς το μαθηματικό του ταλέντο. Αν και σπούδασε πολιτικός μηχανικός, σε ηλικία 27 χρόνων αποφάσισε να παρακολουθήσει μαθήματα μαθηματικών στο πανεπιστήμιο του Βερολίνου, όπου συνάντησε σπουδαίους μαθηματικούς της εποχής, ενώ πραγματοποίησε την διδακτορική του διατριβή στο πανεπιστήμιο του Γκέτινγκε, το μεγαλύτερο κέντρο μαθηματικών της εποχής, που έμελλε να γίνει και η πανεπιστημιακή του έδρα.
Η φήμη του, ως μαθητικός, γρήγορα εξαπλώθηκε παντού. Ιδιαίτερη ήταν η σχέση που συνέδεε τον Καραθεοδωρή με τον Άλμπερτ Αινστάιν. Οι δύο άνδρες γνωρίσθηκαν το 1915 διατήρησαν μια επιστημονική σχέση, στηριγμένη στην αλληλοεκτίμηση και σεβασμό. Τότε άρχισε και το ενδιαφέρον του Καραθεοδωρή για την θεωρία της σχετικότητας.Το 1911, μετά από πρόσκληση του Ελευθερίου Βενιζέλου, ο Καραθεοδωρή συμμετείχε στην επιτροπή επιλογής καθηγητών για το Πανεπιστήμιο Αθηνών, ενώ το 1920, πάλι με πρόσκληση του Βενιζέλου, ανέλαβε να οργανώσει το Ιώνιο πανεπιστήμιο στη Σμύρνη. Η απόφαση του Καραθεοδωρή να επιστρέψει στην πατρίδα του προκειμένου να της φανεί χρήσιμος, παρόλο που μεσουρανούσε στη Γερμανία, είναι μάλλον ενδεικτική της αγάπης του για την Ελλάδα. Το 1922 διορίστηκε καθηγητής στο Πανεπιστήμιο Αθηνών και το 1923 διορίσθηκε καθηγητής στο Εθνικό Μετσόβιο Πολυτεχνίο. Το Νοέμβριο του 1926, έγινε μέλος στη νεοϊδρυθείσα Ακαδημία Αθηνών για την τάξη των Θετικών Επιστημών, ενώ το 1930, πάλι μετά από πρόσκληση του Ελευθερίου Βενιζέλου, ανέλαβε καθήκοντα κυβερνητικού επιτρόπου στο Πανεπιστήμιο Αθηνών και το Πανεπιστήμιο Θεσσαλονίκης, για να βοηθήσει στην αναδιοργάνωση του πρώτου και στην οργάνωση του (νεοσύστατου) δεύτερου. Πέθανε στο Μόναχο.
«Αν θέλετε να μπείτε στον κόπο να μου εξηγήσετε ακόμα και τους κανονικούς μετασχηματισμούς θα βρείτε έναν ευγνώμονα και ευσυνείδητο ακροατή. Αν όμως λύσετε και το πρόβλημα των κλειστών γραμμών του χρόνου, θα σταθώ μπροστά σας με σταυρωμένα χέρια. Πίσω από αυτό υπάρχει κρυμμένο κάτι που είναι αντάξιο του ιδρώτα των καλυτέρων.» — Επιστολή του Αινστάιν προς τον Καραθεοδωρή, 1916