Otto Toeplitz wurde am 1. August 1881 als Einzelkind in Breslau geboren. Sein Vater Emil (1852-1907) und sein Großvater Julius (1825-1897) waren ebenfalls Mathematiker. Als Toeplitz 11 Jahre alt war, starb seine Mutter und er wurde fortan streng erzogen.
Nach dem Abitur am Johannes-Gymnasium, an dem auch sein Vater unterrichtete, studierte Toeplitz ab 1900 Mathematik in seiner Heimatstadt, unterbrochen durch zwei Gastsemester in Berlin. In diesen Jahren schloss er eine lebenslange Freundschaft mit dem Mathematiker Richard Courant und dem späteren Physik-Nobelpreisträger Max Born.
1905 promovierte er wie einst sein Vater bei Jakob Rosanes mit einer Dissertation aus dem Gebiet der Algebraischen Geometrie: „Über Systeme von Formen, deren Funktionaldeterminante identisch verschwindet“.
Anschließend ging Toeplitz an die Georg-August-Universität Göttingen und arbeitete dort mit David Hilbert und Felix Klein zusammen, später auch mit seinen Freunden Born und Courant. 1907 habilitierte er sich mit der Arbeit „Zur Transformation der Scharen bilinearer Formen von unendlichvielen Veränderlichen“ und hielt anschließend Vorlesungen als Privatdozent. Mit Ernst Hellinger veröffentlichte er 1910 die „Grundlagen für eine Theorie der unendlichen Matrizen“, im selben Jahr heiratete er die Philologiestudentin Erna Henschel (1886-1976) aus Berlin. Das Ehepaar hatte drei Kinder.
1913 erhielt Toeplitz einen Ruf als außerordentlicher Professor an die Christian-Albrechts-Universität Kiel, wo er erst sieben Jahre später zum ordentlichen Professor ernannt wurde. Aus gesundheitlichen Gründen wurde er nicht zum Kriegsdienst eingezogen.
1927 erging der Ruf nach Bonn, wo Toeplitz zum Sommersemester 1928 die Nachfolge von Eduard Study an der Rheinischen Friedrich-Wilhelms-Universität antrat. Da er sehr an Mathematikgeschichte und der Lehrerausbildung interessiert war, gründete Toeplitz eine historisch-didaktische Abteilung im Mathematischen Seminar der Universität. Zugleich trug er mit dem jungen Mathematiker Erich Bessel-Hagen eine wertvolle und umfangreiche historische Bibliothek zusammen, die bei dem schweren Bombenangriff auf Bonn am 18. Oktober 1944 vollständig zerstört wurde. Mit Bessel-Hagen sowie seinem Kollegen Felix Hausdorff verband Toeplitz auch eine persönliche Freundschaft. Zudem war er Mitbegründer der Zeitschrift „Quellen und Studien zur Geschichte der Mathematik“, die aber bereits nach wenigen Jahren das Erscheinen einstellen musste. 1932 gründete er außerdem mit Heinrich Behnke die „Semesterberichte zur Pflege des Zusammenhangs von Universität und Schule aus den mathematischen Seminaren“, die Zeitschrift erscheint nach einer kriegsbedingten Unterbrechung noch heute unter dem Titel „Mathematische Semesterberichte“.
1933 trat das „Gesetz zur Wiederherstellung des Berufsbeamtentums“ in Kraft . Da Toeplitz bereits vor 1914 verbeamtet worden war, konnte er zunächst zwar noch weiter lehren, durfte aber keine Prüfungen mehr abnehmen. Zwei Jahre später wurde er aufgrund der „Nürnberger Gesetze“ zwangsweise in den Ruhestand versetzt.
Seit der Machtübernahme durch die Nationalsozialisten engagierte sich Toeplitz im Vorstand der jüdischen Gemeinde und gründete als Vorsitzender des Kultur- und Schulvereins eine jüdische Volksschule, in der er zeitweise auch selbst unterrichtete. Als Leiter der Hochschulabteilung der „Reichsvertretung der Juden in Deutschland“ unterstützte er Studenten bei der Emigration in das Ausland.
1938 erlitt er einen schweren persönlichen Schicksalsschlag, als sein ältester Sohn Walter in Südafrika nach langer Krankheit starb.
Im Februar 1939 konnte Toeplitz nach längerer Wartezeit mit seiner Frau nach Palästina emigrieren, wo bereits der zweitälteste Sohn Erich (Uri) und die Tochter Eva lebten. Er wurde wissenschaftlicher Berater der Verwaltung der Hebräischen Universität in Jerusalem, erkrankte bald aber schwer und starb nur ein Jahr nach der Ausreise am 15. Februar 1940. Sein unvollendetes Manuskript „Einführung in die Infinitesimalrechnung“ wurde 1949 posthum aus dem Nachlass von seinem Schüler Gottfried Köthe herausgegeben.
Der in der Universitäts- und Landesbibliothek verwahrte Teil-Nachlass von Otto Toeplitz wurde zwischen 1996 und 2024 in mehreren Tranchen von seinen Kindern übergeben, ein Teilbestand stammt aus dem Universitätsarchiv. Eine Besonderheit bildet Otto Toeplitz' originaler Emigrantenkoffer, den Erich (Uri) Toeplitz im Jahr 2000 zusammen mit Nachlassdokumenten aus Jerusalem mitbrachte.
Der Teilnachlass ist bis auf einen Teilbestand, der noch konservatorischer Behandlung bedarf, vollständig im Verbundkatalog Kalliope verzeichnet.