اختلفت الروايات عن سبب مرض عمر بن عبد العزيز وموته، إذ تذكر بعض الروايات أن سبب مرضه وموته هو «الخوف من الله تعالى والاهتمام بأمر الناس» كما روي عن زوجته فاطمة بنت عبد الملك، وكما ذكر ابن سعد في الطبقات عن ابن لهيعة.
إلا أنه قد ذكر سبب آخر لموته؛ وهو أنه سُقي السم، وذلك أن بني أمية قد تبرموا وضاقوا ذرعاً من سياسة عمر التي قامت على العدل وحرمتهم من ملذاتهم وتمتعهم بميزات لا ينالها غيرهم، بل جعل بني أمية مثل أقصى الناس في أطراف دولة الإسلام، ورد المظالم التي كانت في أيديهم، وحال بينهم وبين ما يشتهون، فكاد له بعض بني أمية بوضع السم في شرابه، فقد رُوي أنهم وعدوا غلام عمر بألف دينار وأن يُعتق إن هو نفذ الخطة، فكان الغلام يضطرب كلما همّ بذلك، ثم إنهم هددوا الغلام بالقتل إن هو لم يفعل، فلما كان مدفوعاً بين الترغيب والترهيب حمل السم فوق ظفره، ثم لما أراد تقديم الشراب لعمر قذف السم فيه ثم قدمه إلى عمر، فشربه ثم أحس به منذ أن وقع في بطنه. وعن مجاهد قال: قال لي عمر بن عبد العزيز: «ما يقول الناس فيّ؟»، قلت: «يقولون إنك مسحور»، قال: «ما أنا بمسحور»، ثم دعا غلاماً له فقال له: «ويحك ما حملك على أن تسقيني السم؟»، قال: «ألف دينار أعطيتها وعلى أن أعتق»، قال: «هات الألف»، فجاء بها فألقاها عمر في بيت المال وقال: «اذهب حيث لا يراك أحد».
وتوفي عمر بن عبد العزيز يوم الجمعة لعشر ليال بقين من رجب سنة 101هـ على أصح الروايات، واستمر معه المرض عشرين يوماً، وتوفي بدير سمعان من أرض معرة النعمان بالشام، بعد خلافة استمرت سنتين وخمسة أشهر وأربعة أيام، وتوفي وهو ابن تسع وثلاثين سنة وخمسة أشهر، وعلى أصح الروايات كان عمره لما توفي أربعين سنة.
واختلفت الروايات على مقدار تركة عمر بن عبد العزيز حين توفي، ولكن الروايات متفقة على قلة التركة أو انعدامها،قال ابن الجوزي: بلغني أن المنصور قال لعبد الرحمن بن القاسم بن محمد بن أبي بكر الصديق رضي الله عنه: «عظني»، قال: «مات عمر بن عبد العزيز رحمه الله، وخلف أحد عشر ابناً، وبلغت تركته سبعة عشر ديناراً كفن منها بخمسة دنانير، وثمن موضع قبره ديناران، وقسم الباقي على بنيه، وأصاب كل واحد من ولده تسعة عشر درهماً. ومات هشام بن عبد الملك وخلف أحد عشر ابناً، فقسمت تركته، وأصاب كل واحد من تركته ألف ألف، ورأيت رجلاً من ولد عمر بن عبد العزيز قد حَمَلَ في يوم واحد على مائة فرس في سبيل الله عز وجل، ورأيت رجلاً من ولد هشام يُتصدق عليه».