لما مرض سليمان بن عبد الملك مرضته التي مات فيها، عزم على أن يبايع لبعض أولاده، فنهاه بعض أصحابه، وقال له: يا أمير المؤمنين إنه مما يحفظ الخليفة في قبره، أن يستحفظ على الناس رجلاً صالحاً. فقال سليمان: أستخير الله وأفعل. ثم استشاره في عمر بن عبد العزيز، فأشار عليه به وأثنى عليه خيراً. فكتب سليمان عهده إلى عمر بن عبد العزيز وختمه ودعا أهل بيته، وقال: بايعوا لمن عهدت إليه في هذا الكتاب، ولم يعلمهم به، فبايعوا. ثم لما مات جمعهم ذلك الرجل الذي أشار عليه بعمر بن عبد العزيز، وقد كتم موت سليمان عنهم، وقال لهم: بايعوا مرة أخرى، فبايعوا. فلما رأى أنه قد أحكم الأمر أعلمهم بموت سليمان.

وكان عمر بن عبد العزيز من خيار الخلفاء عالماً زاهداً عابداً تقياً ورعاً، سار سيرةً مرضيةً ومضى حميداً. هو الذي قطع السب عن أمير المؤمنين، صلوات الله عليه وسلامه، وكان بنو أمية يسبونه على المنابر. قال عمر بن عبد العزيز: كان أبي عبد العزيز بن مروان يمر في خطبته يهذها هذاً، حتى إذا وصل إلى ذكر أمير المؤمنين علي، عليه السلام، تتعتع. قال فقلت له ذلك فقال: يا بني أدركت هذا مني؟ قلت: نعم . قال: يا بني اعلم أن العوام لو عرفوا من علي بن أبي طالب ما نعرفه نحن لتفرقوا عنا إلى ولده. فلما ولي عمر بن عبد العزيز الخلافة قطع السب وجعل مكانه قوله تعالى: ً إن الله يأمر بالعدل والإحسان وإيتاء ذي القربى وينهى عن الفحشاء والمنكر والبغي يعظكم لعلكم تذكرونً. ومدحه الشعراء على ذلك.

فممن مدحه على ذلك كثير عزة بقوله:

وليت فلم تشتم علياً ولم تخف *** برياً ولــــــم تتبع مقـــــالة مجرم

وقلت فصدقت الذي قلت بالذي *** فعلت فــــأضحى راضياً كل مسلم

وقد لبست لبس الهلـوك ثيابها *** وأبـــدت لك الدنيــــا بخد ومعصم

وتـــومض أحياناً بعين مريضة *** وتبسم عــــن مثل الجمان المنظم

فــأعرضت عنها مشمئزاً كأنما *** سقتك مـــدوفاً من سمـــام وعلقم

وقد كنت منها في جبال أرومها *** ومن بحرها في زاخر السيل مفعم

ورثاه الشريف الرضي الموسوي بقوله:

يا ابن عبد العزيز لو بكت العي *** ن فتىً من أميــــــــــةٍ لبكيتك

أنت أنقذتنـــا من السب والشت *** م فلو أمكن الجزاء جــــــزيتك

غير أنـــي أقــــــول إنك قد طب *** ت وإن لم يطب ولم يزك بيتك

دير سمعـــــان لا عدتك الغوادي *** خير ميتٍ من آل مروان ميتك

وإليه الإشارة بقولهم: الأشج والناقص أعدلا بني مروان وكانت وفاته بدير سمعان في سنة إحدى ومائة ثم ملك بعده يزيد بن عبد الملك.