אחיתופל נזכר במקרא בהקשר למרד אבשלום באביו דוד המלך. הוא זה שיעץ לאבשלום לבוא על נשות אביו (שמואל ב טז, כא), וגם ייעץ לו עצות נבונות בקשר למרידה. מעבר לכך הוא מופיע כיועץ סתרים שעצותיו נבונות (שם שם, כג). עצתו של אחיתופל לאבשלום הייתה "טובה" כלומר לטובת אבשלום. הביטוי המודרני "עצת אחיתופל" משמעו עצה מכשילה, אך בתנ"ך הוא זה שיעץ נכון, אך באופן מרושע.
בספרות חז"ל בחלק מההקשרים אחיתופל נזכר לחיוב. גם על חטאו בהקשר למרידה בדוד הוא כיפר במעט בכך שציווה על בניו להישמע לבית דוד (ירו', סנהדרין י ב, כט א-ב). בפרק "קניין תורה" שצורף למשנת אבות הוא מופיע כדמות למדנית "שכן מצינו בדוד מלך ישראל שלא למד מאחיתופל אלא שני דברים בלבד וקראו רבו אלופו ומיודעו שנאמר ואתה אנוש כערכי אלופי ומיודעי – תהלים נה, יד (אבות ו, ג). למגמה זו אפשר לצרף מדרשים המפארים את עצותיו המחוכמות של אחיתופל "מיד יועצים באחיתופל ונמלכין בסנהדרין, ושואלין באורים ותומים" (בבלי, ברכות נ ע"ב ומקבילות נוספות). וכן מסופר עליו שתפילתו משובחת (ירו', ברכות ד ע"א, ח ע"א). עד כאן הוא לא מתואר כחוטא.
לעומת זאת במשנה הוא נמנה עם "פושעי על" ש"אין להם חלק בעולם הבא"… ארבעה הדיוטות בלעם ודואג ואחיתופל וגחזי" (סנהדרין י ע"ב). במדרשים אחיתופל הוא דמות מגונה ביותר.
לא ברור מה חטאו העיקרי של אחיתופל. ייתכן שחז"ל ראו בו טיפוס של חוטא המוכר להם בתקופתם. למדן שאיננו מציית להחלטות בית הדין "שהיה אב בית דין ואיבד את עולמו. וכן אחיתפל… היו ממרין וחולקין על בית [דין ומכבי] דין את ליבן" (מדרש חדש על התורה שפרסם מאן, עמ' קה). אם כן אחיתופל הוא ממרא בתורה. ידען אך לא צייתן. יש כאן ביטוי לאישים מתוך בית המדרש הנחשבים לראויים ולמדנים, אלא שהם קבוצה לעומתית, אינם נשמעים להחלטות הרוב ומערערים על המוסכמות ההלכתיות המקובלות.
במדרש במדבר רבה עולה טענה אחרת "לפי שיש מחלוקת הרבה על המשוחים". יש בכך רמז אפשרי למשיחיים, שהוא אחד הכינויים לבני העדה הנוצרית שהאמינו שישו הוא המשיח. בן תורה שפרש מבית המדרש והתנצר.
