מועדון הכדורגל מכבי תל אביב הוקם בשנת 1906 תחת השם "אגודת הראשון לציון – יפו". עם הקמת העיר תל אביב בשנת 1909 המועדון שינה את שמו ל"מכבי תל אביב" ובשנת 1922 הפך למועדון היהודי הראשון שהשתתף במפעלים המקומיים. ראשי התיבות "מכבי" – מי כמוך באלים ה', היווה חלק אינטגרלי באופי הקבוצה אשר חרטה על דגלה את המגן דוד שמייצג את העם היהודי.

בתחילת שנות העשרים למרות חסרון ממשי בליגה מסודרת, מכבי תל אביב הייתה ידועה כקבוצה החזקה ביותר במדינה והוזמנה לאינספור משחקי ידידות, בין היתר נגד הקבוצות הבריטיות של המנדט המקומי. עם הקמתה של ההתאחדות לכדורגל בשנת 1928 וההכרה של פיפ"א בכדורגל הישראלי, החלו לשחק בארץ במסגרות רשמיות. בשנת 1929 זכתה הקבוצה בגביע הראשון בתולדותיה לאחר נצחון 4-0 בגמר על מכבי חשמונאי ירושלים ושנה לאחר מכן זכתה מכבי שוב בגביע לאחר נצחון 2-1 על הגדוד ה-48 של הצבא הבריטי.

בשנת 1936 יצאה הקבוצה למסע משחקי ידידות בארה"ב , הנסיעה היכתה גלים ולוותה ברעש תקשורתי–ציבורי גדול מאד. הקבוצה התקבלה בקבלת פנים מפוארת במיוחד ובמשחק הפתיחה הביסה את ה"אול-סטארס" בתוצאה 0-6, במשחק שנערך לעיני 50 אלף צופים באצטדיון היאנקיז.

לאחר המסע זכתה הקבוצה בשני תארי אליפות בשנים 1936 ו- 1937, כאשר גם בשנת 1939 זכתה הקבוצה בתואר אליפות נוסף. בסיום אותה עונה נסעה הקבוצה למסע של ארבעה חודשים באוסטרליה הרחוקה. במסגרת המסע קיימה הקבוצה 19 משחקים, כאשר היא מנצחת עשרה, מפסידה חמישה ומסיימת ארבעה בתוצאת תיקו. בשנות ה-40 זכתה הקבוצה פעמיים ב"דאבל", בשנת 1941 ובשנת 1947. בנוסף, ב-1942 הגיע רגע מכונן בתולדות המועדון, כאשר בעקבות הצעתו של יוסל'ה מרימוביץ' ז"ל, אימץ המועדון את הצבע הצהוב כצבעו הראשי לאות הזדהות עם יהודי אירופה, שנרדפו ע"י הנאצים ואולצו לענוד את הטלאי הצהוב. בהמשך, בעונת הכדורגל הראשונה של המדינה, זכתה מכבי באליפות תחת המאמן האגדי ג'רי בית הלוי.