שער יפו נמצא בחומה המערבית של העיר העתיקה בירושלים. השער נקרא כך מכיוון שממנו יצאה הדרך לעיר יפו שהייתה עיר הנמל המרכזית של ארץ ישראל. בערבית נקרא השער "באב אל ח'ליל" (שער חברון) מכיוון שהדרך שהובילה דרומה אל הערים בית לחם וחברון יצאה משער זה. משום כך נקראים הרחובות הראשיים  "דרך חברון" ו"דרך בית לחם" בירושלים.

היציאה משער יפו מובילה אל רחוב יפו, שהוא הרחוב המרכזי ביותר בירושלים ובו נמצאים בניין העירייה בכיכר ספרא, כיכר ציון, שק מחנה יהודה והתחנה המרכזית.

השער נמצא בין הרובע הנוצרי לרובע הארמני. הכיכר הפנימית נקראת כיכר עומר אבן אל חטאב בה שכנו מסודות רבים, בנקים מלונות וקונסוליות. סמוך שער יפו נמצא מגדל דוד, מצודה שניצבת במקום הכי גבוה בעיר העתיקה.  מהכיכר מתחיל רחוב דוד בו נמצא השוק הערבי, המרכזי של העיר העתיקה, שמוביל לשער השלשלת של  הר הבית.

בשל מרכזיותו וחשיבותו של שער יפו העבירו הבריטים למקום את "קילומטר האפס", המקום ממנו מודדים את המרחקים בין ירושלים לערים אחרות. לפני כן היה קילומטר האפס בשער שכם.

לכבוד ביקורו של קיסר גרמניה וילהלם השני, בשנת 1898 פתחו פתח בחומות סמוך לשער יפו כדי לאפשר  לקיסר להכנס עם פמלייתו. הקיסר עצמחו שרצה להכנס לעיר כצלבן, נכנס כשהוא רכוב על גבי סוס.

בשנת 1907  לכבוד  30 שנה לשלטון הסולטן עבדול חמיד השני, נבנה על גג השער מגדל שעון בגובה 13 מטרים, אך בשנת 1922 הוא פורק  בהוראת המושל הבריטי בטענה שהוא מכער את העיר.

שער יפו נבנה בנקודה אסטרטגית ביותר בעיר, סמוך למצודת מגדל דוד, סמוך לנחל המצודה שיורד לגיא בן הינום. בשל המיקום הטופוגרפי נבנתה החומה בצורת ברך, שבנקודת הכיפוף נמצא שער יפו.
השער ננבנה בצורת שער תפנית,  שנועד לסייע בהגנה מול אוייב ים שמנסים לפרוץ  את השער, בכך שהם יאלצו להכנס בתפנית של 90. על מבנה השער נבנו עמדות שמירה עם חרכי ירי .