Nace el 14 de noviembre de 1907 en Bilbao, en la calle de "La pelota". Sus padres, Marcelino Arrupe (arquitecto) y Dolores Gondra, eran ambos naturales de Munguía, localidad vizcaína cercana a Bilbao. Al día siguiente de nacer recibe el bautismo en la basílica de Santiago, actualmente catedral.
El primero de octubre de 1914 ingresa en el colegio de los Escolapios de Bilbao, en donde cursará el Bachillerato hasta 1922.

El 29 de marzo de 1918 ingresa en la Congregación Mariana de S. Estanislao de Kostka, "los Kostkas", dirigida por el P. Basterra, el primer jesuita que conoció Arrupe. Pedro Arrupe llegó a ser vicepresidente de los "kostkas".
En 1923 comienza el primer curso de Medicina en la Facultad de San Carlos de Madrid. Las notas de su carrera son extraordinarias: en casi todas las asignaturas, sobresaliente y matrícula de honor. Severo Ochoa, que llegaría a ser premio Nobel y que entonces era condiscípulo de Arrupe, confesaría más tarde: "Pedro me quitó aquel año el premio extraordinario".

Muere su padre en 1926 y, poco después, decide hacer un viaje a Lourdes con sus hermanas. Allí asiste a más de una curación milagrosa que él tiene ocasión de analizar desde su categoría de estudiante de Medicina. Diría: "Sentí a Dios tan cerca en sus milagros, que me arrastró violentamente tras de sí".
El 25 de enero de 1927 ingresa en la Compañía de Jesús, en el noviciado de Loyola. El doctor Negrín, uno de sus profesores, hizo lo posible por no perder a un alumno tan brillante. Más tarde, iría a Loyola a visitar a Pedro: "A pesar de todo, me caes muy simpático". Y allí se dieron un abrazo el futuro presidente del gobierno de la República y el futuro general de la Compañía.

Poco después de haber comenzado sus estudios de Filosofía en el monasterio de Oña (Burgos), llega el decreto de disolución de la Compañía en España (1932). Arrupe parte al destierro con sus compañeros y profesores. Continuarán sus estudios en Marneffe (Bélgica). Para cursar Teología le envían a Valkenburg (Holanda). En la vecina Alemania surgía ya la fatídica sombra de Hitler y el nazismo. "Para mí -diría más tarde- el encuentro con la mentalidad nazi fue un tremendo shock cultural".
El 30 de julio de1936 recibe la ordenación sacerdotal en Marneffe. En septiembre se traslada a los Estados Unidos para realizar estudios de moral médica.
El 6 de junio de 1938 recibe una carta del Padre General destinándole a la misión de Japón, misión que había solicitado ya muchas veces a sus superiores.
El 30 de septiembre embarca en Seatle rumbo a Yokohama.
Después de varios meses de aprendizaje de la lengua y costumbres japonesas, en junio 1940 es destinado a la parroquia de Yamaguchi, tan llena de recuerdos de San Francisco Javier.

Al día siguiente de entrar Japón en la II Guerra Mundial, 8 de diciembre 1941, le meten en la cárcel acusándole de "espía". Le recluyen en un cuartucho de dos por dos metros. Al cabo de un mes es puesto en libertad, debido a la admiración que provocó su buen comportamiento y su conversación con carceleros y jueces.

Pocos meses después le nombran maestro de novicios. Parte para el noviciado de Nagatsuka, una colina a las afueras de Hiroshima.

El 6 de agosto de 1945 , a las ocho de la mañana, Arrupe es testigo de la explosión de la bomba atómica sobre Hiroshima. Inmediatamente, convierte el noviciado en un hospital de emergencia. Más de ciento cincuenta personas, abrasadas por la irradiación, son atendidas por una comunidad que apenas cuenta con medios y elementos para ello. Más tarde, Arrupe escribiría un libro sobre esta experiencia: "Yo viví la bomba atómica".

Es nombrado superior de todos los jesuitas de Japón, con el cargo de Viceprovincial el 24 de marzo 1954. Da la vuelta al mundo pronunciando conferencias para recabar fondos para la Iglesia del Japón.
Es elegido general de la Compañía de Jesús el 22 de mayo de 1965. Supo afrontar los tiempos azarosos y renovadores en los que entraba la sociedad humana y, muy especialmente, la Iglesia después del Concilio Vaticano II. Lleno de valor, de visión del presente y del futuro y, sobre todo, de una inquebrantable fe en Dios, tuvo que sufrir incomprensiones y contradicciones de todas partes, incluso, a veces, de las más altas instancias de la Iglesia. Pero marcó unos derroteros, hoy ya imborrables, para la Compañía de Jesús, que no dejarían de influir también en otros sectores de la sociedad humana.
El 2 de diciembre 1974 convoca la Congregación General 32. Supondrá un hito fundamental en la historia de los jesuitas, sobre todo por la proclamación de que nuestra fe en Dios ha de ir insoslayablemente unida a nuestra lucha infatigable para abolir todas las injusticias que pesan sobre la humanidad.
El 7 de agosto de 1981, de vuelta de Oriente, a donde había ido a visitar a los jesuitas de aquella parte del mundo, ya en Roma, en el taxi que le conducía del aeropuerto a la ciudad, sufre una trombosis cerebral que le deja incapacitado del lado derecho. Al día siguiente, le administran el sacramento de los enfermos.