El 28 de marzo de 1996, Jolie se casó con el actor británico Jonny Lee Miller, su co-estrella en la película Hackers. Asistió a su boda en pantalón de cuero negro y una camisa blanca, sobre la que había escrito el nombre de Jonny Lee Miller con sangre. Jolie y Miller se separaron el año siguiente y, posteriormente, se divorciaron el 3 de febrero de 1999. El divorcio, no les dejó grandes complicaciones y Jolie explicó más adelante que se reduce a plazos. Creo que es el mejor marido que una niña puede pedir. Siempre le gusté, simplemente fui demasiado joven, ahora ya crecí.

Después de ese matrimonio, el 5 de mayo de 2000, se casó con el actor estadounidense Billy Bob Thornton, que había conocido al haber trabajado con él en Fuera de control. Como resultado de sus frecuentes declaraciones públicas de amor, sus gestos de pasión y su muy nombrado amor, su relación se convirtió en un tema favorito en la prensa de entretenimiento. Jolie y Thornton se divorciaron el 27 de mayo de 2003. Vogue le preguntó a Jolie sobre el divorcio repentino, a lo que Jolie dijo:
Me tomó por sorpresa, mucho, porque de la noche a la mañana habíamos cambiado totalmente. Pienso que llegó el día en que no teníamos nada en común. Y es horrible pero creo que… es lo que puede suceder cuando te involucras sentimentalmente y no te conoces a ti mismo.

Angelina Jolie

Jolie decía en las entrevistas que era bisexual y ha reconocido que tuvo una relación con la co-estrella de Foxfire, Jenna Shimizu, a lo que Jolie comentó: Probablemente me hubiera casado con Jenna si no me hubiera casado con Jonny. Me enamoré de ella desde el primer segundo que la vi. En 2003, le preguntaron si era bisexual a lo que comentó: Por supuesto. Si me enamorara de una mujer en un mañana, ¿crees que no la tocaría ni besaría? Si ¿estoy enamorada de ella? ¡Por supuesto! ¡Si!. A lo que comenta más tarde: lógicamente soy bisexual, pues tuve una relación sentimental con una mujer, puede que ahora no, pero lo hice. A principios de 2005, Jolie participó en un escándalo de Hollywood cuando fue acusada de ser la “otra mujer” en el matrimonio de los actores Brad Pitt y Jennifer Aniston. La acusación decía que Jolie y Pitt habían iniciado un romance durante la filmación de Sr. y Sra. Smith, sin embargo lo negó en varias entrevistas. En 2005 explicó, No tendría ningún tipo de relación íntima con algún hombre casado, cuando mi propio padre engañó a mi madre, es algo que yo no me podría perdonar, no me podría ver al otro día, nunca entusiasmaría a algún hombre a que engañe a su esposa.

Aunque nunca se comentó sobre la naturaleza de la relación de Jolie y Pitt, las especulaciones continuaron a lo largo del 2005. La primera foto paparazzi de la pareja, surgió en abril, un mes después de que Aniston presentara el divorcio. Mostró a Pitt, Jolie y su hijo Maddox en una playa de Kenia. Durante el verano, Jolie y Pitt fueron vistos juntos cada vez con mayor frecuencia, y la prensa de entretenimiento los comenzó a considerar como una pareja con el doblaje de “Brangelina”. El 11 de enero de 2006 Jolie confirmó a People que estaba embarazada de un niño de Pitt y, por ende, confirmó su relación por primera vez en público.

Hijos

El 10 de marzo de 2002, Jolie adoptó a su primer hijo de siete meses de edad, llamado Maddox Chivan Jolie-Pitt (originalmente Maddox Chivan Thornton Jolie). Nació el 5 de agosto de 2001, bajo el nombre de Rath Vibol en Camboya y vivía en un orfanato local en Battambang. Jolie decidió adoptarlo después de que había visitado dos veces Camboya, en el rodaje de "Tomb Raider" y un viaje de la organización ACNUR en 2001. Después del divorcio con Billy Bob Thornton, Jolie recibió la patria potestad exclusiva de Maddox. Al igual que los demás niños de Jolie, Maddox ha ganado un renombre considerable de celebridad y aparece regularmente en los tabloides de los medios de comunicación.

El 6 de julio de 2005, Jolie adoptó a una niña de Etiopía de seis meses de edad llamada Zahara Marley Jolie-Pitt (originalmente Zahara Marley Jolie). Zahara nació el 8 de enero de 2005; su nombre original fue Yemsrach. poco después de su llegada a Estados Unidos, Zahara fue hospitalizada por deshidratación y desnutrición. En 2007, los medios de comunicación informaron que la madre biológica de Zahara, llamada Mentewabe Dawit quería de vuelta a su hija, pero se negó más adelante, a lo que se refirió: "Es un ser humano muy afortunado al ser adoptada por una dama famosa mundialmente".

Brad Pitt, estuvo presente cuando Jolie firmó la aprobación y los demás documentos de la adopción de Zahara, a lo que Jolie comentó que ella y Pitt tomaron la decisión de adoptar a Zahara juntos. En diciembre de 2005, fue confirmado que Pitt estaba tratando de adoptar legalmente los hijos de Jolie y el 19 de enero de 2006, un juez de California aprobó esta petición. Jurídicamente los apellidos de los niños fueron cambiados a "Jolie-Pitt"

El 27 de mayo de 2006 Jolie dio a luz a una niña, a la que llamó Shiloh Nouvel Jolie-Pitt, en Swakopmund, Namibia por medio de una cesárea programada. Pitt confirmó que su recién nacida tendría ciudadanía de Namibia, mientras que Jolie decidió ofrecer las fotos a través de Getty Images por su propia cuenta, en lugar de permitir que un paparazzi las tomara y cobrara gran recompensa por ellas. La revista estadounidense People, pagó más de 4.1 millones de dólares para obtener los derechos legales de las fotos solo en Norteamérica, mientras que la revista británica Hello! Obtuvo los derechos internacionales con una cifra de 3,5 millones de dólares; el derecho legal total de venta de las fotos, valió más de 10 millones de dólares en todo el mundo. Todos los beneficios fueron donados a la fundación sin ánimo de lucro de Jolie y Pitt. En 2006, se volvió amiga de Gwen Stefano al unirlas la meta de eliminar la desnutrición del planeta; los hijos de las dos artistas, son los más fotografiados en Estados Unidos.

El museo de cera de Nueva York a cargo de Madame Tussauds, hizo la figura del bebé de dos meses de edad y lo expuso allí. En 2007, Jolie adoptó un niño de tres años de edad, de descendencia vietnamita al que llamó Pax Thien Jolie-Pitt; el niño nació el 29 de noviembre de 2003 y había sido abandonado en un hospital local, donde fue inicialmente llamado Pham Quang Sang. Jolie reveló que el nombre Pax fue sugerido por la madre antes que muriera. En 2008, Jolie confirmó su segundo embarazo y confesó que había tomado píldoras de fertilidad; ese mismo año, Jolie dio a luz a unos mellizos, de nombres Knox León y Vivienne Marcheline, nacidos el 12 de julio de 2008. Nuevamente, la revista estadounidense People en unión con la revista británica Hello!, ofrecieron a la pareja la suma de 14 millones de dólares por el derecho de las fotografías exclusivas de los mellizos, la pareja aceptó.