James Mountain Inhoff nació el 17 de noviembre de 1934 en Des Moines, Iowa, el menor de cuatro hijos de Blanche (Mountain) y Perry Dyson Inhoff Sr., un liquidador de reclamaciones de seguros. James y sus hermanos, Marilyn, Joan y Perry Jr., asistieron a escuelas públicas en Des Moines. Cuando James tenía 8 años, su padre se mudó con la familia a Tulsa, donde le ofrecieron un puesto como ejecutivo de seguros.
En Tulsa Central High School, James corrió en el equipo de atletismo y aprendió a volar aviones pequeños, lo que se convirtió en una pasión de por vida. Después de servir en el ejército, asistió a la Universidad de Tulsa, donde estudió economía. La biografía oficial afirma que obtuvo su título en 1959, pero cuando fue cuestionado unos años más tarde, admitió que le faltaban algunos créditos y no se graduó oficialmente hasta 1973.
En 1959, el Sr. Inhofe se casó con Kay Kirkpatrick, quien le sobrevive. Entre sus sobrevivientes se encuentran sus tres hijos, Molly, Jimmy y Catio, dijo la familia. Un cuarto hijo, Perry II, murió en un accidente aéreo en 2013.
Después de la muerte de Perry Inhofe Sr. en 1970, sus hijos heredaron un interés en Mid-Continent Casualty, que su padre ayudó a fundar. James y Perry Jr. se convirtieron en directores. En una operación bursátil en 1979, Perry Jr. adquirió el control de Mid-Continent y James adquirió una empresa derivada, Quaker Life, que luego fracasó. Las demandas perturbaron a la familia y James ganó un acuerdo de 3 millones de dólares con Perry en 1990.
James, que participó activamente en la política republicana de Oklahoma a mediados de la década de 1960, fue miembro de la Cámara de Representantes del estado de 1967 a 1969 y del Senado estatal de 1969 a 1977. Fue un alcalde popular de Tulsa, elegido sin oposición. En su segundo mandato quedó tercero con el 59 por ciento de los votos.
