Cuando la Penitenciaría Federal de Estados Unidos abrió sus puertas en la isla de Alcatraz en agosto de 1934, se convertiría en el símbolo de la guerra de Estados Unidos contra el crimen organizado. Alcatraz fue diseñada para capturar a los capos del crimen estadounidense, despojarlos de su fama y notoriedad pública, y luego encerrarlos en un estado de aislamiento tan severo que serían olvidados durante décadas.

A finales de la década de 1930, el fiscal general Homer S. Cummings comentó, durante una entrevista con la revista Collier's Magazine, que George “Machine Gun” Kelly y sus asociados habían ayudado a convertir el concepto de Alcatraz en realidad.

Hombres como Machine Gun Kelly y Al Capone solían acaparar los titulares de los periódicos más importantes de Estados Unidos. Alcatraz debía ser la solución del gobierno para frenar el crimen organizado y silenciar a los capos que sonreían a las cámaras desafiando la ley.

La entrevista con Collier puso de manifiesto el dilema del gobierno: necesitábamos un lugar donde encarcelar a los "productos finales" de nuestro sistema policial. Necesitábamos un lugar para los ingeniosos "artistas de la fuga" y para aquellos que se resistían a la disciplina o buscaban mantener contacto con el hampa. Para el verano de 1933, la ley de secuestro, promulgada el año anterior, estaba llevando ante los tribunales federales a un tipo de criminal particularmente peligroso. De ser declarado culpable, estaba destinado a cumplir cadena perpetua.

Las cartas de Kelly a Katheryn eran igualmente tristes. Hablaban de su amor mutuo, a veces con la esperanza de poder vivir sus últimos años juntos en paz y otras veces resignándose a la realidad de que tal vez nunca más se volverían a ver. Kelly también envió numerosas cartas a los funcionarios de la prisión suplicando un traslado o mejores condiciones en Alcatraz, a veces actuando como portavoz de los reclusos.

Durante una década, escribió a varios funcionarios del gobierno. En una carta, escribió sobre las condiciones: «Independientemente de lo que haya oído sobre Alcatraz, dista mucho de ser un lugar agradable para cumplir condena. El clima es insoportable y yo, personalmente, he sufrido de sinusitis crónica durante años. Las instalaciones recreativas son prácticamente inexistentes. Entiendo que así lo quiere el departamento, pero a mí me parece que existe una discriminación excepcionalmente marcada entre los hombres de Alcatraz y los de las demás instituciones federales. Me gustaría estar en un lugar donde pudiera leer un periódico y escuchar la radio, para variar, después de diez años aquí».

Al igual que muchos prisioneros de Alcatraz, Kelly se aficionó a jugar al bridge los fines de semana en el patio. Incluso en las condiciones más frías, Kelly vivía para sentarse en el patio y jugar al bridge. Durante la semana, trabajaba como oficinista en las industrias y Radkay comentó que le encantaba leer las historias del Viejo Oeste. Aparte de participar en dos huelgas laborales a finales de la década de 1930, cumplió su condena en silencio y solo se quejó ocasionalmente de las condiciones y esperaba un traslado. En total, George "Machine Gun" Kelly pasó casi diecisiete largos años en Alcatraz. Finalmente fue trasladado a la Penitenciaría Federal de Leavenworth, Kansas, llegando el 1 de junio de 1951. A los convictos se les permitía escuchar la radio y disfrutaban de más libertades que en Alcatraz.

En Leavenworth, Kelly se quejaba de que los hombres lo seguían por el patio queriendo conocerlo y escuchar historias, lo que le impedía dedicarse a sus propios intereses. Radkay, quien fue trasladado a Leavenworth en agosto de 1952, recordó más tarde que varios de los antiguos presos de Alcatraz terminaron en el mismo pabellón y que también había varios oficiales veteranos de la isla trabajando allí: «Eso facilitó la vida a todos, y George, Frankie Delmar y yo, que habíamos trabajado juntos en Alcatraz, nos reencontramos en Leavenworth». Los tres siguieron siendo amigos íntimos, hablando siempre de Alcatraz.

Radkay continúa: “Madigan [el alcaide de Alcatraz] nos visitó una vez y nos reunimos solos en el comedor para ponernos al día sobre lo que hacía cada uno en la isla. Perdimos a un buen amigo cuando murió George, y poco después, Frankie también falleció allí. Fue una época muy solitaria para mí. Tanto Frankie como George eran mis mejores amigos. Los paseos por el patio nunca volvieron a ser lo mismo después de sus muertes. Frankie no tenía familia y simplemente lo olvidaron. Siempre me deprimía cuando caminaba solo por el patio pensando en él y en George”.