Khi nhà tù liên bang Hoa Kỳ mở cửa trên đảo Alcatraz vào tháng 8 năm 1934, nó đã trở thành biểu tượng cho cuộc chiến chống tội phạm có tổ chức của Mỹ. Alcatraz được thiết kế để giam giữ những ông trùm tội phạm của Mỹ, tước bỏ danh tiếng và sự nổi tiếng của chúng trước công chúng, sau đó nhốt chúng vào một môi trường biệt lập khắc nghiệt đến mức chúng sẽ bị lãng quên trong nhiều thập kỷ.

Vào cuối những năm 1930, Bộ trưởng Tư pháp Homer S. Cummings đã nhận xét trong một cuộc phỏng vấn với tạp chí Collier's rằng George “Machine Gun” Kelly và các cộng sự của ông đã giúp định hình ý tưởng về nhà tù Alcatraz thành hiện thực.

Những người như Machine Gun Kelly và Al Capone thường xuyên chiếm lĩnh trang nhất của những tờ báo nổi tiếng nhất nước Mỹ. Alcatraz được xem là giải pháp của chính phủ để ngăn chặn tội phạm có tổ chức và bịt miệng những ông trùm dám mỉm cười trước ống kính máy ảnh bất chấp pháp luật.

Cuộc phỏng vấn trên tờ Collier's đã làm nổi bật tình thế khó xử của chính phủ: cần một nơi để giam giữ những "sản phẩm cuối cùng" của hệ thống thực thi pháp luật. Cần một nơi cho những "kẻ vượt ngục" tài ba và những người ngoan cố, phá vỡ kỷ luật hoặc tìm cách duy trì liên lạc với thế giới ngầm. Đến mùa hè năm 1933, luật bắt cóc được ban hành năm trước đó đã đưa vào tòa án liên bang một loại tội phạm đặc biệt nguy hiểm. Nếu bị kết tội, hắn sẽ phải chịu án tù chung thân.

Những lá thư Kelly gửi cho Katheryn cũng buồn không kém. Chúng nói về tình yêu của họ dành cho nhau, đôi khi với hy vọng họ có thể sống những năm tháng cuối đời bên nhau một cách yên bình, và đôi khi lại chấp nhận thực tế rằng họ có thể sẽ không bao giờ gặp lại nhau nữa. Kelly cũng gửi nhiều thư cho các quan chức nhà tù cầu xin được chuyển trại hoặc cải thiện điều kiện ở Alcatraz, đôi khi còn đóng vai trò người phát ngôn cho các tù nhân.

Ông đã viết thư cho nhiều quan chức chính phủ trong suốt một thập kỷ. Trong một bức thư, ông viết về điều kiện ở đó: “Bất kể các vị đã nghe gì về Alcatraz, nơi này hoàn toàn không phải là một nơi dễ chịu để thụ án. Khí hậu ở đây vô cùng khắc nghiệt và cá nhân tôi đã bị viêm xoang mãn tính nhiều năm nay. Các tiện nghi giải trí hầu như không có. Tôi hiểu rằng đó là điều mà bộ phận quản lý muốn, nhưng đối với tôi, dường như có sự phân biệt đối xử đặc biệt rõ rệt giữa những người ở Alcatraz và những người ở các nhà tù liên bang khác. Sau mười năm ở đây, tôi muốn được ở một nơi mà tôi có thể đọc báo và nghe đài phát thanh.”

Giống như nhiều tù nhân khác ở Alcatraz, Kelly trở nên cuồng nhiệt với trò chơi bài bridge vào cuối tuần ở sân trại. Ngay cả trong điều kiện lạnh giá nhất, Kelly vẫn thích ngồi ở sân và chơi bài bridge. Trong tuần, Kelly làm thư ký trong các xưởng sản xuất và Radkay nhận xét rằng ông rất thích đọc những câu chuyện về miền Tây hoang dã. Ngoại trừ việc tham gia hai cuộc đình công vào cuối những năm 1930, ông đã thụ án một cách lặng lẽ và chỉ thỉnh thoảng phàn nàn về điều kiện giam giữ và hy vọng được chuyển trại. Tổng cộng, George “Machine Gun” Kelly đã phải thụ án gần mười bảy năm dài đằng đẵng ở Alcatraz. Cuối cùng, ông được chuyển đến Trại giam Liên bang ở Leavenworth, Kansas, vào ngày 1 tháng 6 năm 1951. Các tù nhân được phép nghe radio và được hưởng nhiều tự do hơn so với ở Alcatraz.

Tại Leavenworth, Kelly phàn nàn rằng nhiều người cứ bám theo anh trong sân để làm quen và nghe kể chuyện, điều đó làm anh xao nhãng khỏi những sở thích riêng. Radkay, người chuyển đến Leavenworth vào tháng 8 năm 1952, sau này nhớ lại rằng một nhóm tù nhân cũ từ Alcatraz đã được chuyển đến cùng một khu giam giữ và cũng có một số sĩ quan cũ từ đảo làm việc ở đó: “Điều đó khiến cuộc sống dễ dàng hơn cho mọi người và George, tôi và Frankie Delmar, những người từng làm việc cùng nhau ở Alcatraz, đã gặp lại nhau ở Leavenworth.” Ba người vẫn là bạn thân và luôn nói chuyện về Alcatraz.

Radkay tiếp tục, “Madigan [Giám đốc nhà tù Alcatraz] từng đến thăm chúng tôi và tất cả chúng tôi đã gặp nhau trong phòng ăn để trò chuyện về những gì mọi người đang làm trên đảo. Chúng tôi đã mất đi một người bạn tốt khi George qua đời, và không lâu sau đó, Frankie cũng mất ở đó. Đó là khoảng thời gian cô đơn đối với tôi. Cả Frankie và George đều là những người bạn thân nhất của tôi. Những cuộc dạo bộ trong sân không bao giờ còn như xưa sau khi họ qua đời. Frankie không có gia đình và anh ấy bị lãng quên. Mỗi khi đi dạo một mình trong sân và nghĩ về anh ấy và George, tôi luôn cảm thấy buồn rầu.”