Dikarenakan TCP/IP adalah serangkaian protokol di mana setiap protokol melakukan sebagian dari keseluruhan tugas komunikasi jaringan, maka tentulah implementasinya tak lepas dari arsitektur jaringan itu sendiri. Arsitektur rangkaian protokol TCP/IP mendifinisikan berbagai cara agar TCP/IP dapat saling menyesuaikan

Karena TCP/IP merupakan salah satu lapisan protokol OSI * (Open System Interconnections), berarti bahwa hierarki TCP/IP merujuk kepada 7 lapisan OSI tersebut. Berikut adalah model referensi OSI 7 lapisan, yg mana setiap lapisan menyediakan tipe khusus pelayanan jaringan :

Peer Process
Application Layer		Application Layer
Presentation Layer		Presentation Layer
Session Layer		Session Layer
Transport Layer		Transport Layer
Network Layer		Network Layer
Data Link Layer		Data Link Layer
Physical Layer		Physical Layer

Tiga lapisan teratas biasa dikenal sebagai "upper lever protocol" sedangkan empat lapisan terbawah dikenal sebagai "lower level protocol". Tiap lapisan berdiri sendiri tetapi fungsi dari masing-masing lapisan bergantung dari keberhasilan operasi layer sebelumnya. Sebuah lapisan pengirim hanya perlu berhubungan dengan lapisan yang sama di penerima (jadi misalnya lapisan data link penerima hanya berhubungan dengan data link pengirim) selain dengan satu layer di atas atau dibawahnya (misalnya lapisan network berhubungan dengan lapisan transport diatasnya atau dengan lapisan data link dibawahnya).

Model dengan menggunakan lapisan ini merupakan sebuah konsep yg penting karena suatu fungsi yg rumit yg berkaitan dengan komunikasi dapat dipecahkan menjadi sejumlah unit yg lebih kecil. Tiap lapisan bertugas memberikan layanan tertentu pada lapisan diatasnya dan juga melindungi lapisan diatasnya dari rincian cara pemberian layanan tersebut. Tiap lapisan harus transparan sehingga modifikasi yg dilakukan atasnya tidak akan menyebabkan perubahan pada lapisan yang lain. Lapisan menjalankan perannya dalam pengalihan data dengan mengikuti peraturan yang berlaku untuknya dan hanya berkomunikasi dengan lapisan yang setingkat. Akibatnya sebuah layer pada satu sistem tertentu hanya akan berhubungan dengan lapisan yang sama dari sistem yang lain. Proses ini dikenal sebagai "Peer process". Dalam keadaan sebenarnya tidak ada data yang langsung dialihkan antar lapisan yang sama dari dua sistem yang berbeda ini. Lapisan atas akan memberikan data dan kendali ke lapisan dibawahnya sampai lapisan yang terendah dicapai. Antara dua lapisan yang berdekatan terdapat "interface" (antarmuka). Interface ini mendifinisikan operasi dan layanan yang diberikan olehnya ke lapisan lebih atas. Tiap lapisan harus melaksanakan sekumpulan fungsi khusus yang dipahami dengan sempurna. Himpunan lapisan dan protokol dikenal sebagai "arsitektur jaringan".