Di dalam komputasi parallel ada yang dinamakan dengan pemrograman parallel. Pemrograman paralel yaitu teknik pemrograman komputer yang memungkinkan sanksi perintah/operasi secara bersamaan (komputasi paralel), baik dalam komputer dengan satu (prosesor tunggal) ataupun banyak (prosesor ganda dengan mesin paralel) CPU. Bila komputer yang dipakai secara bersamaan tersebut dilakukan oleh komputer-komputer terpisah yang terhubung dalam suatu jaringan komputer lebih sering istilah yang dipakai yaitu sistem terdistribusi (Distributed Computing).
 |
| Pemrosesan Terdistribusi ( Distributed Processing ) |
Pemrosesan Terdistribusi merupakan proses pendistribusian pengolahan paralel dalam pemrosesan paralel memakai beberapa mesin. Jadi, bisa di bilang kemampuan dari suatu komputer-komputer yang dijalankan secara bersamaan untuk memecahkan suatu duduk kasus dengan proses yang cepat.
Didistribusikan pengolahan paralel memakai pemrosesan paralel pada beberapa mesin. Salah satu referensi dari hal ini yaitu bagaimana beberapa komunitas memungkinkan pengguna untuk mendaftar dan mendedikasikan komputer mereka sendiri untuk memproses beberapa data set yang diberikan kepada mereka oleh server. Ketika ribuan pengguna mendaftar untuk ini, banyak data sanggup diproses dalam jumlah yang sangat singkat.
Contoh dari proses terdistribusi yaitu saat terdapat macam duduk kasus diberikan pada satu master, maka dengan memakai komputer paralel duduk kasus terseut akan terpecah menjadi beberapa bab secara terdistribusi.
Parallel distributed computing sanggup dibuat dari :
- PVM (Parallel Virtual Machine)
Untuk mendukung workstation clusters yang merupakan sebuah perangkat lunak yang bisa mensimulasikan pemrosesan paralel pada jaringan.
- MPI (Message-Passing Interface) programming GUI
Untuk parallel computers yang merupakan sebuah prosedur mengiriman isyarat dan data antara dua proses komputasi yang berbeda yang berada pada komputer berbeda pada sistem sistem paralel. Paket-paket yang memiliki spesifikasi kebutuhan MPI telah banyak beredar di Internet dan telah dilengkapi dengan LAM/MPI [5] dan MPICH [6]. Paket-paket ini telah dilengkapi dengan fungsi-fungsi yang memakai library C dan Fortran. Kemampuan MPI dipakai untuk menginterpretasikan bahasa pemrograman matrik kemampuan dynamic linking dari bahasa tersebut. Fungsi library dari paket MPI sanggup digabungkan dengan dynamic extension dengan cara menghubungkan bahasa pemrograman tersebut dengan bahasa C, C++, atau FORTRAN. Hal ini telah dilakukan untuk membuat toolbox MPI (MPITB) untuk kebutuhan MATLAB, dan bahasa pemrograman GNU Octave oleh Fernandez Baldomero .