Menskor kelompok rentan: Ketika teknologi berbalik merugikan masyarakat

• Penulis:
• nama penulis

  Pandangan ke Depan Quantumrun
• Februari 14, 2024

Ringkasan wawasan

Meningkatnya peran kecerdasan buatan (AI) di sektor-sektor seperti ketenagakerjaan dan layanan kesehatan dapat membuat komunitas rentan terkena bias dan praktik penilaian yang tidak etis. Meningkatnya ketergantungan pada AI di bidang-bidang penting menggarisbawahi perlunya beragam data dan peraturan yang ketat untuk mencegah diskriminasi. Tren ini menyoroti meningkatnya permintaan akan transparansi, keadilan dalam penerapan AI, dan pergeseran pendekatan publik dan pemerintah terhadap tata kelola teknologi.

Menskor konteks masyarakat rentan

Dalam beberapa tahun terakhir, AI semakin banyak digunakan di berbagai sektor, khususnya ketenagakerjaan, layanan kesehatan, dan penegakan hukum. Pada tahun 2020, lebih dari separuh manajer perekrutan di AS menggunakan perangkat lunak algoritmik dan alat AI dalam perekrutan, sebuah tren yang terus berkembang. Algoritme yang mendukung platform dan sistem ini memanfaatkan berbagai jenis data, termasuk informasi eksplisit dari profil, data implisit yang disimpulkan dari tindakan pengguna, dan analisis perilaku. Namun, interaksi yang kompleks antara data dan pengambilan keputusan algoritmik menimbulkan risiko bias. Misalnya, perempuan sering kali kurang menggambarkan keterampilan mereka dalam resume, dan bahasa spesifik berdasarkan gender dapat memengaruhi cara suatu algoritma mengevaluasi kesesuaian kandidat. 

Dalam layanan kesehatan, jika data yang digunakan untuk melatih algoritme ini tidak beragam, hal ini dapat menyebabkan kesalahan diagnosis atau rekomendasi pengobatan yang tidak tepat, terutama untuk kelompok yang kurang terwakili. Kekhawatiran lainnya adalah privasi dan keamanan data, karena data layanan kesehatan sangatlah sensitif. Dalam kepolisian, AI digunakan dalam berbagai bentuk, seperti algoritma kepolisian prediktif, teknologi pengenalan wajah, dan sistem pengawasan. Beberapa penelitian menyoroti bahwa orang kulit berwarna sering kali salah diidentifikasi oleh sistem pengenalan wajah ini.

Lanskap peraturan terus berkembang untuk mengatasi tantangan-tantangan ini. Upaya legislatif, seperti Algorithmic Accountability Act tahun 2022, bertujuan untuk memitigasi bias algoritmik dengan mewajibkan perusahaan melakukan penilaian dampak sistem AI di bidang pengambilan keputusan yang penting. Namun, mengatasi masalah bias dalam proses perekrutan berbasis AI memerlukan upaya bersama dari berbagai pemangku kepentingan. Pengembang teknologi harus memastikan transparansi dan keadilan dalam algoritma mereka, perusahaan perlu mengakui dan mengatasi keterbatasan alat-alat ini, dan pembuat kebijakan perlu menegakkan peraturan yang melindungi terhadap praktik diskriminatif. 

Dampak yang mengganggu

Dampak jangka panjang dari penilaian terhadap kelompok rentan, terutama melalui sistem seperti penilaian kredit dan perekrutan algoritmik, dapat mempengaruhi mobilitas sosial dan kesenjangan ekonomi secara signifikan. Nilai kredit, yang penting untuk menentukan kredibilitas keuangan, sering kali merugikan masyarakat dengan latar belakang sosio-ekonomi rendah. Seiring waktu, hal ini melanggengkan siklus di mana masyarakat kurang beruntung menghadapi tantangan lebih lanjut dalam mengakses layanan keuangan penting.

Dampak dari sistem penilaian yang bias dapat menyebabkan pengucilan sosial yang lebih luas, berdampak pada perumahan, lapangan kerja, dan akses terhadap layanan penting. Orang-orang dengan skor yang lebih rendah atau mereka yang dievaluasi secara tidak adil oleh algoritma yang bias mungkin merasa sulit untuk mendapatkan perumahan atau pekerjaan, sehingga memperkuat kesenjangan sosial yang ada. Skenario ini menggarisbawahi perlunya sistem penilaian yang lebih adil dan mempertimbangkan konteks kehidupan individu yang lebih luas dibandingkan hanya mengandalkan data yang sempit.

Perusahaan, khususnya yang bergerak di sektor keuangan dan perekrutan, mungkin secara tidak sengaja berkontribusi terhadap stratifikasi sosial dengan mengandalkan sistem yang bias ini. Sementara itu, pemerintah menghadapi tantangan untuk memastikan peraturan sejalan dengan kemajuan teknologi untuk melindungi kelompok rentan. Mereka perlu mendorong transparansi dan akuntabilitas dalam sistem penilaian atau berisiko kehilangan kepercayaan masyarakat terhadap lembaga dan program pemerintah.

Implikasi dari pemberian skor pada kelompok rentan

Implikasi yang lebih luas dari penilaian terhadap kelompok rentan dapat mencakup: 

• Peningkatan model penilaian kredit yang menggabungkan data alternatif, mengarah pada peningkatan akses terhadap produk keuangan bagi masyarakat yang secara historis kurang terlayani.
• Pemerintah menerapkan peraturan yang lebih ketat pada alat perekrutan berbasis AI, memastikan praktik ketenagakerjaan yang lebih adil di seluruh industri.
• Peningkatan kesadaran masyarakat dan advokasi terhadap AI yang bias, sehingga penerapan teknologi menjadi lebih transparan dan akuntabel.
• Perusahaan merevisi strategi perekrutan mereka, sehingga berpotensi mengurangi bias yang tidak disadari dan mendorong keberagaman di tempat kerja.
• Pengembangan industri baru dan peran pekerjaan yang berfokus pada AI etis dan audit algoritma, berkontribusi terhadap diversifikasi pasar kerja.
• Peningkatan investasi dalam penelitian AI untuk mengatasi bias dan keadilan, mendorong kemajuan teknologi yang bermanfaat bagi masyarakat yang lebih luas.

Pertanyaan untuk dipertimbangkan

• Bagaimana pengintegrasian kumpulan data yang lebih beragam ke dalam algoritme AI dapat membentuk kembali pemahaman kita tentang keadilan dan kesetaraan masyarakat?
• Bagaimana individu dapat secara aktif berkontribusi atau mempengaruhi pengembangan praktik AI yang etis dalam kehidupan sehari-hari dan tempat kerja mereka?