Mitos Pembunuhan dan Regresi

Oleh Ted Goertzel

Rutgers University, Camden NJ 08102

Diterbitkan dalam The Skeptical Inquirer, Volume 26, No 1, Januari / Februari 2002, hlm. 19-23. 
Terjemahan Spanyol sebagai "El Modelo Econometrico Como Ciencia Basura," di Psicologia Politica, ada 24 (Valencia, Spanyol).

Jika Anda ingin lebih lama, versi yang lebih teknis dari makalah ini, dalam format Word, klik di sini . 

Apakah Anda percaya bahwa setiap kali seorang tahanan dieksekusi di Amerika Serikat, delapan pembunuhan masa depan terhalang? Apakah Anda percaya bahwa peningkatan 1% jumlah warga berlisensi untuk membawa senjata tersembunyi menyebabkan 3,3% penurunan dalam tingkat pembunuhan negara? Apakah Anda percaya bahwa 10 sampai 20% dari penurunan kejahatan pada 1990-an disebabkan oleh peningkatan aborsi pada 1970-an? Atau bahwa tingkat pembunuhan akan meningkat 250% sejak tahun 1974 jika Amerika Serikat tidak dibangun begitu banyak penjara baru?

Jika Anda disesatkan oleh studi ini, Anda mungkin telah jatuh untuk bentuk merusak ilmu sampah: penggunaan model matematika tanpa kemampuan prediktif ditunjukkan untuk menarik kesimpulan kebijakan. studi ini dangkal mengesankan. Ditulis oleh ilmuwan sosial terkemuka dari lembaga bergengsi, mereka sering muncul dalam peer review jurnal ilmiah. Diisi dengan perhitungan statistik yang kompleks, mereka memberikan tepat numerik "fakta" yang dapat digunakan sebagai titik debat 'dalam argumen kebijakan. Tapi ini "fakta" yang akan o 'gumpalan. Sebelum tinta kering pada satu studi, lain muncul dengan benar-benar berbeda "fakta-fakta." Meskipun penampilannya ilmiah mereka, model ini tidak memenuhi kriteria fundamental untuk model matematis yang berguna: kemampuan untuk membuat prediksi yang lebih baik dari kesempatan acak.

Meskipun para ekonom adalah praktisi terkemuka seni misterius ini, sosiolog, kriminolog dan ilmuwan sosial lainnya memiliki versi itu juga. Hal ini dikenal dengan berbagai nama, termasuk "pemodelan ekonometrik," "pemodelan persamaan struktural," dan "analisis jalur." Semua ini adalah cara menggunakan korelasi antara variabel untuk membuat kesimpulan kausal. Masalah dengan hal ini, sebagai orang yang telah memiliki kursus dalam statistik tahu, adalah korelasi yang tidak sebab-akibat. Korelasi antara dua variabel sering "palsu" karena mereka disebabkan oleh beberapa variabel ketiga. pemodel ekonometrik mencoba untuk mengatasi masalah ini dengan termasuk semua variabel yang relevan dalam analisis mereka, menggunakan teknik statistik yang disebut "multiple regression." Jika salah satu memiliki langkah-langkah yang sempurna dari semua variabel kausal, ini akan bekerja. Namun data tidak pernah cukup baik. Diulang upaya untuk menggunakan regresi berganda untuk mencapai jawaban yang pasti untuk pertanyaan kebijakan publik telah gagal.

Tapi banyak ilmuwan sosial enggan mengakui kegagalan. Mereka memiliki tahun yang ditujukan untuk belajar dan pemodelan mengajar regresi, dan mereka terus menggunakan regresi untuk membuat argumen kausal yang tidak dibenarkan oleh data mereka. Saya menyebut argumen ini mitos regresi berganda, dan saya ingin menggunakan empat studi tingkat pembunuhan sebagai contoh.

Mitos Salah: Lebih Senjata, Kurang Crime.

John Lott, seorang ekonom di Yale University, digunakan model ekonometrik untuk berpendapat bahwa "yang memungkinkan warga untuk membawa senjata tersembunyi menghalangi kejahatan kekerasan, tanpa meningkatkan kematian disengaja." analisis Lott terlibat "menerbitkan" hukum yang mengharuskan pemerintah daerah untuk mengeluarkan senjata tersembunyi izin untuk setiap warga negara yang taat hukum yang berlaku untuk satu. Lott memperkirakan bahwa setiap kenaikan satu persen kepemilikan senjata dalam suatu populasi menyebabkan penurunan 3,3% di tingkat pembunuhan. Lott dan rekan-penulis, David Mustard diposting versi pertama dari studi mereka di Internet pada tahun 1997 dan puluhan ribu orang download itu. Ini adalah subyek forum kebijakan, kolom koran, dan perdebatan sering cukup canggih di World Wide Web. Dalam sebuah buku dengan judul menarik lebih Senjata, Kurang Crime, Lott ejek pengkritiknya, menuduh mereka menempatkan ideologi depan ilmu pengetahuan.

Karya Lott adalah contoh dari statistik satu-upmanship. Ia memiliki lebih banyak data dan analisis yang lebih kompleks daripada orang lain mempelajari topik. Dia menuntut bahwa siapa pun yang ingin menantang argumennya menjadi tenggelam dalam perdebatan statistik yang sangat kompleks, berdasarkan perhitungan sehingga sulit yang mereka tidak dapat dilakukan dengan komputer desktop biasa. Dia menantang siapa pun yang tidak setuju dengan dia untuk men-download kumpulan data dan mengulang perhitungan, tetapi kebanyakan ilmuwan sosial tidak berpikir itu bernilai sementara mereka untuk meniru penelitian menggunakan metode yang telah berulang kali gagal. Kebanyakan peneliti kontrol senjata hanya menepis Lott dan Mustard ini klaim dan melanjutkan dengan pekerjaan mereka. Dua yang sangat dihormati peneliti peradilan pidana, Frank Zimring dan Gordon Hawkins (1997) menulis sebuah artikel yang menjelaskan bahwa:

seperti Tuan. Lott dan Mustard dapat, dengan satu model penentu pembunuhan, menghasilkan residu statistik menunjukkan bahwa 'menerbitkan' hukum mengurangi pembunuhan, kami berharap bahwa econometrician bertekad dapat menghasilkan pengobatan periode sejarah yang sama dengan model dan berbeda efek berlawanan. pemodelan ekonometrik adalah pedang bermata dua dalam kapasitasnya untuk memfasilitasi temuan statistik untuk menghangatkan hati orang percaya benar dari setiap stripe.

Zimring dan Hawkins benar. Dalam setahun, dua ekonometri bertekad, Dan Hitam dan Daniel Nagin (1998) menerbitkan sebuah studi yang menunjukkan bahwa jika mereka mengubah model statistik sedikit, atau diterapkan untuk segmen yang berbeda dari data, Lott dan temuan Mustard menghilang. Hitam dan Nagin menemukan bahwa ketika Florida telah dihapus dari sampel "tidak ada dampak terdeteksi hukum hak-to-carry pada tingkat pembunuhan dan pemerkosaan." Mereka menyimpulkan bahwa "kesimpulan berdasarkan pada model Lott dan Mustard adalah tidak pantas, dan hasilnya tidak dapat digunakan secara bertanggung jawab untuk merumuskan kebijakan publik."

John Lott, bagaimanapun, membantah analisis mereka dan terus mempromosikan sendiri. Lott telah mengumpulkan data untuk masing-masing kabupaten Amerika untuk setiap tahun dari tahun 1977 ke 1992. Masalah dengan hal ini adalah bahwa kabupaten Amerika sangat bervariasi dalam ukuran dan karakteristik sosial. Beberapa yang besar, yang berisi kota-kota besar, account untuk persentase yang sangat besar pembunuhan di Amerika Serikat. Seperti yang terjadi, tidak satupun dari kabupaten yang sangat besar memiliki "menerbitkan" undang-undang kontrol senjata. Ini berarti bahwa Lott besar set data yang hanya cocok untuk tugasnya. Dia tidak memiliki variasi dalam variabel kausal kuncinya - "menerbitkan" hukum - di tempat di mana sebagian besar pembunuhan terjadi.

Dia tidak menyebutkan keterbatasan ini dalam bukunya atau artikel. Ketika saya menemukan kurangnya "menerbitkan" hukum di kota-kota besar dalam pemeriksaan saya sendiri data, saya bertanya kepadanya tentang hal itu. Dia mengangkat bahu, mengatakan bahwa ia telah "dikendalikan" untuk ukuran populasi dalam analisisnya. Tapi memperkenalkan kontrol statistik dalam analisis matematis tidak membuat untuk fakta bahwa ia hanya tidak punya data untuk kota-kota besar di mana masalah pembunuhan paling akut.

Butuh beberapa waktu untuk menemukan masalah ini dalam data-nya, karena saya tidak akrab dengan masalah kontrol senjata. Tapi Zimring dan Hawkins memusatkan perhatian pada hal itu segera karena mereka tahu bahwa "menerbitkan" hukum yang dilembagakan di negara-negara di mana National Rifle Association adalah kuat, sebagian besar di Selatan, Barat dan di daerah pedesaan. Ini adalah negara-negara yang sudah memiliki beberapa pembatasan senjata. Mereka mengamati bahwa sejarah legislatif ini frustrasi "kemampuan kita untuk membandingkan tren di 'menerbitkan' negara dengan tren di negara-negara lain. Karena negara-negara yang mengubah undang-undang yang berbeda di lokasi dan konstitusi dari negara-negara yang tidak, perbandingan di kategori legislatif akan selalu risiko membingungkan pengaruh demografi dan regional dengan dampak perilaku rezim hukum yang berbeda. " Zimring dan Hawkins lanjut mengamati bahwa:

Lott dan Mustard, tentu saja, menyadari masalah ini. solusi mereka, teknik ekonometrik standar, adalah untuk membangun model statistik yang akan mengontrol semua perbedaan antara Idaho dan New York City yang mempengaruhi pembunuhan dan kejahatan tarif, selain "menerbitkan" hukum. Jika seseorang dapat "menentukan" pengaruh besar pada pembunuhan, pemerkosaan, perampokan, dan pencurian mobil dalam model kami, maka kita dapat menghilangkan pengaruh faktor-faktor ini pada tren yang berbeda. Lott dan Mustard membangun model yang memperkirakan efek dari data demografi, data ekonomi, dan hukuman pidana pada berbagai pelanggaran. Model ini adalah yang paling dalam rumah statistik memasak di bahwa mereka diciptakan untuk data ini ditetapkan oleh penulis dan hanya diuji pada data yang akan digunakan dalam evaluasi dampak kanan-ke-bawa.

Lott dan Mustard yang membandingkan tren di Idaho dan Virginia Barat dan Mississippi dengan tren di Washington, DC dan New York City. Apa yang sebenarnya terjadi adalah bahwa ada ledakan kasus pembunuhan terkait retak di kota-kota timur besar di tahun 1980 dan awal 1990-an. Seluruh argumen Lott datang ke klaim bahwa sebagian besar pedesaan dan barat "menerbitkan" negara yang terhindar pembunuhan epidemi terkait retak karena mereka "menerbitkan" hukum. Ini tidak akan diambil serius jika itu tidak dikaburkan oleh labirin persamaan.

Mitos Dua: memenjarakan Orang Lebih Cuts Crime

The Lott dan Mustard kasus luar biasa hanya dalam jumlah perhatian publik itu diterima. Hal ini sangat umum, bahkan khas, untuk studi rival yang akan diterbitkan menggunakan metode ekonometrik untuk mencapai kesimpulan yang berlawanan tentang masalah yang sama. Seringkali tidak ada terbukti salah dengan salah satu dari analisis. Mereka hanya menggunakan set data yang sedikit berbeda atau teknik yang berbeda untuk mencapai hasil yang berbeda. Tampaknya seolah-olah pemodel regresi dapat mencapai hasil yang mereka inginkan tanpa melanggar aturan analisis regresi dengan cara apapun. Dalam satu pernyataan yang sangat terang frustrasi dengan keadaan ini, dua kriminolog sangat dihormati, Thomas Marvell dan Carlisle Moody (1997: 221), melaporkan penerimaan dari studi yang mereka lakukan dari pengaruh penjara di tingkat pembunuhan. Mereka melaporkan bahwa mereka:

beredar luas temuan [mereka], bersama dengan data yang digunakan, untuk rekan-rekan yang mengkhususkan diri dalam analisis kuantitatif. Tanggapan yang paling sering adalah bahwa mereka menolak untuk percaya hasil tidak peduli seberapa baik analisis statistik. Di balik pertentangan yang gagasan, sering dibahas secara informal tapi jarang dipublikasikan, bahwa para ilmuwan sosial dapat memperoleh hasil apa pun yang diinginkan dengan memanipulasi prosedur yang digunakan. Bahkan, berbagai perkiraan mengenai dampak populasi penjara diambil sebagai bukti baik dari kelenturan penelitian. Implikasi, bahkan di antara banyak orang yang secara teratur menerbitkan penelitian kuantitatif, adalah bahwa tidak peduli seberapa menyeluruh analisis, hasilnya tidak dipercaya kecuali mereka sesuai dengan harapan sebelumnya. Sebuah disiplin penelitian tidak dapat berhasil dalam kerangka tersebut.

Untuk jasa besar mereka, Marvell dan Moody terus terang mengakui masalah dengan regresi berganda, dan membuat beberapa saran untuk perbaikan. Sayangnya, beberapa ekonometri menjadi begitu tenggelam dalam model mereka bahwa mereka kehilangan jejak bagaimana sewenang-wenang mereka. Mereka datang untuk percaya bahwa model mereka lebih nyata, lebih valid, daripada berantakan bandel, realitas, "tak terkendali" mereka dimaksudkan untuk menjelaskan.

Mitos Tiga: Pelaksana Orang Cuts Crime

Pada tahun 1975 The American Economic Review menerbitkan sebuah artikel oleh seorang ekonom terkemuka, Isaac Ehrlich dari University of Michigan, yang memperkirakan bahwa setiap pelaksanaan terhalang delapan kasus pembunuhan. Sebelum Ehrlich, spesialis terkenal pada efektivitas hukuman mati adalah Thorsten Sellen, yang telah menggunakan metode yang lebih sederhana dari analisis. Sellen disiapkan grafik membandingkan tren di negara-negara yang berbeda. Ia menemukan sedikit atau tidak ada perbedaan antara negara-negara dengan atau tanpa hukuman mati, sehingga ia menyimpulkan bahwa hukuman mati tidak ada bedanya. Ehrlich, dalam tindakan statistik satu-upmanship, mengklaim bahwa analisisnya lebih valid karena dikontrol untuk semua faktor yang mempengaruhi tingkat pembunuhan.

Bahkan sebelum itu diterbitkan, karya Ehrlich dikutip oleh Jaksa Agung Amerika Serikat dalam singkat amicus curiae yang diajukan dengan Mahkamah Agung Amerika Serikat membela hukuman mati.Untungnya, Pengadilan memutuskan untuk tidak bergantung pada bukti Ehrlich karena belum dikonfirmasi oleh peneliti lain. Ini adalah bijaksana, karena dalam satu tahun atau dua peneliti lain yang diterbitkan sama ekonometrik canggih analisis menunjukkan bahwa hukuman mati tidak efek jera.

Kontroversi atas pekerjaan Ehrlich adalah sangat penting bahwa Dewan Riset Nasional mengadakan panel pita biru dari para ahli untuk memeriksanya. Setelah review sangat menyeluruh, panel memutuskan bahwa masalah itu bukan hanya model Ehrlich, tetapi dengan ide menggunakan metode ekonometrik untuk menyelesaikan kontroversi atas kebijakan peradilan pidana. Mereka (Manski, 1978: 422) menyimpulkan bahwa:

karena data mungkin akan tersedia untuk analisis tersebut memiliki keterbatasan dan karena perilaku kriminal bisa begitu kompleks, munculnya studi perilaku definitif berbaring untuk beristirahat semua kontroversi tentang efek perilaku kebijakan pencegahan tidak harus diharapkan.

Kebanyakan ahli sekarang percaya bahwa Sellen benar, bahwa hukuman mati tidak memiliki efek nyata pada tingkat pembunuhan. Tapi Ehrlich belum dibujuk. Dia sekarang benar-benar beriman kesepian di validitas modelnya. Dalam sebuah wawancara baru-baru ini (Bonner dan Fessendren, 2000) dia bersikeras "jika variasi seperti pengangguran, ketimpangan pendapatan, kemungkinan ketakutan dan kemauan untuk menggunakan hukuman mati dicatat, hukuman mati menunjukkan efek jera yang signifikan."

Mitos Empat: dilegalisir Aborsi Disebabkan Tindak Pidana Drop di tahun 1990-an.

Pada tahun 1999, John Donohue dan Steven Levitt merilis sebuah studi dengan penjelasan novel dengan penurunan tajam dalam tingkat pembunuhan di tahun 1990-an. Mereka berpendapat bahwa legalisasi aborsi oleh Mahkamah Agung AS pada tahun 1973 menyebabkan penurunan kelahiran anak yang tidak diinginkan, jumlah yang tidak proporsional dari mereka akan tumbuh menjadi penjahat. Masalah dengan argumen ini adalah bahwa legalisasi aborsi adalah peristiwa sejarah satu kali dan kejadian satu-kali tidak memberikan cukup data untuk analisis regresi valid. Memang benar bahwa aborsi disahkan sebelumnya di beberapa negara daripada yang lain, dan Donohue dan Levitt memanfaatkan fakta ini. Tapi semua negara-negara ini akan melalui proses sejarah yang sama, dan banyak hal lain yang terjadi di periode sejarah yang sama yang dilakukan tingkat pembunuhan. Sebuah analisis regresi valid harus menangkap semua hal ini, dan menguji mereka di bawah berbagai variasi. Data yang ada tidak mengizinkan itu, jadi hasil dari analisis regresi akan bervariasi tergantung pada data yang dipilih untuk analisis.

Dalam hal ini, Donohue dan Levitt memilih untuk fokus pada perubahan selama rentang waktu dua belas tahun, mengabaikan fluktuasi dalam tahun-tahun. Dengan melakukan ini, sebagai James Fox. (2000: 303) menunjukkan, "mereka kehilangan sebagian besar pergeseran dalam kejahatan selama periode ini - tren selama akhir 1980-an retak era dan koreksi ke bawah di tahun-tahun pasca-retak ini sesuatu seperti mempelajari efek dari fase bulan pada pasang surut laut, tetapi hanya merekam data untuk periode surut. "

Ketika saya menulis artikel ini, saya termasuk kalimat yang menyatakan "segera analis regresi lain mungkin akan reanalyze data yang sama dan mencapai kesimpulan yang berbeda." Beberapa hari kemudian, istri saya menyerahkan cerita koran tentang hanya studi tersebut. Penulis itu tak lain adalah John Lott dari Yale, bersama-sama dengan John Whitley dari University of Adelaide. Mereka angka-angka yang sama dan menyimpulkan bahwa "melegalkan aborsi meningkat tingkat pembunuhan sekitar sekitar 0,5 sampai 7 persen" (Lott dan Whitely, 2001).

Mengapa seperti hasil yang sangat berbeda? Setiap set penulis hanya memilih cara yang berbeda untuk model tubuh yang tidak memadai data. Ekonometrik tidak bisa membuat hukum umum yang berlaku dari fakta sejarah bahwa aborsi disahkan pada 1970-an dan kejahatan turun pada 1990-an. Kami akan memerlukan setidaknya beberapa lusin pengalaman sejarah seperti untuk uji statistik yang valid.

Kesimpulan.

Tes asam dalam pemodelan statistik prediksi. Prediksi tidak harus sempurna. Jika model dapat memprediksi secara signifikan lebih baik daripada menebak acak, hal ini berguna. Misalnya, jika model bisa memprediksi harga saham bahkan sedikit lebih baik daripada menebak acak, itu akan membuat pemiliknya sangat kaya. Jadi banyak upaya telah pergi ke pengujian dan mengevaluasi model harga saham.Sayangnya, peneliti yang menggunakan teknik ekonometrik untuk mengevaluasi kebijakan-kebijakan sosial yang sangat jarang tunduk model mereka untuk tes prediktif. Alasan mereka adalah bahwa waktu terlalu lama untuk hasil untuk diketahui. Anda tidak mendapatkan data baru pada kemiskinan, aborsi atau pembunuhan setiap beberapa menit seperti yang Anda lakukan dengan harga saham. Namun para peneliti dapat melakukan pengujian prediksi dengan cara lain. Mereka dapat mengembangkan model menggunakan data dari satu yurisdiksi atau periode waktu, kemudian menggunakannya untuk memprediksi data dari waktu lain atau tempat. Tetapi kebanyakan peneliti hanya tidak melakukan hal ini, atau jika mereka melakukan model gagal dan hasilnya tidak pernah dipublikasikan.

Jurnal yang mempublikasikan penelitian ekonometrik isu kebijakan publik sering tidak memerlukan pengujian prediksi, yang menunjukkan bahwa editor dan pengulas memiliki harapan yang rendah untuk bidang mereka. Jadi peneliti mengambil data untuk jangka waktu tertentu dan tetap fine tuning dan menyesuaikan model mereka sampai mereka bisa "menjelaskan" tren yang sudah terjadi . Selalu ada sejumlah cara untuk melakukan hal ini, dan dengan komputer modern itu tidak terlalu sulit untuk terus mencoba sampai Anda menemukan sesuatu yang sesuai. Pada saat itu, peneliti berhenti, menulis up temuan, dan mengirimkan kertas off untuk publikasi. Kemudian, peneliti lain dapat menyesuaikan model untuk mendapatkan hasil yang berbeda. Ini mengisi halaman-halaman jurnal ilmiah, dan semua orang pura-pura tidak melihat bahwa sedikit atau tidak ada kemajuan sedang dibuat. Tapi kita tidak lebih dekat untuk memiliki model ekonometrik valid dari tingkat pembunuhan hari ini daripada kami ketika Isaac Ehrlich diterbitkan model pertama pada tahun 1975.

Komunitas ilmiah tidak memiliki prosedur yang baik untuk mengakui kegagalan metode penelitian secara luas digunakan. Metode yang bercokol di program pascasarjana di universitas-universitas terkemuka dan dipublikasikan dalam jurnal bergengsi cenderung diabadikan. Banyak orang awam berasumsi bahwa jika sebuah penelitian telah diterbitkan dalam jurnal peer review, itu sah. Kasus yang kami telah meneliti menunjukkan bahwa hal ini tidak selalu terjadi. peer review menjamin bahwa praktek-praktek telah diikuti, tapi sedikit membantu ketika praktek-praktek sendiri rusak.

Pada tahun 1991, David Freedman, seorang sosiolog terkemuka di University of California di Berkeley dan penulis buku tentang metode penelitian kuantitatif, mengguncang fondasi dari pemodelan regresi ketika ia terus terang menyatakan "Saya tidak berpikir bahwa regresi dapat membawa banyak beban di . argumen kausal juga tidak persamaan regresi, sendiri, memberikan banyak bantuan dalam mengontrol variabel pengganggu "(Freedman, 1991: 292). Artikel Freedman memicu sejumlah reaksi yang kuat. Richard Berk (1991: 315) mengamati bahwa argumen Freedman "akan sangat sulit bagi kebanyakan sosiolog kuantitatif untuk menerima Ini pergi ke jantung perusahaan empiris mereka dan dengan demikian, menempatkan seluruh karir profesional dalam bahaya.."

Menghadapi kritik yang ingin beberapa bukti bahwa mereka dapat memprediksi tren, pemodel regresi sering jatuh kembali pada statistik satu-upmanship. Mereka membuat argumen begitu rumit sehingga analis regresi sangat terlatih hanya lain bisa mengerti, apalagi membantah, mereka. Seringkali teknik ini bekerja. Potensi kritikus menyerah dalam frustrasi. The Philadelphia Inquirer David Boldt (1999), setelah mendengar John Lott berbicara tentang senjata tersembunyi dan tingkat pembunuhan, dan memeriksa dengan para ahli lainnya, menyesalkan bahwa "mencoba memilah argumen akademik hampir tugas orang bodoh. Anda bisa tenggelam dalam perselisihan t -statistics, variabel dummy dan 'Poisson' vs metode analisis data 'kuadrat'. "

Boldt benar untuk mencurigai bahwa ia sedang terpikat ke misi bodoh. Ada, pada kenyataannya, tidak ada temuan penting dalam sosiologi atau kriminologi yang tidak dapat dikomunikasikan kepada wartawan dan pembuat kebijakan yang kurang gelar sarjana dalam ekonometri. Ini adalah waktu untuk mengakui bahwa kaisar tidak memiliki pakaian. Ketika disajikan dengan model ekonometrik, konsumen harus bersikeras bukti bahwa hal itu dapat memprediksi tren dalam data selain data yang digunakan untuk menciptakannya . Model yang gagal tes ini adalah ilmu sampah, tidak peduli bagaimana kompleks analisis.

REFERENSI

Berk, Richard.A. 1991. Menuju metodologi untuk orang biasa, "Sosiologi Metodologi 21:. 315-324 
. Boldt, David 1999." Bukti Studi senjata, "Philadelphia Inquirer, 14 Desember Diunduh pada May17, 2000 dari: http: // www. phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm . 
. Hitam, dan dan Daniel Nagin 1998. Apakah hukum hak-to-carry mencegah kejahatan kekerasan Jurnal Studi Hukum 27:?. 209-219 
Bonner, . Raymond dan Ford Fessendren 2000. Serikat dengan tingkat pembunuhan tidak ada hukuman mati saham yang lebih rendah, "New York Times, 22 September diunduh dari: http://www.nytimes.com/2000/09/22/national/22DEAT.html . 
Donohue, John dan Steven Levitt. 1999. Disahkan Aborsi dan Kejahatan. Stanford University Law School. Download pada bulan Agustus, 2000 dari: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508 . 
Fox, James. 2000. Demografi dan pembunuhan AS, In A. Blumstein dan J. Wallman (eds.), The Crime Jatuhkan di Amerika , Cambridge University Press, New York, pp. 288-317. 
Freedman, David 1991. model statistik dan sepatu kulit. Sosiologis Metodologi 21:. 291-313 
Lott, John. 2000. Lebih Senjata, Kurang Crime: Crime Pemahaman dan Gun Kontrol Hukum . University of Chicago Press, edisi kedua dengan analisis tambahan. 
Lott, John. dan John Whitley. 2001. Aborsi dan kejahatan: anak yang tidak diinginkan dan out-of-nikah kelahiran, "Yale Law & Economics Research Paper No 254. Diunduh pada tanggal 9 Juli, 2001 dari: http://papers.ssrn.com/sol3/papers.cfm ? abstract_id = 270.126 . 
Marvell, Thomas dan Carlisle Moody, C. 1997. dampak dari pertumbuhan penjara pada pembunuhan Studi pembunuhan. 1:. 205-233 
Zimring, Frank dan Gordon Hawkins 1997. pistol dirahasiakan. palsu jera, The Responsive komunitas 7: 46-60.