도구적 조건형

도구적조건형성

道具的條件形成

동물이 지렛대를 누르는 따위의 도구적 행동을 했을 때만 

음식물과 같은 강화물을 주어 조건 반응을 강화하는 일.

 

 

---

 

 

도구적 조건형성
[ 道具的 條件形成 , instrumental conditioning ]

 

반응의 출현비율을 높이기 위하여 자극에 대해 

방출되는 반응에 인접해서 강화를 제시하는 조건형성 방법이다. 

 

고전적 조건형성에서는 강화요인이 조건자극(CS)다음에 주어지는 반면, 

도구적 조건형성에서는 반응 다음에 강화요인이 온다. 

 

그러므로 고전적 조건형성에서 강화는 자극에 달려 있는 반면, 

도구적 조건형성에서 강화는 반응에 달려 있다. 

 

즉, 고전적 조건형성에서는 동물이 반응을 하든 안 하든 간에 

상관없이 강화(UCS)가 주어지는 반면, 

도구적 조건형성에서는 강화를 받기 위해 동물은 반응을 해야만 한다고 할 수 있다.

 

 

---

 

 

도구적 조건 형성
[ instrumental conditioning]

유기체가 반응과 그 반응에 주어지는 강화 간의 

관계를 학습한다고 가정하며,

 조작적 조건 형성이라고도 부른다. 

 

도구적 조건 형성에 관한 초기 연구는 Thorndike에 기원한다.

 

 Thorndike는 고양이가 문제 상자에서 빠져나오는 시간이

 점차 감소함을 발견하고 이것을 시행착오 학습이라고 불렀으며, 

어떤 반응에 보상이 주어지면 그에 상응하는 자극

(상자)-반응(페달 밟기)의 연합이 강화되고, 

반응에 보상이 없거나 처벌이 주어지면 

그 연합은 약화된다는 효과의 법칙을 제안하였다.

 

 

---

 

 

조작적 조건형성
[ operant conditioning, 操作的條件形成 ]

요약 행동수정의 원리 중 하나로, 

행동을 이끌어 내기 위해 행동 후의 자극을 조정하여

 바람직한 행동을 통해 바라는 후속자극을

 얻음으로써 반응을 강화하는 것

 

분야

행동치료

도구적 조건형성(instrumental conditioning), 

작동적 조건형성이라고도 부르는

 조작적 조건형성은 행동을 반응행동과

 조작행동의 두 가지 유형으로 구분한다.

 

 반응행동은 자극에 의해 야기되는 

반사 혹은 자동적 반응을 의미한다. 

 

예를 들어, 밝은 불빛을 받으면 동공이 수축되는 반응이다.

 

 조작행동은 제시되는 자극 없이 자발적으로 방출되는 

행동으로 반응에 따르는 사건에 따라 강해지거나 약해진다. 

 

반응행동은 선행사건이 통제하는 반면 조작행동은 

그것의 결과가 통제한다.

 

 스키너(Skinner)는 스키너 상자를 통해

 조작적 조건형성을 연구하였다. 

 

스키너 상자는 동물행동에 각기 다른 강화가 주는 

효과를 연구하기 위해 고안한 기구인데,

여기서 비둘기는 레버를 조작하는 행동으로

먹이를 제공받고 이러한 행동을 바로 조작행동이라 한다.

조작적 조건형성에서는 결과를 산출하기 위해

 환경을 조작하는 행위를 강조한다. 

 

조작 행동의 예로는 읽기, 쓰기, 운전하기, 

포크 사용하기 등이 있다.

 

 이러한 행동들은 대부분 우리가 일상생활에서

 하는 중요한 반응에 해당된다.

 

 행동이 이끌어 낸 환경변화가 강화적일 경우, 

즉 유기체에게 어떤 보상을 제공하거나 혐오자극을 제거하면 

그 행동이 다시 일어날 가능성이 커지고, 

환경변화가 강화를 낳지 못하면 

그 행동이 다시 일어날 가능성은 작아진다.

 

 

---

 

 

 

1. 설명

도구적 조건형성(道具的條件形成, instrumental conditioning)은 

조건형성을 일으키는 유기체 학습의 한 종류로 행동주의 심리학의 이론이다. 

 

벌허스 프레더릭 스키너의 주도로 이론이 정립되었다.

 

 '작동적 조건화' 혹은 '도구적 조건화' 그리고 '조작적 조건화'으로도 불린다. 

 

행동주의의 필수요소라고 해도 될 정도의 위치에 있는 이론이다.

조작적(operant) 조건형성과 도구적(instrumental) 조건형성은 비슷해 보이지만 살짝 다른 개념이다. 조작적 조건형성은 스키너에 의해 정립된 개념인 반면 후자는 스키너뿐 아니라 손다이크 등의 다른 학자들의 연구까지도 포괄하는 개념이다.

손다이크(E. L. Thorndike)라는 연구자가 이미 쥐에게 미로를 달리게 하거나 

고양이를 특수한 상자인 퍼즐박스(puzzle box)에 집어넣어서 

빠져나오게 하는 실험은 많이 행한 바 있지만, 

그것이 구체적으로 어떤 학습(learning)을 불러일으키는지에 

대해서는 아직 불분명하고 미진한 점이 많았다. 

 

또한 방법론적으로 손다이크의 디자인은 너무 손이 많이 가서, 

동물이 미로를 빠져나가거나 퍼즐박스에서 뛰쳐나오면 

그 동물을 도로 잡아서 미로나 상자에 집어넣어야 했다.

 

 이 때문에 지속적이고 관찰하기에 용이하고 학습의 효과가

 극적으로 나타날 수 있는 잘 통제된 실험이 요구되고 있었으며,

 스키너가 실험 박스를 디자인하자 비로소 행동과학은 황금기를 맞이하게 되었다.

다른 행동주의 학자들은 연계 학습, 

다시 말해 내용을 학습하는 과정이 이루는 유기적인 구조에 초점을 맞추었지만,

 스키너는 결과가 어떻게 행동에 영향을 주는지에 더욱 관심을 기울였다.

스키너는 강화(reinforcement)와 처벌(punishment)을 통해서 

유기체의 행동을 조절할 수 있음을 밝혔으며, 

그 구체적 방식에 따라서 정적(positive)인 것과 부적(negative)인 것으로

 나누어질 수 있음을 보였다. 

 

여기서 혼동하면 안 될 것 한 가지는, 

정적인 방법과 부적인 방법이라는 분류는 결코 가치 판단적인 것이 아니다. 

 

정적인 방법은 주거나 더하는 것이고, 

부적인 방법은 빼앗거나 줄여주는 것이다.

 

 

2.1. 조성(shaping)

흔한 동물들이 복잡한 행동까지 척척 수행할 수 있는 이유 

 

2.1. 조성(shaping)

 어떤 한 동물에게 특정 행동을 시키고자 한다면, 

먼저 그 행동을 세세하게 단계별로 나누어서 

각 단계에 도달할 때마다 강화를 한다.

 

 속담 중 "천릿길도 한 걸음부터" 가 잘 어울리는 개념. 

 

예를 들어 실험쥐에게 레버를 누르도록 하기 위해서는, 

먼저 실험쥐가 레버 쪽으로 몸을 돌릴 때 먹이를 주는 것부터 시작해야 한다.

 

2.2. 연쇄(chaining)

흔한 동물들이 복잡한 행동까지 척척 수행할 수 있는 이유

 

 2. 일련의 다양한 행동들을 순서대로 수행하도록 훈련시키는 것. 

 

심지어 한 동물 조련사는 돼지로 하여금 진공 청소기를 돌리고

 빨래를 주워서 빨래통에 넣은 다음 식탁에 올라서 

아침식사를 하는 것까지 전부 성공시켰다.

 

심지어 미국의 한 동물원에서는 수상스키를 타는

다람쥐가  쇼에 출연하기도 한다

 

수명이 다할 때마다 그 자녀 다람쥐에게

대를 이어 수상스키를 가르쳐 온 것이 벌써 7대를 넘기고 있다고.

 

2.3. 향본능 표류(instinctive drift)

위의 동물 조련사가 발견하여 학계에 보고한 현상으로, 

동물에게 본능에 정면으로 충돌하는 행동을 훈련시키면

 아무리 노력해도 성과가 나질 않는다. 

 

오늘날의 심리학자들은 본능이라는 표현을 그다지 좋아하지 않는다.

 

 더 범용적으로 쓰이는 학술적 용어는 

고정행동패턴(FAP; fixed action pattern). 시행을 반복하고 

또 반복하더라도 동물은 해당 상황에서 본능에 이끌리기만 할 뿐. 

 

이것은 학습의 한계로서 흔히 거론되는 부분이다.

다만 실험체의 뇌를 직접 조작하면 깨질 수도 있다. 

 

뇌에 직접 빛 신호를 주면 인공 신호를 만들 수 있는데, 

이렇게 신경 단위로 조작을 하면 조작된 대로 

실험체가 움직여 고정 행동 패턴이 깨지는 것이다.

 

2.4. 소거(extinction)

고전적 조건형성과 마찬가지로, 학습된 행동은 소거시키는 것이 가능하다. 

 

이 경우에는 학습된 행동을 보였을 때 강화물을 제시하지 않는 것. 

 

물론 아래에 설명되겠지만 간간이 강화물을 제시하는 것이

 꼬박꼬박 제시하는 것보다 효율이 더 좋고

같은 맥락에서 간헐적 강화는 더욱 소거되기가 힘들다!

 

또한 마찬가지로 소거는

자발적 회복(spontaneous recovery)을 일으킬 수 있다.

 

일반적으로 실험쥐나 비둘기 등은 소거절차 중에

짜증을 내거나 레버 등을 물어뜯거나 또는 근처에 있던

아무 잘못도 없는 동료를 공격하기도 한다.

 

2.5. 프리맥의 원리(Premack Principle)

상대적으로 발생 가능성이 높은 행동은

 상대적으로 낮은 행동에 대한 강화물이 된다. 

 

이것을 프리맥의 원리(Premack Principle)라고 부른다.

 

 예를 들어, 어떤 쥐가 좀 당연하지만 물 마시는 것이 

쳇바퀴 돌리는 것보다 더 잦다고, 

다시 말해 물 마시는 행동이 더 가치 있는 행위라고 선호된다고 가정하자.

 

 이 쥐가 쳇바퀴를 열 바퀴 돌려야만 물을 마시도록 허용한다면,

 이 쥐는 물을 마시기 위해 기꺼이 쳇바퀴 속으로 뛰어들 것이다.

 

2.6. 청교도적 윤리 효과(protestant ethic effect)

열심히 원반을 쪼아서 가끔씩 먹이를 받는 비둘기의 곁에다 

아예 먹이로 가득차 있는 컵을 가져다 두면 어떻게 될까? 

 

이 비둘기는 편안히 무위도식하며 컵의 먹이를 즐기는 대신,

 그것은 거들떠보지도 않고 열심히 원반 쪼는 일만 반복하는 경향을 보인다

 

. 이를 두고 "정당하고 성실하게 땀을 흘려 일하고,

 그 보상을 당당하게 받으라"는 청교도 윤리가 떠올랐는지,

 연구자들은 구태여 힘들게 일해서 약간의 소득만으로 

만족하려 하는 비둘기들의 행태에 "청교도적 윤리 효과"라는 이름을 붙였다.

 

2.7. 미신행동(superstitious behavior)

동물이 어떤 행동을 하는 동안 강화물이 

아무런 규칙도 조건도 없이 무작위로 제공된다면, 

동물은 단지 우연에 의해 동시에 발생한 

자신의 행동을 그 강화물과 잘못 연합하여 계속 반복하게 된다.

 

 스키너의 비둘기들은 날개를 밟고 서거나, 

빙글빙글 돌거나, 날개를 퍼덕거리는 등의 

아무짝에도 쓸데없는 행동들을 보였다. 

 

인간의 경우? 보란 듯이 미신행동이 쉽사리 생겨났다. 

 

대학생들을 대상으로 한 어느 연구에서 한 여성은

 아무 의미없는 점프를 지쳐 쓰러질 때까지 반복했다.

간혹 이를 두고 인류의 종교성의 근원이라고 

설명하는 과학자들도 있으나 그건 좀 극단적인 경우고, 

대체적으로는 단지 이런 미신이나 징크스가 종교적

 성향과 관련이 있다고 보는 정도이다. 

 

예를 들면 사다리 밑으로 지나가면 재수가 없다든가 하는

 

한편 동기심리학의 관점에서는 지각된 통제감(perceived control)이

높을수록 미신행동을 겪기 쉽다고 보고 있으며,

이것은 미신행동 출현의 개인차를 일부 설명할 수 있다.

 

사실 이것은 어떻게 보면 상당히 의미심장하다.

 

바꿔 말하면 자신감과 자긍심이 더 높고 더 낙관적이며

매사 적극적이고 동기부여가 된 사람들이 매사 무기력하고

수동적이며 쉽게 포기하는 사람들보다 더

미신행동을 많이 겪는다는 뜻이기 때문.

 

지각된 통제감이 높은 사람들은 자신에게 닥쳐오는

일들을 자신이 통제할 수 있고 해결할 수 있다고 믿는 경향이 있는데,

이것이 이들로 하여금 세상에는 자신이 통제할 수 없는 것도

있다는 현실을 받아들이지 못하게 한다.

 

이 때문에 실제로는 패턴이나 연합이 없는 무선적 자극이라도

이들은 끝까지 포기하지 않고 어떻게든 가짜 연합을 형성하려고 한다고.

 

연구자들은 이를 두고 "통제망상"이라고 부른다.

또한 이러한 미신행동이 잘 없어지지 않는 이유는

 대부분 '실패해도 손해가 없기 때문'이다. 

 

예를 들어 빨간 속옷을 입고 시험을 치뤘는데

 우연히 자신의 노력이나 능력보다 결과가 좋았다고 한다면

 '이 결과는 빨간 속옷을 입었기 때문이다'라는 일상에서

 일어날 만하지만 약간 특별한 행동에 강화가 작용해 

다음부터 시험 볼 때 빨간 속옷을 입는 행동의 빈도가 증가하는 것이다. 

 

하지만 빨간 속옷을 입고 시험을 치렀는데 시험을 망쳤다면 

시험을 망친 이유가 빨간속옷 때문이었다는 

처벌은 잘 이루어지지는 않는다는 것이다.

 

 물론 반대도 가능하다. 

 

빨간 속옷을 입고 시험을 망쳤을 때

 전혀 연관이 없는 빨간 속옷을 입는 행동이 처벌을 받아

 시험날에 빨간 속옷을 입는 행동을 피하게 되는 미신이 생기는 수도 있다.

 

2.8. 학습된 무기력(learned helplessness)

오늘날 긍정심리학의 창시자로 여겨지는

 마틴 셀리그먼(M. Seligman)은 사실 1960년대

 젊은 시절에는 조건형성을 연구하던 행동과학자였다. 

 

그러다가 정말 우연히도 의도치 않게 학습된 

무기력이 발견된 것. 

 

당초 그는 셔틀박스를 활용한 실험에서 

처음부터 공포반응과 연합된 소리 신호를 주어서, 

최초 시행부터 개가 성공적으로

 전기 충격을 회피하게 하는 것을 시도중이었다.

 

 기존의 셔틀박스 연구는 개가 점차 셔틀박스 내에서 

전기 충격 회피방법을 학습해 나가는 식이었기 때문.

 

 따라서 그는 미리 밖에서 개를 묶어두고

 충분히 소리 신호와 전기충격을 연합시킨 뒤 셔틀박스에 넣었다. 

 

셀리그먼의 가설대로라면 첫 시행부터 보란 듯이

 멋지게 안전 지대로 회피해야 했으나, 

학습된 무기력이라 불리게 된 뜻밖의 현상으로 

인해 이 개는 결코 전기 충격을 피하지 않았다. 

 

셀리그먼은 이것을 우울증의 이해에 활용할 수 있으리라고 보았다.

 

 대조적으로, 과거에 어려움을 극복한 경험이 있는 

개체들은 학습된 무기력에 쉽게 빠지지 않는다.

 

2.9. 간헐적 강화계획(intermittent reinforcement schedule)

매번 행동이 나올 때마다 강화하는 것보다, 예측할 수 없는 

시간간격으로 강화하는 것이 훨씬 빠르고 효과적인 학습이 가능하다.

 

 고정된 수치를 활용하는 경우와 변동 수치를 활용하는 두 가지로 나누어질 수 있으며, 

여기서 다시 비율을 활용하는 경우와 간격을 활용하는

 경우로 나누어져서 2 by 2 매트릭스가 만들어진다.

 

 

 

 

 

 

[네이버 지식백과] 조작적 조건형성 [operant conditioning, 操作的條件形成] (상담학 사전, 2016. 01. 15., 김춘경, 이수연, 이윤주, 정종진, 최웅용)

[네이버 지식백과] 도구적 조건 형성 [instrumental conditioning] (실험심리학용어사전, 2008., 곽호완, 박창호, 이태연, 김문수, 진영선)

[네이버 지식백과] 도구적 조건형성 [道具的 條件形成, instrumental conditioning] (교육심리학용어사전, 2000. 1. 10., 한국교육심리학회)

나무위키