건설현장 사진으로 GPT를 사용하는 5가지 활용법_GPT4 비전 API_스마트건설 현장 AI 활용

인공지능 기술의 발전은 이미지 인식 분야에서도 혁신을 가져오고 있습니다. 특히, OpenAI에서 최근 발표한 GPT-4 비전 API는 이미지 분석과 해석에 새로운 가능성을 열고 있습니다. 이 포스트에서는 GPT-4 비전 API의 주요 특징과 건설 산업에서의 활용 가능성에 대해 알아보고자 합니다.

Created by Author with DALL-E

 

GPT-4 VISION API의 주요 특징

• 이미지 해석 능력: GPT-4 비전 API는 이미지 내의 객체, 텍스트, 상황을 인식하고 분석하는 높은 능력을 가지고 있습니다.
• 시스템 통합: 다양한 시스템과의 통합이 용이하여, 사용자의 필요에 따라 맞춤형 솔루션을 제공할 수 있습니다.
• 독특한 기능들: 이미지를 통한 질의응답, 이미지 기반 스토리텔링 등 다양하고 창의적인 활용이 가능합니다.

 

GPT4 VISION API 건설 이미지 적용 테스트 

이 테스트에서 얻고자하는 목표는 다음과 같습니다.

1. GPT4 VISION API가 건설 현장 사진을 읽을 수 있는가?
2. GPT4 VISION API가  건설 현장 사진을 읽고 공정을 파악할 수 있는가?
3. GPT4 VISION API가  건설 현장 안전을 진단할 수 있는가?
   
   

테스트는 Openai API를 Colab에서 불러와 진행했습니다.
아래의 코드에 자신의 Openai API KEY를 적용하면 Colab에서 바로 테스트해 볼 수 있습니다.

import openai
import os

# OpenAI API 키 설정
api_key = 'API키를 입력하세요'
os.environ["OPENAI_API_KEY"] = api_key
openai.api_key = os.environ["OPENAI_API_KEY"]

from openai import OpenAI
from IPython.display import Markdown

client = OpenAI()

response = client.chat.completions.create(
  model="gpt-4-vision-preview",
  messages=[
    {
      "role": "user",
      "content": [
        {"type": "text", "text": "질문에 순서대로 답해라. 1. 건설 공사의 어떤 공정인지 분석해라. 2. 몇명의 작업자가 있는가? 3. 작업자의 안전에 대해 분석하고 개선 요소를 도출해라."},
        {
          "type": "image_url",
          "image_url": {
            "url": "image url 입력",
          },
        },
      ],
    }
  ],
  max_tokens=500,
)

#결과를 깔끔하게 보여줍니다.
display(Markdown(response.choices[0].message.content))

 

위 코드는 온라인 상의 이미지 링크를 입력하면, 아래의 프롬프트에 대한 답변을 하는 형식입니다.

질문에 순서대로 답해라. 
1. 건설 공사의 어떤 공정인지 분석해라. 
2. 몇명의 작업자가 있는가? 
3. 작업자의 안전에 대해 분석하고 개선 요소를 도출해라.

테스트 1. 건설 현장 사진을 어느정도로 파악하는가?

작업자들이 지하배관을 연결하는 작업 중

 

GPT 답변 : 이 이미지는 파이프 설치 작업을 보여줍니다.
굴착된 트렌치 내에서 작업자들이 파이프라인을 배치하는 모습을 볼 수 있는데, 이는 일반적으로 상하수도, 가스, 또는 기타 지하 서비스 시설 설치와 관련된 건설 공사 단계입니다.

이미지에는 두 명의 작업자가 보입니다. 한 명은 트렌치 안에서 파이프에 작업을 집중하고 있으며, 다른 한 명은 트렌치 바깥에서 작업 중입니다.

작업자 안전에 대해 분석하면 다음과 같습니다:
- 트렌치 안의 작업자는 안전모를 착용하고 있어 머리 부상을 방지할 수 있습니다.
- 밝은색의 고시인성 안전 조끼를 착용함으로써 시인성이 높아져 주변 작업자나 기계류의 운전자가 쉽게 인식할 수 있습니다.
- 작업자는 적절한 작업복을 착용하고 있는 것으로 보여져 기본적인 보호 기능을 제공합니다.

개선 요소는 다음과 같을 수 있습니다:
- 트렌치가 깊은 경우, 트렌치 붕괴를 막기 위한 지지대(shoring)나 경사(sloping) 시스템을 설치하는 것이 안전을 증진시킬 수 있습니다.
- 이미지 상에서 이러한 안전 조치가 볼 수 없으나, 내구성이 충분한 작업 환경이 필요합니다.
- 귀 보호구를 착용하여 시끄러운 작업환경에서

 

테스트 1 결과 분석

✔️ 굴착 된 트랜치 내 파이프 설치 작업
✔️ 작업자 2명
✔️ 안전모, 고시인성 안전조끼 착용

❌ 작업자 1명은 트렌치 바깥이라고 오인식

일단 기존 인식 기술 대비 엄청난 기술향상을 보여주고 있습니다. 별도의 학습을 하지 않은 상태에서 이미지를 입력하고 Prompt를 입력했을 때, 이미지를 읽고, Prompt에 답변을 해주는 과정에서 속도가 굉장히 빨랐고, 이미지를 읽은 수준도 굉장히 뛰어남을 알 수 있습니다. max_token을 500으로 설정했더니 뒷부분이 조금 짤리는 현상이 생겼네요. 다음에는 1000으로 늘려서 테스트해보겠습니다. 

 

---

테스트 2. 콘크리트 타설을 인식 하는가?

콘크리트 타설 중

GPT 답변 :
분석한 결과, 본 이미지에서 건설 공사의 공정은 콘크리트 타설 작업으로 보입니다.

작업자들이 대형 호스를 통해 콘크리트를 부어 넣는 것을 볼 수 있으며, 이미 콘크리트가 설치된 강화 철근망 위에서 이루어지고 있습니다. 이 과정은 기초 또는 바닥판을 만들기 위한 초기 단계로 추정됩니다.

이미지에는 세 명의 작업자가 보입니다.작업자 안전 현황을 분석하면 다음과 같습니다:
- 모든 작업자들이 안전 헬멧을 착용하고 있으며, 반사 조끼를 입어 현장에서 시인성을 높였습니다.
- 콘크리트 작업과 관련하여, 작업자들이 방수 기능이 있는 작업복을 착용하고 있는 듯 보입니다, 이는 피부와 옷이 콘크리트 젖음을 방지하기 위함입니다.
- 장화를 신고 있어 발을 보호하고 슬립으로 인한 위험을 줄일 수 있습니다.

개선 요소로는:
- 이미지로는 보호 장갑의 사용 여부를 판단하기 어렵지만, 콘크리트 작업 시에는 적절한 보호 장갑을 착용하는 것이 중요합니다.
- 또한, 작업 현장이 젖어 있고 날씨가 흐린 것으로 보이므로 미끄러짐 방지를 위한 장비나 사고 방지를 위한 추가 조치가 필요할 수 있습니다.
- 근로자들 사이에 효과적인 의사소통을 유지하는 것 역시 중요하며 이를 위해 호루라기, 손 표시 등을 사용할 수 있습니다.
- 주변에 콘크리트가 튀는 것을 방지하기 위해 보호 벽이나 가림막을 설치하는 것도 고려할 수 있습니다.

현재 제공된 이미지만으로는 상세한 안전 상태를 완전히 평가하기 어렵습니다만, 위의 점들은 일반적인 현장 작업의 안전 상태를 개선하기 위한 제안 사항들입니다.

 

테스트 2 결과 분석

✔️ 강화 철근망 위 콘크리트 타설
✔️ 작업자 2명
✔️ 안전 헬멧, 반사 조끼, 방수 작업복, 장화 착용

❌ 보호장갑 미인식

max_token을 1000으로 늘렸습니다. 사람이 보기에도 공정이 명확한 이미지의 경우 공정 파악에 무리가 없는 정도라고 판단됩니다. 또한 유의미한 사람 인식도 충분히 하는 것으로 보이네요. 뒤에 두명을 인식하지 못했지만 무의미합니다. 콘크리트 타설과 더불어 강화 철근망 위에서 이루어진다는 것도 인식했습니다. 기초 또는 바닥판을 위한 초기 단계라고 추정까지 했습니다.

작업자 세 명의 안전 헬멧, 반사조끼, 방수 작업복, 장화 까지 인식했습니다. Colab에서 결과물을 얻기까지 소요시간은 18초 걸렸습니다.

본 이미지 URL은 jpg, png가 아닌 webp 형식임에도 읽는데에 문제가 없었습니다. 

 

---

테스트 3. 비계작업 안전 미준수자를 인식하는가?

안전장비 없이 비계작업 중

 

GPT 답변 :

이 사진은 건물 외벽에서 이루어지는 건설 공사의 비계 설치 또는 비계 작업 현장을 보여주고 있습니다.
비계는 건축 작업, 보수, 청소 및 페인트 작업과 같은 고소 작업을 위해 일시적으로 설치되는 구조물입니다.

이 이미지에는 한 명의 작업자가 보입니다. 작업자는 비계의 한 층에 서 있으며, 손에는 비계의 일부로 보이는 파이프를 들고 있습니다.

작업자 안전 현황에 대한 분석과 개선 요소를 도출하기 위해서는 현장의 여러 측면을 고려해야 합니다. 이미지를 바탕으로 할 수 있는 분석은 다음과 같습니다.
- 안전 벨트 착용: 작업자는 안전 벨트를 착용하고 있으며 이는 높은 곳에서 작업할 때 추락 방지를 위한 필수적인 안전 조치 중 하나입니다.
- 보호 장비 부족: 작업자의 머리에 헬멧이 보이지 않습니다. 모든 공사 현장에서는 머리를 보호하기 위한 안전 헬멧 착용이 중요합니다.
- 장갑 미착용: 작업자가 장갑을 착용하지 않았다면 날카로운 물체나 거친 표면으로부터 손을 보호하기 위해 장갑을 착용하는 것이 좋습니다.
- 안전 안경 미착용: 비계 작업 중에는 날아오는 파편이나 먼지로부터 눈을 보호하기 위해 안전 안경을 착용하는 것이 바람직합니다.
- 비계 설치 상태: 비계는 견고해 보이지만, 모든 접합 부분이 제대로 연결되어 있고 느슨해진 부분이 없는지 정기적으로 점검해야 합니다.

이를 토대로 안전 현황에 있어서 작업자에게 적합한 헤드 프로텍션을 제공하고, 필요한 개인 보호 장비를 갖추도록 해야 하며, 비계 및 작업 환경의 안전성을 주기적으로 확인하고 점검하도록 하는 것이 중요합니다.

 

테스트 3 결과 분석

✔️ 비계 설치 작업 공정 인식
✔️ 작업자 한명, 비계의 한 층에 서있고, 한 손에 비계 파이프 들고 있음
✔️ 안전 벨트 착용, 헬멧 미착용, 장갑 미착용, 안전 안경 미착용 인식

❌ 안전 벨트를 착용했으나 체결하지 않았음.

눈이 달렸다고 해도 무방할 정도입니다. 하지만 유의할 사항은 안전 벨트를 인식은 했으나, 체결했다는 건 인식하지 않았다는 것입니다. 그럼에도, 안전모자, 고글, 장갑 미착용을 충분히 유의미하게 인식하는 것을 확인했습니다. 

 

---

테스트 4. 건설 현장 사진을 보고 리스크를 도출할 수 있는가?

크레인으로 교량의 거더를 설치하는 중

Prompt : 질문에 순서대로 답해라. 
1. 건설 공사의 어떤 공정인지 분석해라. 2. 이 공정에서 리스크는 무엇인가? 3. 사전 점검 체크리스트를 생성해라.

GPT 답변 :
분석해 보면, 이 사진은 대형 구조물, 아마도 교량 건설 공사 현장을 보여주고 있습니다.
크레인과 기타 중장비를 사용하여 구조의 일부를 들어올리거나 위치를 조정하는 모습이 담겨 있습니다.

이 공정에서 리스크는 다음과 같습니다:
- 높은 작업 환경에서 낙하 위험중장비와 크레인의 운용에 따른 사고
- 위험구조물의 붕괴나 잘못된 부품 조립으로 인한 위험
- 작업자들 사이의 통신 실패
- 날씨로 인한 리스크 (강풍, 비, 눈 등)
- 외부 요인에 의한 작업 지연 또는 중단 (예: 교통, 환경 규제)

사전 점검 체크리스트는 아래와 같을 수 있습니다:
- 개인 보호 장비(PPE) 상태 점검 (안전모, 작업복, 안전화, 낙하 방지 장구 등)
- 크레인 및 중장비에 대한 사전 안전 점검
- 작업 구역 내 안전 표지 및 경계 설치 점검
- 작업 계획 및 시공 방법의 최종 검토
- 날씨 조건 확인 및 관련 안전 조치 점검
- 작업자 간 의사소통 수단 및 절차 점검
- 구조물 부재 및 장비의 무결성 확인
- 비상 대응 계획 및 구조 장비 점검
- 작업 전 전반적인 안전 브리핑 및 팀별 역할 재확인

 

테스트 4 결과 분석

✔️ 교량 건설 공정을 인식 함
✔️ 적절한 리스크를 도출함
✔️ 적절한 체크리스트를 도출함

❌ 대체로 General한 리스크를 도출 하였음. 세부정보의 부재로 어쩔 수 없는 결과. 

이번 사진은 좀 어렵지 않을까 했는데, 잘 인식했습니다. 크레인으로 거더를 들어올려 조립하는 사진입니다. 이 정도 인식한 것만으로도 일반인의 눈 보다는 건설의 눈을 가졌다고 볼 수 있습니다. 거기에 기존 지식을 조합하여 리스크를 도출하고, 사전 점검 체크리스트를 생성했습니다.

 

---

테스트 5. 터널 굴착 현장 사진을 보고 공법을 알아볼 수 있는가?

터널 굴착 NATM 공법

Prompt : 질문에 순서대로 답해라. 
1. 건설 공사의 어떤 공정인지 분석해라. 2. 이 공정에서 리스크는 무엇인가? 3. 사전 점검 체크리스트를 생성해라.

GPT 답변 :

이 이미지는 터널 건설 현장을 보여주고 있습니다.
벽면에 설치된 앵커와 노출된 바위면, 그리고 터널 벽면을 지지하기 위해 설치한 메쉬 등을 볼 수 있습니다.

여기에 사용된 기계와 장비는 굴착과 지지 작업에 사용되는 것으로 보입니다.

이러한 터널 공사 공정에는 여러 리스크가 존재합니다.
- 우선, 터널 붕괴의 위험이 있으며, 이는 작업자의 안전에 직접적인 위협이 됩니다.
- 또한, 진행 중인 굴착 작업으로 인한 진동이나 소음, 먼지 발생 등의 환경적 영향도 고려해야 합니다.
- 작업 중 발생하는 먼지는 호흡기 건강에 영향을 줄 수 있으며, 적절한 환기가 이루어지지 않을 경우 산소 결핍이나 유해 가스 노출의 위험이 있습니다.

특별한 공법에 관해서는 사진만으로는 정확히 판단하기 어렵습니다. 하지만 터널을 굴착하면서 동시에 지지 구조를 설치하는, 예를 들어 New Austrian Tunneling Method (NATM)와 같은 공법이 사용되었을 가능성이 있습니다. NATM은 이미지에서 볼 수 있는 듯한 체계적인 지지 시스템(앵커, 샷크리트, 메쉬 등)을 사용하여 터널을 안정화하는 방법입니다.

테스트 5 결과 분석

✔️ 터널 건설 현장을 인식 함
✔️ 벽면에 설치된 앵커, 바위, 벽면 지지 메쉬 등 디테일을 인식 함.
✔️ 공사 공정의 리스크를 적절히 도출 함
✔️ 이미지를 통해 NATM 공법을 추론 함.

터널 공사 사진만 보고 NATM 공법 까지 추론에 성공했습니다. 놀랍습니다. 

---

여러 사진들을 테스트해 본 결과, GPT4 VISION API의 이미지 인식 기술은 놀라웠습니다. 기존 딥러닝 객체인식과 같이 이미지를 인식해서 읽는 개념보다, 이미지에 보이는 요소들을 큰것부터 작은 것으로 순차적으로 Captioning하여 text화 하고, text를 기반으로 추론하는 원리라고 판단 됩니다. Transformer 기술을 통해 텍스트에서 이미지를 생성하듯, 역으로 이미지에서 텍스트를 생성하는 것이죠. 

그렇기 때문에 이미지 인식에서 그치는 것이 아니라, 설명, 추론, 추가적인 생성까지 가능하게 되었습니다. 건설 산업에서의 활용도가 꽤나 괜찮을 것 같습니다. 결국 사람이 판단해야 하는 부분이 많겠지만 말입니다.

 

GPT4 VISION API 건설산업 적용 아이디어

본 테스트를 통해 GPT4 VISION을 건설 산업에 충분히 활용할 수 있겠다고 생각했습니다. 테스트를 바탕으로 떠오르는 아이디어 몇가지를 공유해 드리겠습니다.

1. 안전관리
- 작업자들의 보호구 착용 여부 및 안전수칙 준수 모니터링
- 위험 작업 점검 및 사고 예방

2. 공정관리
- 현장 이미지를 통한 실시간 공정 파악 및 진척도 모니터링
- 자동으로 공정 보고서 작성

3. 품질관리
- 시공 상태 및 결함 확인을 통한 품질 관리
- AI 기반의 위험 구조 검출

4. 기록관리
- 건설 과정 기록 및 아카이브 구축
- 이미지 검색을 통한 데이터 검색 용이

우선 안전 관리 측면에서, GPT-4 Vision을 통해 작업자들의 안전 장비 착용 상태를 실시간으로 모니터링하고, 위험한 작업 현장을 사전에 점검할 수 있습니다. 
또한 공정 관리에 있어서도 이미지 분석을 바탕으로 정확한 공정 진척도를 추적할 수 있고, 공정 보고서 작성 등의 업무 효율화가 기대됩니다.
시공 품질 관리, 기록 관리, 시뮬레이션 등 다양한 용도로 GPT-4 Vision을 활용할 수 있을 것으로 기대합니다.

---

결론

GPT-4 Vision은 이미지 인식과 이해 능력이 탁월한 AI 모델로, 
건설업에 새로운 가치를 제공할 수 있다고 봅니다.

2023년은 ChatGPT의 해였습니다. ChatGPT의 놀라움은 계속되고 있고, 내년에도 계속 될 예정입니다. 오늘은 건설산업에서의 GPT4 VISION API 의 활용에 대해 실제 예시를 들어 설명드렸습니다. 건설 이미지를 인식하는 것 뿐만 아니라, 작업자의 안전을 평가하고, 공정을 인식하여 리스크를 인식, 공법까지 알아보는 놀라운 경험을 했습니다. 

앞으로 건설 현장은 GPT-4 Vision과 같은 AI 기술로 인해 더욱 안전하고 효율적으로 변모할 것이라 믿습니다. 건설업의 디지털 전환이 가속화되는 새로운 시대를 맞이하여, 우리도 이러한 기술 변화의 흐름에 발맞춰 나아가야 할 것입니다.

 

이 기술에 대한 보다 자세한 정보는 OpenAI의 공식 문서를 참고하시기 바랍니다. 여기로 이동.

 

 

#GPT4#비전#AI #건설업#이미지인식#안전관리#공정관리#품질관리#기록관리#시뮬레이션#효율성#생산성#디지털전환#건설혁신#건설업의미래#공정자동인식#건설공정인식#터널인식#GPT4비전#GPT이미지인식#건설관리#건설CM#스마트건설#스마트건설 인공지능 활용#건설 인공지능