Transformers를 generator로 만드는 방법
transformers를 쓰면 주로 model.generate()를 쓰게 되는데 이것을 쓰면 모든 토큰이 생성이 끝날때 까지 아무 것도 확인 할 수 없다. streamer 기능을 사용하면 바로바로 생성되는 토큰을 확인 할 수 있고 generato...
서빙
SSE(서버-센트 이벤트)를 이용한 Flask 스트리밍 실시간 챗봇을 위한 연습
연습용 자료 첫번째는 오늘 하던 것 간단히 구현해서 업무에 적용시킬 프로젝트에 넣기위해 테스트 겸 만든 코드 SSE(서버-센트트 이벤트)는 클라이언트와 서버 간의 실시간 통신을 위한 웹 기술 중 하나다.
서빙