BLOB에서 SQL 데이터베이스로 데이터 이동

현재 Azure Blob 저장소의 센서 읽기 데이터를 SQL 데이터베이스로 이동하는 중입니다. 여러 .csv 파일이 있고 그 파일에서 날짜 (형식 : 25/4/2017), 시간, sensor_location 및 sensor_readings를 보유하는 다양한 열이 있습니다. 내 질문; Logic App을 사용하여 각 열에 따라 데이터를 저장하려면 어떤 단계를 밟아야합니까? 그리고 첫 번째 파일 데이터 다음에 두 번째 파일 데이터를 어떻게 밀어 넣을 수 있습니까? 감사합니다BLOB에서 SQL 데이터베이스로 데이터 이동

출처

2017-04-25 Dein

Azure Data Factory - 다양한 소스간에 데이터를 복사하고 원하는대로 변형 할 수있는 Azure 네이티브 서비스입니다. –

감사합니다. @TomaszTuczapski. 하지만 수정 된/새로 추가 된 데이터 만 SQL DB에 복사하도록 ADF에 지시하는 방법을 모르겠습니다. – Dein

당신은 데이터를 가져 오기위한 스크립트 (mysql이 할 수있는 확장 또는 확장 기능을 가진 고수준 언어)를 작성하거나 sequelpro와 같은 mysql 클라이언트를 사용할 수 있습니다 https://www.sequelpro.com/은 csv 파일을 가져옵니다. http://php.net/manual/en/pdo.prepared-statements.php 당신과 함께 CSV 파일을 읽을 수 있습니다 :

$contents = file_get_contents('filename.csv'); 
$lines = explode("\n", $contents); 
foreach($lines as $line) { ... 
// insert all rows to mysql here

출처

2017-04-25 07:44:08 visualex

제안 주셔서 감사합니다. 하지만 Azure 플랫폼에서 PHP를 사용할 수 있다고 생각하지 않습니다. – Dein

당신은 Azure Data Factory을 시도해야 다음

는 PHP와 MySQL의 데이터를 삽입하는 방법에 대한 링크입니다. BLOB 데이터를 SQL here에 복사하는 튜토리얼이있다.

일정에 따라 실행되도록 설정할 수도 있습니다.

출처

2017-04-25 09:57:13 Niels

고마워요. 하지만 ADF가 실행될 때마다 BLOB 내부의 모든 데이터를 가져 와서 테이블에 저장하는 것은 시간이 많이 걸리고 많은 처리 용량이 필요하다고 생각합니다. 현재 데이터가 이전 데이터 아래에 추가되거나 단지 BLOB 안에 추가 된 새로운 데이터를 가져 와서 저장하면됩니다 – Dein

스토리지 계정의 일부를 복사 할 자유가 있습니다. 예를 들어 입력 blob이 년/월/일 형식으로 구성된 경우 동적 표현식을 사용하여 복사 할 현재 또는 과거 날짜 만 선택할 수 있습니다. 가장 쉬운 방법은 아마도 DF를 만들고 주변에서 놀고 그것이 효과가 있는지 확인하는 것입니다. 하지만 동의 할 때마다 전체 저장소 계정을 복사하는 것에 동의합니다. :) – Niels

BLOB에서 SQL 데이터베이스로 데이터 이동

답변

관련 문제