Загрузка данных

Загрузка данных

gsqlcmd позволяет загружать файлы и выполнять HTTP-запросы.

Например:

gsqlcmd download https://www.nasdaq.com/symbol/AAPL/dividend-history aapl.htm

Вы можете использовать маску для выходных файлов, если URL-адрес содержит имя файла, которое можно определить.

Например:

gsqlcmd download https://www.savetodb.com/sitemap.xml *.*

Опция /Check

Вы можете использовать опцию /check для проверки ответов сервера.

Например:

gsqlcmd download http://www.savetodb.com/ /check

Результат покажет перенаправление страницы:

http://www.savetodb.com/ 301 https://www.savetodb.com/

Автоматизация

Вы можете использовать простой или типизированный файл задач для загрузки списка URL-адресов.

Например, вы можете поместить URL-адреса для загрузки в файл типа sitemap.txt и использовать команду:

gsqlcmd download @sitemap.txt *.*

Также вы можете опустить символ @ в имени файла задания в режиме download.

Например:

gsqlcmd download sitemap.txt *.*

Ниже приведен простой пакетный файл, который позволяет скачать sitemap.xml, преобразовать его в sitemap.txt и загрузить его страницы:

@echo off

gsqlcmd download https://www.savetodb.com/sitemap.xml *.*

gsqlcmd convert "SELECT loc FROM sitemap.xml" sitemap.txt /noHeaders

gsqlcmd download @sitemap.txt *.*

Вы даже можете упростить пакет, используя конвейерную обработку:

gsqlcmd convert "SELECT loc FROM https://www.savetodb.com/sitemap.xml" /noHeaders | gsqlcmd download @ *.*

Вы также можете использовать этот трюк для проверки страниц с опцией /check:

gsqlcmd convert "SELECT loc FROM https://www.savetodb.com/sitemap.xml" /noHeaders | gsqlcmd download @ *.* /check

Загрузка нескольких страниц

gsqlcmd распознает несколько схем веб-адресов следующих страниц.

В таких случаях вы можете использовать опцию /pages для автоматической загрузки нескольких страниц.

Например, можно использовать следующую команду для загрузки цепочек опционов из Yahoo Finance:

gsqlcmd download "https://query1.finance.yahoo.com/v7/finance/options/AAPL" *.json /pages=20

Методы GET, POST, PUT, PATCH, DELETE, HEAD

Режим работы download поддерживает опцию /method со следующими значениями:

AUTO, GET, POST, PUT, PATCH, MERGE, DELETE, HEAD

Ниже приведен пример использования метода DELETE:

gsqlcmd download https://localhost/crm/contacts?id=1 /method=DELETE

Вы можете использовать имена методов HTTP-запроса как синонимы режима download и определенной опции /method.

Например:

gsqlcmd DELETE https://localhost/crm/contacts?id=1

Использование аутентификации

Используйте опцию /auth, чтобы указать метод аутентификации, и используйте для передачи параметров аутентификации опции, специфичные для метода.

Например:

gsqlcmd download https://localhost/crm/contacts /auth=Forms /username=user /password=pass

gsqlcmd поддерживает следующие методы: Basic, Windows, Forms, OAuth1 и OAuth2.

Дополнительные сведения см. в разделе HTTP-аутентификация.

Дополнительные сведения

См. также Параметры веб-запроса.