C em sistemas de negociação

Codificação de sistemas de negociação.
Por Justin Kuepper.
Como são criados sistemas de negociação automatizados?
Este tutorial se concentrará nas segunda e terceira partes deste processo, onde suas regras são convertidas em um código que seu software comercial pode entender e usar.
Vantagens e desvantagens.
Um sistema automatizado leva a emoção e ocupado - trabalhe fora da negociação, o que permite que você se concentre em melhorar sua estratégia e regras de gerenciamento de dinheiro. Uma vez que um sistema lucrativo é desenvolvido, não requer nenhum trabalho de sua parte até que ele quebre, ou as condições do mercado exigem uma mudança. Desvantagens:
Se o sistema não estiver corretamente codificado e testado, grandes perdas podem ocorrer muito rapidamente. Às vezes, é impossível colocar certas regras em código, o que dificulta o desenvolvimento de um sistema de negociação automatizado. Neste tutorial, você aprenderá como planejar e projetar um sistema de negociação automatizado, como traduzir esse design para o código que seu computador irá entender, como testar seu plano para garantir um desempenho ótimo e, finalmente, como colocar seu sistema em uso.

C ++ em sistemas de negociação
Obter através da App Store Leia esta publicação em nosso aplicativo!
Sistemas de negociação de baixa latência usando o C ++ no Windows?
Parece que todos os principais bancos de investimento usam o C ++ no Unix (Linux, Solaris) para suas aplicações de servidor de baixa latência / alta freqüência. Por que o Windows geralmente não é usado como uma plataforma para isso? Existem razões técnicas pelas quais o Windows não pode competir?
Os requisitos de desempenho nos sistemas de latência extremamente baixa utilizados para negociação algorítmica são extremos. Neste ambiente, os microseconds contam.
Não tenho certeza sobre o Solaris, mas o caso do Linux, esses caras estão escrevendo e usando patches e personalizações de baixa latência para o kernel inteiro, dos drivers de placa de rede instalados. Não é que haja uma razão técnica pela qual isso não poderia ser feito no Windows, mas há um procedimento prático / legal - acesso ao código-fonte e a capacidade de recompilá-lo com as mudanças.
Tecnicamente, não. No entanto, há um motivo de negócios muito simples: o resto do mundo financeiro é executado no Unix. Os bancos são executados no AIX, o mercado de ações em si é executado no Unix e, portanto, é simplesmente mais fácil encontrar programadores no mundo financeiro que são usados ​​para um ambiente Unix, em vez de um Windows.
(Eu trabalhei em bancos de investimento por 8 anos) Na verdade, bastante do que os bancos chamam baixa latência é feito em Java. E nem mesmo o Java em tempo real - apenas Java normal com o GC desligado. O principal truque aqui é ter certeza de ter exercido todo o seu código o suficiente para que o jit tenha executado antes de trocar uma VM específica em prod (então você tem algum loop de inicialização que é executado por alguns minutos - e failover a quente) .
Os motivos para usar o Linux são:
A administração remota ainda é melhor, e também um baixo impacto - terá um efeito mínimo sobre os outros processos na máquina. Lembre-se, esses sistemas são freqüentemente localizados na troca, então os links para as máquinas (de você / sua equipe de suporte) provavelmente serão piores do que aqueles para seus datacentres normais.
Tunability - a capacidade de configurar swappiness para 0, obter a JVM para pré-alocar grandes páginas, e outros truques de baixo nível são bastante úteis.
Tenho certeza de que você poderia conseguir o Windows funcionar de forma aceitável, mas não há nenhuma grande vantagem em fazê-lo - como outros disseram, qualquer empregado que você poached teria que redescobrir todos os seus truques de latência em vez de simplesmente executar uma lista de verificação.
Razão é simples, há 10-20 anos, quando esses sistemas surgiram, os servidores "multidimensionais" hardcore eram SOMENTE em algum tipo de UNIX. O Windows NT estava no kinder-garden estes dias. Então, o motivo é "histórico".
Os sistemas modernos podem ser desenvolvidos no Windows, é apenas uma questão de gosto nos dias de hoje.
PS: Estou trabalhando em um desses sistemas :-)
Linux / UNIX são muito mais utilizáveis ​​para usuários remotos simultâneos, tornando mais fácil o script em torno dos sistemas, use ferramentas padrão como grep / sed / awk / perl / ruby ​​/ less em logs. ssh / scp. Todas essas coisas estão lá.
Há também problemas técnicos, por exemplo: para medir o tempo decorrido no Windows, você pode escolher entre um conjunto de funções com base no controle do relógio do Windows e no QueryPerformanceCounter (). O primeiro é incrementos cada 10 a 16 milissegundos (nota: alguma documentação implica mais precisão - por exemplo, os valores da medida GetSystemTimeAsFileTime () para 100ns, mas eles relatam o mesmo limite de 100ns do relógio para que ele seja novamente marcado). O último - QueryPerformanceCounter () - tem problemas de parada onde diferentes núcleos / cpus podem relatar relógios - desde a inicialização que diferem em vários segundos devido a serem aquecidos em diferentes momentos durante a inicialização do sistema. O MSDN documenta isso como um possível erro do BIOS, mas é comum. Então, quem quer desenvolver sistemas de negociação de baixa latência em uma plataforma que não pode ser instrumentada adequadamente? (Existem soluções, mas você não encontrará nenhum software que esteja sentado convenientemente em boost ou ACE).
Muitas variantes Linux / UNIX têm muitos parâmetros facilmente ajustáveis ​​para compensar latência para um único evento contra a latência média sob carga, tamanhos de fatia de tempo, políticas de agendamento, etc. Em sistemas operacionais de código aberto, também há a garantia de que vem com a capacidade de consulte o código quando você acha que algo deve ser mais rápido do que é, e o conhecimento de que uma comunidade (potencialmente enorme) de pessoas tem sido e está fazendo isso de forma crítica - com o Windows, obviamente, é principalmente as pessoas que são designadas para olhe para ele.
No lado do FUD / reputação - um pouco intangível, mas uma parte importante dos motivos da seleção do sistema operacional - eu acho que a maioria dos programadores da indústria apenas confiaria no Linux / UNIX mais para fornecer um agendamento e um comportamento confiáveis. Além disso, o Linux / UNIX tem uma reputação de falhar menos, embora o Windows seja bastante confiável nos dias de hoje, e o Linux possui uma base de código muito mais volátil do que o Solaris ou o FreeBSD.
Há uma variedade de razões, mas a razão não é apenas histórica. Na verdade, parece que cada vez mais aplicativos do lado do servidor funcionam no * nix hoje em dia do que nunca (incluindo grandes nomes como London Stock Exchange, que mudou de uma plataforma). Para aplicativos do lado do cliente ou da área de trabalho, seria bobo segmentar qualquer coisa que não o Windows, pois essa é a plataforma estabelecida. No entanto, para aplicativos do lado do servidor, a maioria dos lugares em que trabalhei para implementar no * nix.
Eu concordo parcialmente com a maioria das respostas acima. Embora o que eu percebi é o maior motivo para usar o C ++, é porque é relativamente mais rápido com uma vasta biblioteca STL.
Além disso, o sistema linux / unix também é usado para aumentar o desempenho. Eu conheço muitas equipes de baixa latência que vão até uma extensão de ajustar o kernel do linux. Obviamente, esse nível de liberdade não é fornecido pelo Windows.
Outras razões, como os sistemas legados, o custo da licença, os recursos também contam, mas são fatores de condução menores. Como "rjw" mencionado, eu vi equipes usar Java também com uma JVM modificada.
Eu secundo as opiniões de histórico e o acesso à manipulação de kernel.
Além desses motivos, eu também acredito que, assim como como eles eliminam a coleta de lixo e o mecanismo similar em Java ao usar essas tecnologias em baixa latência. Eles podem evitar o Windows por causa da API no nível alto, que interagem com ossos de baixo nível e depois o kernel.
Portanto, o núcleo é, naturalmente, o kernel que pode ser interagido com o uso do baixo nível os. As APIs de alto nível são fornecidas apenas para facilitar a vida dos usuários comuns. Mas, no caso de baixa latência, esta é uma camada gordurosa e uma perda de fração de segundos em torno de cada operação. Então, uma opção lucrativa para ganhar poucos segundos por chamada.
Além disso, essa outra coisa a considerar é a integração. A maioria dos servidores, centros de dados e intercâmbios usam UNIX e não o Windows, portanto, usar os clientes da mesma família facilita a integração e a comunicação.
Então você tem problemas de segurança (muitas pessoas lá fora, talvez não concordem com este ponto, porém) hackear o UNIX não é fácil comparado ao hacking WINDOWS. Eu não concordo que o licenciamento deve ser o problema para os bancos porque eles duchem dinheiro em cada peça de hardware e software e as pessoas que os personalizam, então as licenças de compra não serão tão maiores quanto a questão quando consideradas o que ganham comprando.

C ++ em sistemas de negociação
Obter através da App Store Leia esta publicação em nosso aplicativo!
Um simples demo do sistema de negociação C ++.
Preciso do meu sistema de negociação demo revisado. Ele implementou um sistema simples que analisa o fluxo de negociação (arquivo logado) de comerciante diferente e calcula algumas características importantes.
Eu encontrei um par de coisas que poderiam ajudá-lo a melhorar o seu código.
Não abuse usando namespace std.
Colocar usando namespace std no topo de cada programa é um mau hábito que você faria bem em evitar. Em particular, você nunca deve usá-lo em um arquivo de cabeçalho.
Use os cabeçalhos apropriados.
Em vez de usar stdint. h você deve usar:
Isso coloca as coisas desse cabeçalho no namespace std :: em vez de apenas no espaço para nome global e salvará as dores de cabeça mais tarde. (Note-se que também pode colocar itens no espaço de nomes global, mas, como programador, você deve evitar confiar nesse comportamento definido pela implementação).
Elimine as variáveis ​​não utilizadas.
Este código declara uma série de variáveis ​​(termo, qty, nread), mas depois não faz nada com eles. Seu compilador é inteligente o suficiente para ajudá-lo a encontrar esse tipo de problema se você sabe como pedir isso para fazê-lo.
Evite números mágicos.
As linhas que incluem números sem explicação são um problema de manutenção à espera de acontecer. Por exemplo, o código inclui esta linha sem comentários:
É provável que esses não sejam realmente aleatórios, mas não há indícios quanto ao significado desses números.
Não use enquanto (! Fin. eof ())
É quase sempre um erro para escrever o código que usa enquanto (! Fin. eof ()) ou o equivalente, porque o que você está interessado em determinar é se há algum dado e não se o fim do fluxo . Veja esta pergunta para obter mais detalhes sobre isso.
Não proliferar variáveis ​​inúteis.
O código atualmente inclui esse par de linhas:
A corda do instrumento nunca é usada novamente. Por que não apenas escrever isso em vez disso?
Use estruturas de fluxo de controle adequadas.
Dentro do main, o código decide como lidar com os dados com base no campo msg_type. Tem uma conexão em cascata se. senão com uma cláusula final final vazia. No entanto, isso seria muito mais claro escrito como uma declaração de switch com cada caso representando um tipo de mensagem diferente.
Use algoritmos padrão.
O código atual inclui esta seqüência:
O objetivo parece ser identificar a maior quantidade de negociação e o comerciante associado. No entanto, já existe um algoritmo para isso, que é std :: max_element.
Omitir retorno 0.
Quando um programa C ++ chega ao final do main, o compilador gerará automaticamente o código para retornar 0, portanto, não há motivo para colocar o retorno 0; explicitamente no final do principal.
Use objetos mais completamente.
Seu código possui aulas, mas eles quase sempre usam um simples contentor, como OrderEntry e OrderAck. Isso tornaria seu código mais simples e fácil de entender e manter se você também adicionasse funções de membros para eles fazer as coisas que estão sendo feitas atualmente para essas estruturas de dentro do principal.

Arquitetura moderna conduzida por eventos.
Desenvolva um poderoso sistema de negociação no padrão C ++ 11 usando seu ambiente de desenvolvimento de escolha. Não há limites na complexidade dos sistemas de negociação que podem ser modelados.
Relatórios avançados e análise.
Obtenha uma visão profunda de todos os aspectos do sistema comercial através de extensos relatórios iterativos. Todos os resultados da simulação são salvos no arquivo e podem ser analisados ​​e comparados com qualquer número de outros resultados de simulação. Analise o desempenho, o risco e os retornos e procure os gráficos.
Extensão de idioma para Timeseries.
Modelo de timeseries com uma extensão de idioma dedicada (Idioma específico do domínio incorporado). Desenvolva indicadores usando uma sintaxe funcional intuitiva que pode ser aumentada com funções lambda, se necessário.
Sistemas de negociação de instrumentos múltiplos.
Declare qualquer número de membros do instrumento, incluindo combinações de tipo diferente. Isso permite que cestas comerciais, spreads e rastreamento de relacionamentos intermercados. Os relatórios estão disponíveis tanto em termos agregados quanto em instrumentos individuais.
Depuração fácil com código fonte.
Os sistemas comerciais são fáceis de iniciar e depurar. Eles funcionam como executáveis ​​individuais. Use seu ambiente de desenvolvimento favorito e depurador para passar pelo código. A API é fornecida com o código fonte.

Construindo Sistemas Automatizados de Negociação.
1ª edição.
Com uma Introdução ao Visual C ++ 2005.
Acesso institucional.
Secure Checkout.
Frete grátis.
Nenhuma ordem mínima.
Índice.
Capítulo 1 Introdução.
Seção I: Introdução ao Visual C ++ 2005.
Capítulo 2 O quadro.
Capítulo 3 Referências de rastreamento.
Capítulo 4 Classes e Objetos.
Capítulo 5 Tipos de referência.
Capítulo 6 Tipos de valor.
Capítulo 7 Objetos não gerenciados.
Capítulo 8 Composição.
Capítulo 9 Propriedades.
Capítulo 10 Estruturas e enumerações.
Capítulo 11 Herança.
Capítulo 12 Conversão e fundição.
Capítulo 13 Sobrecarga do operador.
Capítulo 14 Delegados e Eventos.
Capítulo 15 Arrays.
Capítulo 16 Gerando números aleatórios.
Capítulo 17 Tempo e Temporizadores.
Capítulo 18 Fluxos de entrada e saída.
Capítulo 19 Manipulação de Exceções.
Capítulo 20 Coleções.
Capítulo 21 STL / STL.
Capítulo 22 DataSets.
Capítulo 23 Conexão a bancos de dados.
Capítulo 24 Linguagem de consulta estruturada.
Capítulo 26 Protocolo de troca de informações financeiras.
Capítulo 27 Serialização.
Capítulo 28 Serviços do Windows.
Capítulo 29 Configuração e Pacotes de Instalação.
Seção II: Concorrência.
Capítulo 30 Threading.
Capítulo 31 Classes de Sincronização.
Capítulo 32 Sockets.
Seção III: interoperabilidade e conectividade.
Capítulo 33 Marshaling.
Capítulo 34 Interiores e Pinning Pointers.
Capítulo 35 Conexão a DLLs gerenciadas.
Capítulo 36 Conectando às DLLs do Componenet Object Model (COM) com Interoperabilidade COM.
Capítulo 37 Conexão a DLLs C ++ com Serviços de Invocação de Plataforma.
Capítulo 38 Conexão ao Excel.
Capítulo 39 Conexão ao TraderAPI.
Capítulo 40 Conexão ao XTAPIConnection_Example.
Seção IV: Sistemas de Negociação Automatizada.
Capítulo 41 Building Trading Systems.
Capítulo 42 K "V Metodologia de Desenvolvimento do Sistema de Negociação.
Capítulo 43 Classes do Sistema de Negociação Automatizado.
Capítulo 44 Sistema de Análise Técnica de Rosca Única.
Capítulo 45 Padrão de Design do Produtor / Consumidor.
Capítulo 46 Multithreaded, Statistical Arbitrage System.
Descrição.
Nos próximos anos, as indústrias proprietárias de hedge funds e de negociação migrarão em grande parte para sistemas de seleção e execução de comércio automatizado. Na verdade, isso já está acontecendo. Enquanto vários livros de finanças fornecem código C ++ para preços de derivados e realizando cálculos numéricos, nenhum aborda o tópico a partir de uma perspectiva de projeto de sistema. Este livro será dividido em duas seções: técnicas de programação e tecnologia de sistema de negociação automatizada (ATS) e ensinar o design e o desenvolvimento de sistemas financeiros de forma absoluta usando o Microsoft Visual C ++ 2005. O MS Visual C ++ 2005 foi escolhido como o idioma de implementação principalmente porque a maioria das empresas comerciais e grandes bancos desenvolveram e continuam a desenvolver seus algoritmos proprietários no ISO C ++ e o Visual C ++ oferece a maior flexibilidade para incorporar esses algoritmos legados em sistemas operacionais. Além disso, o Framework e o ambiente de desenvolvimento fornecem as melhores bibliotecas e ferramentas para o rápido desenvolvimento dos sistemas de negociação. A primeira seção do livro explica o Visual C ++ 2005 em detalhes e concentra-se no conhecimento de programação requerido para o desenvolvimento automatizado do sistema de negociação, incluindo design orientado a objetos, delegados e eventos, enumerações, geração aleatória de números, temporização e temporizadores e gerenciamento de dados com STL e coleções. Além disso, uma vez que o código do legado e o código de modelagem nos mercados financeiros são feitos em ISO C ++, este livro analisa em vários tópicos avançados relacionados ao gerenciamento de memória gerenciado / não gerido / COM e à interoperabilidade. Além disso, este livro fornece dezenas de exemplos que ilustram o uso da conectividade de banco de dados com ADO e um tratamento extensivo de SQL e FIX e XML / FIXML. Tópicos avançados de programação, como encadeamento, soquetes, bem como o uso de C ++ para se conectar ao Excel também são discutidos extensivamente e são suportados por exemplos. A segunda seção do livro explica preocupações tecnológicas e conceitos de design para sistemas de negociação automatizados. Especificamente, os capítulos são dedicados a lidar com feeds de dados em tempo real, gerenciando pedidos no livro de pedidos de câmbio, seleção de posição e gerenciamento de riscos. Um. dll está incluído no livro que irá emular a conexão com uma API industrial amplamente utilizada (XTAPI da Trading Technologies, Inc.) e fornecer maneiras de testar algoritmos de gerenciamento de posição e ordem. Os padrões de design são apresentados para sistemas de tomada de mercado baseados em análises técnicas, bem como em sistemas de produção de mercado que utilizam spreads intermarket. À medida que todos os capítulos giram em torno de programação de computadores para engenharia financeira e desenvolvimento de sistemas de negociação, este livro educará comerciantes, engenheiros financeiros, analistas quantitativos, estudantes de finanças quantitativas e até programadores experientes em questões tecnológicas que giram em torno do desenvolvimento de aplicações financeiras em uma Microsoft ambiente e construção e implementação de sistemas e ferramentas de negociação em tempo real.
Características principais.
Ensina concepção e desenvolvimento de sistemas financeiros desde o início usando o Microsoft Visual C ++ 2005.
Fornece dezenas de exemplos que ilustram as abordagens de programação no livro.
Leitores.
Audiência primária: engenheiros financeiros, analistas quantitativos, programadores em empresas comerciais; estudantes de pós-graduação em cursos e programas de engenharia financeira e mercados financeiros.
Rever.
"Construir sistemas automatizados de negociação é uma leitura obrigatória para qualquer pessoa que esteja desenvolvendo sistemas de negociação algorítmica profissional. Ele traz todos os aspectos do design, funcionalidade e implementação do sistema em tempo real em um foco passo a passo claro. Este livro será um manual de referência de primeira escolha para o programador profissional sério no desenvolvimento do sistema de comércio ". - Russell Wojcik, Membro da CME e CBOT, Chefe da Concentração de Estratégia de Negociação, Illinois Institute of Technology "Este livro é um excelente guia para quem está interessado no desenvolvimento de aplicativos comerciais automáticos ou semi-automáticos. Ben cobre o conhecimento de programação necessário para desenvolver o sucesso aplicativos de negociação. Um deve ter para os comerciantes entrar na programação e os programadores entrarem em negociação. Ele também servirá como uma referência útil para o desenvolvimento de ferramentas comerciais mais sofisticadas ". - Sagy P. Mintz, Vice-Presidente, Trading Technologies, Inc.
Avaliações e avaliações.
Sobre os autores.
Benjamin Van Vliet Autor.
Ben Van Vliet é professor do Illinois Institute of Technology (IIT), onde também atua como diretor associado do M. S. Programa de Mercados Financeiros. No IIT, ele ensina cursos de finanças quantitativas, C ++ e programação e design e desenvolvimento de sistemas de negociação automatizada. Ele é vice-presidente do Instituto de Tecnologia de Mercado, onde preside o conselho consultivo do programa do Certificado de Sistema de Negociação (CTSD). Ele também atua como editor de série da série Financial Markets Technology da Elsevier / Academic Press e consulta extensivamente na indústria de mercados financeiros.
O Sr. Van Vliet é também o autor de "Modeling Financial Markets" com Robert Hendry (2003, McGraw Hill) e "Building Automated Trading Systems" (2007, Academic Press. Além disso, ele publicou vários artigos nas áreas de finanças e tecnologia , e apresentou sua pesquisa em várias conferências acadêmicas e profissionais.
Afiliações e especialidades.
Professor Titular e Diretor Associado do Programa de Mestrado em Mercados Financeiros, Stuart School of Business, Instituto de Tecnologia de Illinois, EUA.
Solicitar cotação.
Isenção de imposto.
Produtos & amp; Soluções R & D Soluções Clínicas Plataformas de Pesquisa Pesquisa Inteligência Serviços de Educação Autores Editores Revisores Bibliotecários Shop & amp; Descubra Livros e revistas Autor Webshop Sobre a Elsevier Sobre nós Elsevier Connect Carreiras Como podemos ajudar? Centro de Apoio.
Como podemos ajudar?
Como podemos ajudar?
Direitos autorais e cópia; 2017 Elsevier, exceto determinado conteúdo fornecido por terceiros.
Os cookies são usados ​​por este site. Para recusar ou aprender mais, visite nossa página Cookies.
Pesquisa de visitantes de Elsevier.
Estamos sempre procurando maneiras de melhorar a experiência do cliente no Elsevier.
Gostaríamos de pedir-lhe um momento do seu tempo para preencher um breve questionário, no final da sua visita.

Melhor linguagem de programação para sistemas de negociação algorítmica?
Melhor linguagem de programação para sistemas de negociação algorítmica?
Uma das perguntas mais freqüentes que recebo no QS mailbag é "Qual é a melhor linguagem de programação para negociação algorítmica?". A resposta curta é que não existe um "melhor" idioma. Parâmetros de estratégia, desempenho, modularidade, desenvolvimento, resiliência e custo devem ser considerados. Este artigo descreve os componentes necessários de uma arquitetura de sistema de negociação algorítmica e como as decisões relativas à implementação afetam a escolha do idioma.
Em primeiro lugar, serão considerados os principais componentes de um sistema de negociação algorítmico, como ferramentas de pesquisa, otimizador de portfólio, gerenciador de riscos e motor de execução. Posteriormente, serão examinadas diferentes estratégias de negociação e como elas afetam o design do sistema. Em particular, a freqüência de negociação e o provável volume de negociação serão discutidos.
Uma vez que a estratégia de negociação foi selecionada, é necessário arquitetar todo o sistema. Isso inclui a escolha de hardware, o (s) sistema (s) operacional (is) e a resiliência do sistema contra eventos raros e potencialmente catastróficos. Enquanto a arquitetura está sendo considerada, deve-se ter em conta o desempenho, tanto para as ferramentas de pesquisa quanto para o ambiente de execução ao vivo.
Qual é o sistema de comércio tentando fazer?
Antes de decidir sobre o "melhor" idioma com o qual escrever um sistema de negociação automatizado, é necessário definir os requisitos. O sistema será puramente baseado em execução? O sistema exigirá um módulo de gerenciamento de risco ou construção de portfólio? O sistema exigirá um backtester de alto desempenho? Para a maioria das estratégias, o sistema comercial pode ser dividido em duas categorias: Pesquisa e geração de sinal.
A pesquisa está preocupada com a avaliação de um desempenho de estratégia em relação aos dados históricos. O processo de avaliação de uma estratégia de negociação em relação aos dados anteriores do mercado é conhecido como backtesting. O tamanho dos dados e a complexidade algorítmica terão um grande impacto na intensidade computacional do backtester. A velocidade da CPU e a concorrência são muitas vezes os fatores limitantes na otimização da velocidade de execução da pesquisa.
A geração de sinal está preocupada com a geração de um conjunto de sinais de negociação a partir de um algoritmo e envio de ordens para o mercado, geralmente através de uma corretora. Para determinadas estratégias, é necessário um alto nível de desempenho. As questões de E / S, como a largura de banda da rede e a latência, muitas vezes são fatores limitantes na otimização de sistemas de execução. Assim, a escolha de idiomas para cada componente de todo o seu sistema pode ser bastante diferente.
Tipo, Frequência e Volume de Estratégia.
O tipo de estratégia algorítmica empregada terá um impacto substancial no design do sistema. Será necessário considerar os mercados comercializados, a conectividade com os fornecedores de dados externos, a freqüência e o volume da estratégia, o trade-off entre facilidade de desenvolvimento e otimização de desempenho, bem como qualquer hardware personalizado, incluindo customizado servidores, GPUs ou FPGAs que possam ser necessários.
As opções de tecnologia para uma estratégia de ações de baixa freqüência dos EUA serão muito diferentes das de uma negociação de estratégias de arbitragem estatística de alta freqüência no mercado de futuros. Antes da escolha do idioma, muitos fornecedores de dados devem ser avaliados que pertencem à estratégia em questão.
Será necessário considerar a conectividade com o fornecedor, a estrutura de todas as APIs, a pontualidade dos dados, os requisitos de armazenamento e a resiliência em face de um fornecedor que está offline. Também é aconselhável possuir acesso rápido a vários fornecedores! Vários instrumentos têm todos os seus peculiaridades de armazenamento, exemplos dos quais incluem símbolos de ticker múltiplos para ações e datas de vencimento para futuros (sem mencionar nenhum dado OTC específico). Isso precisa ser incorporado ao design da plataforma.
A frequência da estratégia provavelmente será um dos maiores drivers de como a pilha de tecnologia será definida. Estratégias que empregam dados com mais freqüência do que minuciosamente ou em segundo lugar, exigem uma consideração significativa em relação ao desempenho.
Uma estratégia que excede as barras segundo (isto é, dados de marca) leva a um design orientado a desempenho como o principal requisito. Para estratégias de alta freqüência, uma quantidade substancial de dados do mercado precisará ser armazenada e avaliada. Software como HDF5 ou kdb + é comumente usado para essas funções.
Para processar os extensos volumes de dados necessários para aplicações HFT, um sistema de backtester e execução extensivamente otimizado deve ser usado. C / C ++ (possivelmente com algum montador) é provável para o candidato a linguagem mais forte. As estratégias de ultra-alta freqüência certamente exigirão hardware personalizado, como FPGAs, co-localização de troca e ajuste de interface de rede / kernal.
Sistemas de pesquisa.
Os sistemas de pesquisa geralmente envolvem uma mistura de desenvolvimento interativo e script automatizado. O primeiro geralmente ocorre dentro de um IDE, como Visual Studio, MatLab ou R Studio. O último envolve cálculos numéricos extensos em vários parâmetros e pontos de dados. Isso leva a uma escolha de idioma que fornece um ambiente direto para testar código, mas também fornece desempenho suficiente para avaliar estratégias em várias dimensões de parâmetros.
Os IDE típicos neste espaço incluem Microsoft Visual C ++ / C #, que contém extensos utilitários de depuração, recursos de conclusão de código (via "Intellisense") e visões gerais diretas de toda a pilha do projeto (via o banco de dados ORM, LINQ); MatLab, que é projetado para uma grande variedade de álgebras lineares numéricas e operações vetoriais, mas de uma forma de console interativo; R Studio, que envolve o console de linguagem estatística R em um IDE de pleno direito; Eclipse IDE para Linux Java e C ++; e IDE semi-proprietários, como Enthought Canopy para Python, que incluem bibliotecas de análise de dados, como NumPy, SciPy, scikit-learn e pandas em um único ambiente interativo (console).
Para backtesting numérico, todos os idiomas acima são adequados, embora não seja necessário utilizar uma GUI / IDE, pois o código será executado "em segundo plano". A principal consideração nesta fase é a velocidade de execução. Um idioma compilado (como C ++) geralmente é útil se as dimensões do parâmetro backtest forem grandes. Lembre-se de que é necessário desconfiar de tais sistemas se for esse o caso!
Idiomas interpretados, como Python, muitas vezes fazem uso de bibliotecas de alto desempenho, como NumPy / pandas para a etapa de teste, para manter um grau razoável de competitividade com equivalentes compilados. Em última análise, o idioma escolhido para o backtesting será determinado por necessidades algorítmicas específicas, bem como o intervalo de bibliotecas disponíveis no idioma (mais sobre isso abaixo). No entanto, o idioma utilizado para o backtester e os ambientes de pesquisa podem ser completamente independentes dos usados ​​na construção de portfólio, gerenciamento de riscos e componentes de execução, como será visto.
Construção de carteiras e gerenciamento de riscos.
A construção do portfólio e os componentes de gerenciamento de riscos são muitas vezes ignorados pelos comerciantes algorítmicos de varejo. Isso é quase sempre um erro. Essas ferramentas fornecem o mecanismo pelo qual o capital será preservado. Eles não só tentam aliviar o número de apostas "arriscadas", mas também minimizam o churn dos próprios negócios, reduzindo os custos de transação.
Versões sofisticadas desses componentes podem ter um efeito significativo na qualidade e consistência da lucratividade. É direto criar um estável de estratégias, pois o mecanismo de construção do portfólio e o gerenciador de riscos podem ser facilmente modificados para lidar com múltiplos sistemas. Assim, eles devem ser considerados componentes essenciais no início do projeto de um sistema de comércio algorítmico.
O trabalho do sistema de construção de carteiras é levar um conjunto de trades desejados e produzir o conjunto de negócios reais que minimizam o churn, manter exposições a vários fatores (como setores, classes de ativos, volatilidade, etc.) e otimizar a alocação de capital para vários estratégias em um portfólio.
A construção do portfólio geralmente se reduz a um problema de álgebra linear (como uma fatoração da matriz) e, portanto, o desempenho é altamente dependente da eficácia da implementação de álgebra linear numérica disponível. As bibliotecas comuns incluem uBLAS, LAPACK e NAG para C ++. O MatLab também possui operações de matriz amplamente otimizadas. Python utiliza NumPy / SciPy para tais cálculos. Um portfólio freqüentemente reequilibrado exigirá uma biblioteca de matriz compilada (e bem otimizada!) Para levar a cabo esta etapa, de modo a não engarrafar o sistema de negociação.
O gerenciamento de riscos é outra parte extremamente importante de um sistema de comércio algorítmico. O risco pode vir de várias formas: aumento da volatilidade (embora isso possa ser visto como desejável para certas estratégias!), Aumento de correlações entre classes de ativos, contraparte padrão, interrupções do servidor, eventos de "cisnes negros" e erros não detectados no código comercial, para nomear alguns.
Os componentes de gerenciamento de risco tentam antecipar os efeitos da volatilidade excessiva e a correlação entre as classes de ativos e seus efeitos (s) subsequentes sobre o capital de negociação. Muitas vezes isso se reduz a um conjunto de cálculos estatísticos, como Monte Carlo "testes de estresse". Isso é muito semelhante às necessidades computacionais de um mecanismo de preços de derivativos e, como tal, será vinculado à CPU. Essas simulações são altamente paralelizáveis ​​(veja abaixo) e, até certo ponto, é possível "lançar hardware no problema".
Sistemas de Execução.
O trabalho do sistema de execução é receber sinais de negociação filtrados dos componentes de construção de portfólio e gerenciamento de riscos e enviá-los para uma corretora ou outros meios de acesso ao mercado. Para a maioria das estratégias de negociação algorítmica de varejo, isso envolve uma conexão API ou FIX para uma corretora, como Interactive Brokers. As considerações primárias ao decidir sobre um idioma incluem a qualidade da API, a disponibilidade do idioma para uma API, a freqüência de execução e o deslizamento antecipado.
A "qualidade" da API refere-se ao quão bem documentado é, qual o tipo de desempenho que ele fornece, se ele precisa de um software autônomo para ser acessado ou se um gateway pode ser estabelecido de forma sem cabeça (ou seja, sem GUI). No caso dos Interactive Brokers, a ferramenta Trader WorkStation precisa ser executada em um ambiente GUI para acessar sua API. Uma vez, tive que instalar uma edição do Desktop Ubuntu em um servidor de nuvem da Amazon para acessar os corretores interativos de forma remota, apenas por esse motivo!
A maioria das APIs fornecerá uma interface C ++ e / ou Java. Geralmente, é de responsabilidade da comunidade desenvolver wrappers específicos do idioma para C #, Python, R, Excel e MatLab. Note-se que, com cada plugin adicional utilizado (especialmente os wrappers da API), há possibilidades de insetos no sistema. Sempre testar plugins desse tipo e garantir que eles sejam ativamente mantidos. Um indicador valioso é ver quantas novas atualizações de uma base de código foram feitas nos últimos meses.
A frequência de execução é de extrema importância no algoritmo de execução. Note que centenas de pedidos podem ser enviados a cada minuto e, como tal, o desempenho é crítico. Slippage será incorrido através de um sistema de execução mal executado e isso terá um impacto dramático sobre a rentabilidade.
Os idiomas estaticamente digitados (veja abaixo), como C ++ / Java, geralmente são ótimos para execução, mas há um trade-off em tempo de desenvolvimento, testes e facilidade de manutenção. Idiomas dinamicamente digitados, como Python e Perl, geralmente são geralmente "rápidos o suficiente". Certifique-se sempre de que os componentes foram projetados de forma modular (veja abaixo) para que eles possam ser "trocados" à medida que o sistema se reduz.
Processo de Planejamento e Desenvolvimento Arquitetônico.
Os componentes de um sistema de comércio, seus requisitos de freqüência e volume foram discutidos acima, mas a infraestrutura do sistema ainda não foi coberta. Aqueles que atuam como comerciante de varejo ou que trabalham em um fundo pequeno provavelmente estarão "vestindo muitos chapéus". Será necessário cobrir o modelo alfa, o gerenciamento de riscos e os parâmetros de execução, bem como a implementação final do sistema. Antes de aprofundar linguagens específicas, o design de uma arquitetura de sistema ideal será discutido.
Separação de preocupações.
Uma das decisões mais importantes que devem ser tomadas no início é como "separar as preocupações" de um sistema comercial. No desenvolvimento de software, isso significa essencialmente como dividir os diferentes aspectos do sistema de negociação em componentes modulares separados.
Ao expor as interfaces em cada um dos componentes, é fácil trocar partes do sistema por outras versões que ajudem o desempenho, confiabilidade ou manutenção, sem modificar nenhum código de dependência externo. Esta é a "melhor prática" para esses sistemas. Para estratégias em frequências mais baixas, tais práticas são aconselhadas. Para a negociação de alta freqüência, o livro de regras pode ser ignorado à custa de ajustar o sistema para ainda mais desempenho. Um sistema mais acoplado pode ser desejável.
Criar um mapa de componentes de um sistema de negociação algorítmico vale um artigo em si. No entanto, uma abordagem ótima é garantir que haja componentes separados para as entradas de dados de mercado históricos e em tempo real, armazenamento de dados, API de acesso a dados, backtester, parâmetros de estratégia, construção de portfólio, gerenciamento de riscos e sistemas de execução automatizada.
Por exemplo, se o armazenamento de dados em uso estiver atualmente com desempenho inferior, mesmo em níveis significativos de otimização, ele pode ser trocado com reescrituras mínimas para a ingesta de dados ou API de acesso a dados. Até o ponto em que o backtester e os componentes subsequentes estão em causa, não há diferença.
Outro benefício de componentes separados é que permite que uma variedade de linguagens de programação sejam usadas no sistema geral. Não é necessário restringir a um único idioma se o método de comunicação dos componentes for independente de linguagem. Este será o caso se estiverem se comunicando via TCP / IP, ZeroMQ ou algum outro protocolo independente de linguagem.
Como um exemplo concreto, considere o caso de um sistema de backtesting que está sendo escrito em C ++ para o desempenho do "crunching", enquanto o gerenciador de portfólio e os sistemas de execução são escritos em Python usando SciPy e IBPy.
Considerações sobre o desempenho.
O desempenho é uma consideração significativa para a maioria das estratégias comerciais. Para estratégias de maior freqüência, é o fator mais importante. O "Desempenho" cobre uma ampla gama de problemas, como velocidade de execução algorítmica, latência de rede, largura de banda, E / S de dados, simultaneidade / paralelismo e dimensionamento. Cada uma dessas áreas é coberta individualmente por grandes livros didáticos, portanto este artigo apenas arranhará a superfície de cada tópico. A escolha da arquitetura e da linguagem agora será discutida em termos de seus efeitos sobre o desempenho.
A sabedoria prevalecente, como afirmou Donald Knuth, um dos pais da Ciência da Computação, é que "a otimização prematura é a raiz de todo o mal". Este é quase sempre o caso - exceto quando se forma um algoritmo de negociação de alta freqüência! Para aqueles que estão interessados ​​em estratégias de baixa freqüência, uma abordagem comum é construir um sistema da maneira mais simples possível e apenas otimizar à medida que os estrangulamentos começam a aparecer.
Ferramentas de perfil são usadas para determinar onde surgem os estrangulamentos. Perfis podem ser feitos para todos os fatores listados acima, em um ambiente MS Windows ou Linux. Existem muitas ferramentas de sistema operacional e de idioma disponíveis para isso, bem como utilitários de terceiros. A escolha da linguagem agora será discutida no contexto da performance.
C ++, Java, Python, R e MatLab contêm bibliotecas de alto desempenho (como parte do padrão ou externo) para estrutura básica de dados e trabalho algorítmico. C ++ é fornecido com a Biblioteca de modelos padrão, enquanto o Python contém NumPy / SciPy. Tarefas matemáticas comuns são encontradas nessas bibliotecas e raramente é benéfico escrever uma nova implementação.
Uma exceção é se uma arquitetura de hardware altamente personalizada é necessária e um algoritmo está fazendo uso extensivo de extensões proprietárias (como caches personalizados). No entanto, muitas vezes a "reinvenção da roda" desperdiça o tempo que pode ser melhor gasto no desenvolvimento e otimização de outras partes da infra-estrutura de negociação. O tempo de desenvolvimento é extremamente precioso especialmente no contexto dos únicos desenvolvedores.
A latência é muitas vezes uma questão do sistema de execução, pois as ferramentas de pesquisa geralmente estão localizadas na mesma máquina. Para o primeiro, a latência pode ocorrer em vários pontos ao longo do caminho de execução. Os bancos de dados devem ser consultados (latência de disco / rede), os sinais devem ser gerados (sistema operacional, latência de mensagens do kernal), sinais comerciais enviados (latência NIC) e pedidos processados ​​(latência interna dos sistemas de troca).
Para operações de maior freqüência, é necessário familiarizar-se intimamente com a otimização do kernal, além de otimizar a transmissão da rede. Esta é uma área profunda e está significativamente além do escopo do artigo, mas se um algoritmo UHFT é desejado então esteja ciente da profundidade do conhecimento necessário!
O cache é muito útil no conjunto de ferramentas de um desenvolvedor de negócios quantitativo. O armazenamento em cache refere-se ao conceito de armazenar dados freqüentemente acessados ​​de uma maneira que permita um acesso de alto desempenho, em detrimento do potencial estancamento dos dados. Um caso de uso comum ocorre no desenvolvimento da web ao tirar dados de um banco de dados relacional com respaldo de disco e colocá-lo na memória. Quaisquer pedidos subseqüentes para os dados não precisam "acessar o banco de dados" e, portanto, os ganhos de desempenho podem ser significativos.
Para situações de negociação, o cache pode ser extremamente benéfico. Por exemplo, o estado atual de um portfólio de estratégia pode ser armazenado em um cache até ser reequilibrado, de modo que a lista não precisa ser regenerada em cada ciclo do algoritmo de negociação. Essa regeneração provavelmente será uma alta CPU ou operação de E / S de disco.
No entanto, o armazenamento em cache não está sem os seus próprios problemas. A regeneração de dados de cache de uma só vez, devido à natureza volátil do armazenamento de cache, pode colocar uma demanda significativa na infraestrutura. Outra questão é o empilhamento de cães, onde múltiplas gerações de uma nova cópia de cache são realizadas sob uma carga extremamente alta, o que leva a uma falha em cascata.
A alocação de memória dinâmica é uma operação cara na execução de software. Assim, é imperativo que os aplicativos de maior desempenho comercial sejam conscientes de como a memória está sendo alocada e desalocada durante o fluxo do programa. Novos padrões de linguagem, como Java, C # e Python, todos executam a coleta automática de lixo, que se refere à desalocação da memória alocada dinamicamente quando os objetos ficam fora do escopo.
A coleta de lixo é extremamente útil durante o desenvolvimento, pois reduz erros e ajuda a legibilidade. No entanto, muitas vezes é sub óptimo para certas estratégias de negociação de alta freqüência. A coleta de lixo personalizada é muitas vezes desejada para esses casos. Em Java, por exemplo, ao ajustar a configuração do coletor de lixo e do heap, é possível obter alto desempenho para as estratégias de HFT.
C ++ não fornece um coletor de lixo nativo e, portanto, é necessário lidar com toda a alocação / desalocação de memória como parte da implementação de um objeto. Embora potencialmente propenso a erros (potencialmente levando a ponteiros pendurados), é extremamente útil ter um controle fino de como os objetos aparecem no heap para determinadas aplicações. Ao escolher um idioma, certifique-se de estudar como funciona o coletor de lixo e se ele pode ser modificado para otimizar um caso de uso específico.
Muitas operações em sistemas de negociação algorítmica são favoráveis ​​à paralelização. Isso se refere ao conceito de realização de múltiplas operações programáticas ao mesmo tempo, ou seja, em "paralelo". Os algoritmos denominados "embarassingly paralelos" incluem etapas que podem ser computadas totalmente independentemente de outras etapas. Certain statistical operations, such as Monte Carlo simulations, are a good example of embarassingly parallel algorithms as each random draw and subsequent path operation can be computed without knowledge of other paths.
Other algorithms are only partially parallelisable. Fluid dynamics simulations are such an example, where the domain of computation can be subdivided, but ultimately these domains must communicate with each other and thus the operations are partially sequential. Parallelisable algorithms are subject to Amdahl's Law, which provides a theoretical upper limit to the performance increase of a parallelised algorithm when subject to $N$ separate processes (e. g. on a CPU core or thread ).
Parallelisation has become increasingly important as a means of optimisation since processor clock-speeds have stagnated, as newer processors contain many cores with which to perform parallel calculations. The rise of consumer graphics hardware (predominently for video games) has lead to the development of Graphical Processing Units (GPUs), which contain hundreds of "cores" for highly concurrent operations. Such GPUs are now very affordable. High-level frameworks, such as Nvidia's CUDA have lead to widespread adoption in academia and finance.
Such GPU hardware is generally only suitable for the research aspect of quantitative finance, whereas other more specialised hardware (including Field-Programmable Gate Arrays - FPGAs) are used for (U)HFT. Nowadays, most modern langauges support a degree of concurrency/multithreading. Thus it is straightforward to optimise a backtester, since all calculations are generally independent of the others.
Scaling in software engineering and operations refers to the ability of the system to handle consistently increasing loads in the form of greater requests, higher processor usage and more memory allocation. In algorithmic trading a strategy is able to scale if it can accept larger quantities of capital and still produce consistent returns. The trading technology stack scales if it can endure larger trade volumes and increased latency, without bottlenecking .
While systems must be designed to scale, it is often hard to predict beforehand where a bottleneck will occur. Rigourous logging, testing, profiling and monitoring will aid greatly in allowing a system to scale. Languages themselves are often described as "unscalable". This is usually the result of misinformation, rather than hard fact. It is the total technology stack that should be ascertained for scalability, not the language. Clearly certain languages have greater performance than others in particular use cases, but one language is never "better" than another in every sense.
One means of managing scale is to separate concerns, as stated above. In order to further introduce the ability to handle "spikes" in the system (i. e. sudden volatility which triggers a raft of trades), it is useful to create a "message queuing architecture". This simply means placing a message queue system between components so that orders are "stacked up" if a certain component is unable to process many requests.
Rather than requests being lost they are simply kept in a stack until the message is handled. This is particularly useful for sending trades to an execution engine. If the engine is suffering under heavy latency then it will back up trades. A queue between the trade signal generator and the execution API will alleviate this issue at the expense of potential trade slippage. A well-respected open source message queue broker is RabbitMQ.
Hardware and Operating Systems.
The hardware running your strategy can have a significant impact on the profitability of your algorithm. This is not an issue restricted to high frequency traders either. A poor choice in hardware and operating system can lead to a machine crash or reboot at the most inopportune moment. Thus it is necessary to consider where your application will reside. The choice is generally between a personal desktop machine, a remote server, a "cloud" provider or an exchange co-located server.
Desktop machines are simple to install and administer, especially with newer user friendly operating systems such as Windows 7/8, Mac OSX and Ubuntu. Desktop systems do possess some significant drawbacks, however. The foremost is that the versions of operating systems designed for desktop machines are likely to require reboots/patching (and often at the worst of times!). They also use up more computational resources by the virtue of requiring a graphical user interface (GUI).
Utilising hardware in a home (or local office) environment can lead to internet connectivity and power uptime problems. The main benefit of a desktop system is that significant computational horsepower can be purchased for the fraction of the cost of a remote dedicated server (or cloud based system) of comparable speed.
A dedicated server or cloud-based machine, while often more expensive than a desktop option, allows for more significant redundancy infrastructure, such as automated data backups, the ability to more straightforwardly ensure uptime and remote monitoring. They are harder to administer since they require the ability to use remote login capabilities of the operating system.
In Windows this is generally via the GUI Remote Desktop Protocol (RDP). In Unix-based systems the command-line Secure SHell (SSH) is used. Unix-based server infrastructure is almost always command-line based which immediately renders GUI-based programming tools (such as MatLab or Excel) to be unusable.
A co-located server, as the phrase is used in the capital markets, is simply a dedicated server that resides within an exchange in order to reduce latency of the trading algorithm. This is absolutely necessary for certain high frequency trading strategies, which rely on low latency in order to generate alpha.
The final aspect to hardware choice and the choice of programming language is platform-independence. Is there a need for the code to run across multiple different operating systems? Is the code designed to be run on a particular type of processor architecture, such as the Intel x86/x64 or will it be possible to execute on RISC processors such as those manufactured by ARM? These issues will be highly dependent upon the frequency and type of strategy being implemented.
Resilience and Testing.
One of the best ways to lose a lot of money on algorithmic trading is to create a system with no resiliency . This refers to the durability of the sytem when subject to rare events, such as brokerage bankruptcies, sudden excess volatility, region-wide downtime for a cloud server provider or the accidental deletion of an entire trading database. Years of profits can be eliminated within seconds with a poorly-designed architecture. It is absolutely essential to consider issues such as debuggng, testing, logging, backups, high-availability and monitoring as core components of your system.
It is likely that in any reasonably complicated custom quantitative trading application at least 50% of development time will be spent on debugging, testing and maintenance.
Nearly all programming languages either ship with an associated debugger or possess well-respected third-party alternatives. In essence, a debugger allows execution of a program with insertion of arbitrary break points in the code path, which temporarily halt execution in order to investigate the state of the system. The main benefit of debugging is that it is possible to investigate the behaviour of code prior to a known crash point .
Debugging is an essential component in the toolbox for analysing programming errors. However, they are more widely used in compiled languages such as C++ or Java, as interpreted languages such as Python are often easier to debug due to fewer LOC and less verbose statements. Despite this tendency Python does ship with the pdb, which is a sophisticated debugging tool. The Microsoft Visual C++ IDE possesses extensive GUI debugging utilities, while for the command line Linux C++ programmer, the gdb debugger exists.
Testing in software development refers to the process of applying known parameters and results to specific functions, methods and objects within a codebase, in order to simulate behaviour and evaluate multiple code-paths, helping to ensure that a system behaves as it should. A more recent paradigm is known as Test Driven Development (TDD), where test code is developed against a specified interface with no implementation. Prior to the completion of the actual codebase all tests will fail. As code is written to "fill in the blanks", the tests will eventually all pass, at which point development should cease.
TDD requires extensive upfront specification design as well as a healthy degree of discipline in order to carry out successfully. In C++, Boost provides a unit testing framework. In Java, the JUnit library exists to fulfill the same purpose. Python also has the unittest module as part of the standard library. Many other languages possess unit testing frameworks and often there are multiple options.
In a production environment, sophisticated logging is absolutely essential. Logging refers to the process of outputting messages, with various degrees of severity, regarding execution behaviour of a system to a flat file or database. Logs are a "first line of attack" when hunting for unexpected program runtime behaviour. Unfortunately the shortcomings of a logging system tend only to be discovered after the fact! As with backups discussed below, a logging system should be given due consideration BEFORE a system is designed.
Both Microsoft Windows and Linux come with extensive system logging capability and programming languages tend to ship with standard logging libraries that cover most use cases. It is often wise to centralise logging information in order to analyse it at a later date, since it can often lead to ideas about improving performance or error reduction, which will almost certainly have a positive impact on your trading returns.
While logging of a system will provide information about what has transpired in the past, monitoring of an application will provide insight into what is happening right now . All aspects of the system should be considered for monitoring. System level metrics such as disk usage, available memory, network bandwidth and CPU usage provide basic load information.
Trading metrics such as abnormal prices/volume, sudden rapid drawdowns and account exposure for different sectors/markets should also be continuously monitored. Further, a threshold system should be instigated that provides notification when certain metrics are breached, elevating the notification method (email, SMS, automated phone call) depending upon the severity of the metric.
System monitoring is often the domain of the system administrator or operations manager. However, as a sole trading developer, these metrics must be established as part of the larger design. Many solutions for monitoring exist: proprietary, hosted and open source, which allow extensive customisation of metrics for a particular use case.
Backups and high availability should be prime concerns of a trading system. Consider the following two questions: 1) If an entire production database of market data and trading history was deleted (without backups) how would the research and execution algorithm be affected? 2) If the trading system suffers an outage for an extended period (with open positions) how would account equity and ongoing profitability be affected? The answers to both of these questions are often sobering!
It is imperative to put in place a system for backing up data and also for testing the restoration of such data. Many individuals do not test a restore strategy. If recovery from a crash has not been tested in a safe environment, what guarantees exist that restoration will be available at the worst possible moment?
Similarly, high availability needs to be "baked in from the start". Redundant infrastructure (even at additional expense) must always be considered, as the cost of downtime is likely to far outweigh the ongoing maintenance cost of such systems. I won't delve too deeply into this topic as it is a large area, but make sure it is one of the first considerations given to your trading system.
Choosing a Language.
Considerable detail has now been provided on the various factors that arise when developing a custom high-performance algorithmic trading system. The next stage is to discuss how programming languages are generally categorised.
Type Systems.
When choosing a language for a trading stack it is necessary to consider the type system . The languages which are of interest for algorithmic trading are either statically - or dynamically-typed . A statically-typed language performs checks of the types (e. g. integers, floats, custom classes etc) during the compilation process. Such languages include C++ and Java. A dynamically-typed language performs the majority of its type-checking at runtime. Such languages include Python, Perl and JavaScript.
For a highly numerical system such as an algorithmic trading engine, type-checking at compile time can be extremely beneficial, as it can eliminate many bugs that would otherwise lead to numerical errors. However, type-checking doesn't catch everything, and this is where exception handling comes in due to the necessity of having to handle unexpected operations. 'Dynamic' languages (i. e. those that are dynamically-typed) can often lead to run-time errors that would otherwise be caught with a compilation-time type-check. For this reason, the concept of TDD (see above) and unit testing arose which, when carried out correctly, often provides more safety than compile-time checking alone.
Another benefit of statically-typed languages is that the compiler is able to make many optimisations that are otherwise unavailable to the dynamically - typed language, simply because the type (and thus memory requirements) are known at compile-time. In fact, part of the inefficiency of many dynamically-typed languages stems from the fact that certain objects must be type-inspected at run-time and this carries a performance hit. Libraries for dynamic languages, such as NumPy/SciPy alleviate this issue due to enforcing a type within arrays.
Open Source or Proprietary?
One of the biggest choices available to an algorithmic trading developer is whether to use proprietary (commercial) or open source technologies. There are advantages and disadvantages to both approaches. It is necessary to consider how well a language is supported, the activity of the community surrounding a language, ease of installation and maintenance, quality of the documentation and any licensing/maintenance costs.
The Microsoft stack (including Visual C++, Visual C#) and MathWorks' MatLab are two of the larger proprietary choices for developing custom algorithmic trading software. Both tools have had significant "battle testing" in the financial space, with the former making up the predominant software stack for investment banking trading infrastructure and the latter being heavily used for quantitative trading research within investment funds.
Microsoft and MathWorks both provide extensive high quality documentation for their products. Further, the communities surrounding each tool are very large with active web forums for both. The software allows cohesive integration with multiple languages such as C++, C# and VB, as well as easy linkage to other Microsoft products such as the SQL Server database via LINQ. MatLab also has many plugins/libraries (some free, some commercial) for nearly any quantitative research domain.
There are also drawbacks. With either piece of software the costs are not insignificant for a lone trader (although Microsoft does provide entry-level version of Visual Studio for free). Microsoft tools "play well" with each other, but integrate less well with external code. Visual Studio must also be executed on Microsoft Windows, which is arguably far less performant than an equivalent Linux server which is optimally tuned.
MatLab also lacks a few key plugins such as a good wrapper around the Interactive Brokers API, one of the few brokers amenable to high-performance algorithmic trading. The main issue with proprietary products is the lack of availability of the source code. This means that if ultra performance is truly required, both of these tools will be far less attractive.
Open source tools have been industry grade for sometime. Much of the alternative asset space makes extensive use of open-source Linux, MySQL/PostgreSQL, Python, R, C++ and Java in high-performance production roles. However, they are far from restricted to this domain. Python and R, in particular, contain a wealth of extensive numerical libraries for performing nearly any type of data analysis imaginable, often at execution speeds comparable to compiled languages, with certain caveats.
The main benefit of using interpreted languages is the speed of development time. Python and R require far fewer lines of code (LOC) to achieve similar functionality, principally due to the extensive libraries. Further, they often allow interactive console based development, rapidly reducing the iterative development process.
Given that time as a developer is extremely valuable, and execution speed often less so (unless in the HFT space), it is worth giving extensive consideration to an open source technology stack. Python and R possess significant development communities and are extremely well supported, due to their popularity. Documentation is excellent and bugs (at least for core libraries) remain scarce.
Open source tools often suffer from a lack of a dedicated commercial support contract and run optimally on systems with less-forgiving user interfaces. A typical Linux server (such as Ubuntu) will often be fully command-line oriented. In addition, Python and R can be slow for certain execution tasks. There are mechanisms for integrating with C++ in order to improve execution speeds, but it requires some experience in multi-language programming.
While proprietary software is not immune from dependency/versioning issues it is far less common to have to deal with incorrect library versions in such environments. Open source operating systems such as Linux can be trickier to administer.
I will venture my personal opinion here and state that I build all of my trading tools with open source technologies. In particular I use: Ubuntu, MySQL, Python, C++ and R. The maturity, community size, ability to "dig deep" if problems occur and lower total cost ownership (TCO) far outweigh the simplicity of proprietary GUIs and easier installations. Having said that, Microsoft Visual Studio (especially for C++) is a fantastic Integrated Development Environment (IDE) which I would also highly recommend.
Batteries Included?
The header of this section refers to the "out of the box" capabilities of the language - what libraries does it contain and how good are they? This is where mature languages have an advantage over newer variants. C++, Java and Python all now possess extensive libraries for network programming, HTTP, operating system interaction, GUIs, regular expressions (regex), iteration and basic algorithms.
C++ is famed for its Standard Template Library (STL) which contains a wealth of high performance data structures and algorithms "for free". Python is known for being able to communicate with nearly any other type of system/protocol (especially the web), mostly through its own standard library. R has a wealth of statistical and econometric tools built in, while MatLab is extremely optimised for any numerical linear algebra code (which can be found in portfolio optimisation and derivatives pricing, for instance).
Outside of the standard libraries, C++ makes use of the Boost library, which fills in the "missing parts" of the standard library. In fact, many parts of Boost made it into the TR1 standard and subsequently are available in the C++11 spec, including native support for lambda expressions and concurrency.
Python has the high performance NumPy/SciPy/Pandas data analysis library combination, which has gained widespread acceptance for algorithmic trading research. Further, high-performance plugins exist for access to the main relational databases, such as MySQL++ (MySQL/C++), JDBC (Java/MatLab), MySQLdb (MySQL/Python) and psychopg2 (PostgreSQL/Python). Python can even communicate with R via the RPy plugin!
An often overlooked aspect of a trading system while in the initial research and design stage is the connectivity to a broker API. Most APIs natively support C++ and Java, but some also support C# and Python, either directly or with community-provided wrapper code to the C++ APIs. In particular, Interactive Brokers can be connected to via the IBPy plugin. If high-performance is required, brokerages will support the FIX protocol.
Conclusão.
As is now evident, the choice of programming language(s) for an algorithmic trading system is not straightforward and requires deep thought. The main considerations are performance, ease of development, resiliency and testing, separation of concerns, familiarity, maintenance, source code availability, licensing costs and maturity of libraries.
The benefit of a separated architecture is that it allows languages to be "plugged in" for different aspects of a trading stack, as and when requirements change. A trading system is an evolving tool and it is likely that any language choices will evolve along with it.
A Quantcademy.
Junte-se ao portal de adesão da Quantcademy que atende à comunidade de comerciantes de varejo de varejo em rápido crescimento e saiba como aumentar a rentabilidade da sua estratégia.
Comércio Algoritmo bem sucedido.
Como encontrar novas ideias de estratégia de negociação e avaliá-las objetivamente para seu portfólio usando um mecanismo de backtesting personalizado em Python.
Negociação Algorítmica Avançada.
Como implementar estratégias de negociação avançadas usando análise de séries temporais, aprendizado de máquinas e estatísticas bayesianas com R e Python.